Distorsione del set di dati

Fonti e tipi di distorsione del set di dati

La distorsione del set di dati non è un problema singolo, ma può manifestarsi in diversi modi durante il processo di raccolta e annotazione dei dati:

• Bias di selezione: si verifica quando i dati non sono campionati in modo casuale, con conseguente sovrarappresentazione o sottorappresentazione di determinati gruppi o scenari. Ad esempio, un set di dati per la guida autonoma addestrato principalmente su immagini diurne e con tempo sereno potrebbe avere prestazioni scarse di notte o in caso di pioggia.
• Distorsioni di misura: derivano da problemi negli strumenti o nel processo di raccolta dei dati. Ad esempio, l'utilizzo di telecamere di qualità diversa per gruppi demografici diversi in un set di dati di riconoscimento facciale potrebbe introdurre bias.
• Bias di etichettatura (Annotation Bias): Deriva da incoerenze o pregiudizi durante la fase di etichettatura dei dati, in cui gli annotatori umani possono interpretare o etichettare i dati in modo diverso sulla base di opinioni soggettive o pregiudizi impliciti. L'esplorazione dei diversi tipi di bias cognitivi può far luce sui potenziali fattori umani.
• Pregiudizio storico: Riflette i pregiudizi sociali esistenti nel mondo, che vengono catturati nei dati. Se i dati storici mostrano che alcuni gruppi sono meno rappresentati in determinati ruoli, un'intelligenza artificiale addestrata su questi dati potrebbe perpetuare tale pregiudizio.

La comprensione di queste fonti è fondamentale per attenuarne l'impatto, come evidenziato in risorse come il blog di Ultralytics sulla comprensione dei pregiudizi dell'IA.

Perché la distorsione del set di dati è importante

Le conseguenze della distorsione dei dati possono essere gravi, con un impatto sulle prestazioni dei modelli e sull'equità della società:

• Riduzione dell'accuratezza e dell'affidabilità: I modelli addestrati su dati distorti spesso mostrano una minore accuratezza quando incontrano dati provenienti da gruppi o scenari sottorappresentati. Questo limita la capacità del modello di generalizzare, come discusso in studi come "Datasets: The Raw Material of AI".
• Risultati ingiusti o discriminatori: I modelli distorti possono portare a svantaggi sistematici per alcuni gruppi, sollevando preoccupazioni significative per quanto riguarda l'equità nell'IA e l'etica dell'IA. Questo aspetto è particolarmente critico in applicazioni ad alto rischio come le assunzioni, l'approvazione di prestiti e la diagnostica sanitaria.
• Rafforzamento degli stereotipi: I sistemi di intelligenza artificiale possono inavvertitamente perpetuare stereotipi dannosi se addestrati su dati che riflettono i pregiudizi della società.
• Erosione della fiducia: La fiducia del pubblico nelle tecnologie di IA può essere danneggiata se i sistemi vengono percepiti come ingiusti o inaffidabili a causa di pregiudizi sottostanti. Organizzazioni come la Partnership on AI e l'AI Now Institute lavorano per affrontare queste implicazioni sociali più ampie.

Esempi del mondo reale

1. Sistemi di riconoscimento facciale: I primi dataset di riconoscimento facciale spesso sovrarappresentavano i maschi con la pelle più chiara. Di conseguenza, i sistemi commerciali hanno dimostrato un'accuratezza significativamente inferiore per le donne con la pelle più scura, come evidenziato da ricerche condotte da istituzioni come il NIST e da organizzazioni come l'Algorithmic Justice League. Questa disparità comporta dei rischi in applicazioni che vanno dall'etichettatura delle foto alla verifica dell'identità e alle forze dell'ordine.
2. Analisi delle immagini mediche: Un modello di intelligenza artificiale addestrato a rilevare il cancro della pelle utilizzando l'analisi delle immagini mediche potrebbe avere prestazioni scarse sulle tonalità di pelle più scure se il set di dati di addestramento è costituito principalmente da immagini di pazienti con la pelle chiara. Questa distorsione potrebbe portare a diagnosi mancate o ritardate per gruppi di pazienti sottorappresentati, con un impatto sull'equità dell 'IA nella sanità.

Distinguere la distorsione del set di dati dai concetti correlati

È importante distinguere il Dataset Bias da termini simili:

• Bias nell'IA: si tratta di un termine ampio che comprende qualsiasi errore sistematico che porta a risultati non equi. Il bias del set di dati è una delle principali cause di bias nell'IA, ma il bias può anche derivare dall'algoritmo stesso(bias algoritmico) o dal contesto di utilizzo.
• Bias algoritmico: si riferisce ai bias introdotti dall'architettura del modello, dal processo di apprendimento o dagli obiettivi di ottimizzazione, indipendentemente dalla qualità dei dati iniziali. Ad esempio, un algoritmo potrebbe privilegiare l'accuratezza complessiva a scapito dell'equità per i gruppi di minoranza.
• Equità nell'IA: è un obiettivo o una proprietà di un sistema di IA che mira a un trattamento equo tra gruppi diversi. Affrontare la distorsione dei dati è un passo fondamentale per raggiungere l'equità, ma l'equità comporta anche aggiustamenti algoritmici e considerazioni etiche definite da quadri come il NIST AI Risk Management Framework.
• Bias-Variance Tradeoff: è un concetto fondamentale nell'apprendimento automatico che riguarda la complessità del modello. In questo caso, il termine "bias" si riferisce agli errori dovuti a ipotesi troppo semplicistiche(underfitting), distinti dai bias sociali o statistici che si trovano negli insiemi di dati.

Affrontare le distorsioni del set di dati

La mitigazione delle distorsioni del set di dati richiede strategie proattive in tutto il flusso di lavoro del ML:

• Raccolta accurata dei dati: Cercate di ottenere fonti di dati diverse e rappresentative, che riflettano l'ambiente di implementazione previsto. La documentazione dei set di dati utilizzando framework come i fogli dati per i set di dati può migliorare la trasparenza.
• Preelaborazione e incremento dei dati: Tecniche come il ricampionamento, la sintesi dei dati e l'incremento mirato dei dati possono aiutare a bilanciare i set di dati e ad aumentare la rappresentazione. Gli strumenti dell'ecosistema Ultralytics supportano diversi metodi di incremento.
• Strumenti di rilevamento delle distorsioni: Utilizzate strumenti come What-If Tool di Google o librerie come Fairlearn per verificare i dataset e i modelli alla ricerca di potenziali distorsioni.
• Valutazione del modello: Valutare le prestazioni del modello in diversi sottogruppi utilizzando metriche di equità insieme a metriche di accuratezza standard. Documentare i risultati utilizzando metodi come le schede modello.
• Supporto della piattaforma: Piattaforme come Ultralytics HUB forniscono strumenti per la gestione dei dataset, l'addestramento di modelli come Ultralytics YOLO11 e la valutazione rigorosa dei modelli, aiutando gli sviluppatori a costruire sistemi meno distorti.

Affrontando consapevolmente le distorsioni dei dati, gli sviluppatori possono creare sistemi di IA più robusti, affidabili ed equi. Ulteriori approfondimenti possono essere trovati in indagini di ricerca come "A Survey on Bias and Fairness in Machine Learning" e nelle discussioni di conferenze come ACM FAccT.