Allucinazione (in LLM)

Perché i laureati in Lettere hanno le allucinazioni?

Le allucinazioni non sono inganni intenzionali, ma sono un sottoprodotto del modo in cui i LLM sono costruiti e addestrati. Le cause principali includono:

• Imperfezioni dei dati di formazione: I modelli come GPT-3 e GPT-4 imparano da immensi volumi di testo provenienti da Internet, che inevitabilmente contengono errori, informazioni obsolete e pregiudizi algoritmici. Il modello apprende questi modelli dai dati di addestramento senza una comprensione intrinseca della verità.
• Progettazione architettonica: L'architettura del Transformer è ottimizzata per la corrispondenza dei modelli e la modellazione del linguaggio, non per il richiamo dei fatti o il ragionamento logico. Questo può portare a quello che alcuni ricercatori chiamano"pappagallo stocastico", un'entità in grado di imitare il linguaggio senza comprenderne il significato.
• Ambiguità del tempo di inferenza: Durante la generazione, se il modello è incerto sul prossimo token migliore, può "riempire i vuoti" con informazioni plausibili ma inventate. La regolazione dei parametri di inferenza, come la temperatura, può talvolta ridurre questo fenomeno, ma rimane una sfida fondamentale. Per una panoramica tecnica, si veda questo studio sulle allucinazioni LLM di arXiv.

Esempi di allucinazione nel mondo reale

• Ricerca legale: Un avvocato che utilizzava un assistente AI per la ricerca di casi, gli ha chiesto di trovare dei precedenti legali. Il chatbot ha citato diversi casi giudiziari completamente inventati, compresi i nomi dei casi e le analisi giuridiche, che erano plausibili ma inesistenti. Questo incidente reale ha messo in evidenza i gravi rischi dell'impiego di LLM in settori ad alto rischio senza un robusto fact-checking.
• Raccomandazioni sui prodotti: Un utente chiede a un chatbot il "miglior zaino da trekking con pannello solare incorporato". Il LLM potrebbe raccomandare con sicurezza un modello specifico, descrivendone le caratteristiche in dettaglio, anche se quel particolare prodotto o combinazione di caratteristiche non esiste. Il modello combina i concetti dei suoi dati di addestramento per creare un prodotto plausibile ma fittizio.

Come ridurre le allucinazioni

Ricercatori e sviluppatori stanno lavorando attivamente a diverse strategie di mitigazione:

• Generazione Aumentata dal Recupero (RAG): Questa tecnica fornisce a un LLM la capacità di recuperare informazioni da una base di conoscenza esterna e autorevole (come un database vettoriale) prima di generare una risposta. Fondando il modello su fatti verificabili, la RAG riduce significativamente le falsificazioni. Per saperne di più sul funzionamento di RAG, consultare il sito IBM Research.
• Migliori tecniche di prompt: Metodi come il prompt Chain-of-Thought incoraggiano il modello a scomporre il suo ragionamento passo dopo passo, il che può portare a risultati più accurati. Il documento di ricerca originale sul Chain-of-Thought ne dimostra l'efficacia.
• Apprendimento con rinforzo dal feedback umano (RLHF): I modelli vengono perfezionati utilizzando il RLHF, in cui i revisori umani valutano le diverse risposte del modello. Questo feedback addestra il modello a preferire risposte veritiere e utili, un processo dettagliato da organizzazioni come OpenAI e Anthropic.
• Livelli di verifica e controllo dei fatti: Implementazione di un processo separato per il controllo incrociato delle affermazioni fatte da un LLM con fonti attendibili prima di presentare il risultato all'utente. Questo aggiunge un livello di sviluppo responsabile dell'IA.
• Set di dati di alta qualità e messa a punto: Il miglioramento continuo della qualità dei dati utilizzati per l'addestramento e l'esecuzione di un fine-tuning su set di dati specifici e di alta qualità possono aiutare ad allineare un modello di base con l'accuratezza dei fatti.

Allucinazione e altri errori di IA

• Bias nell'IA: Il bias nell'IA si riferisce a errori sistematici in cui i risultati di un modello favoriscono ingiustamente alcuni gruppi, di solito riflettendo pregiudizi della società o del set di dati. L'allucinazione riguarda la scorrettezza dei fatti, non necessariamente il pregiudizio. Entrambe le cose costituiscono un serio problema per l'etica dell'IA.
• Errori di visione artificiale: Il concetto di allucinazione è associato principalmente all'elaborazione del linguaggio naturale (NLP). Nella Computer Vision (CV), un errore significa tipicamente che un modello come Ultralytics YOLO commette un errore nel rilevamento degli oggetti (ad esempio, classifica erroneamente un gatto come un cane) o non riesce a rilevare un oggetto, il che si riferisce alla sua accuratezza. Si tratta di un errore di percezione, non di un'invenzione di informazioni. Tuttavia, man mano che i modelli multimodali che uniscono visione e linguaggio diventano più comuni, possono anche "allucinare" descrizioni errate delle immagini. La gestione di entrambi i tipi di modelli può essere semplificata da piattaforme come Ultralytics HUB.