Halluzination (bei LLMs)

Warum haben LLMs Halluzinationen?

Halluzinationen sind keine absichtlichen Täuschungen, sondern Nebenprodukte der Art und Weise, wie LLM aufgebaut und ausgebildet werden. Zu den Hauptursachen gehören:

• Unvollkommenheit der Trainingsdaten: Modelle wie GPT-3 und GPT-4 lernen aus riesigen Textmengen aus dem Internet, die unweigerlich Fehler, veraltete Informationen und algorithmische Verzerrungen enthalten. Das Modell lernt diese Muster aus seinen Trainingsdaten, ohne ein inhärentes Verständnis von Wahrheit zu haben.
• Architektonischer Aufbau: Die zugrundeliegende Transformer-Architektur ist für den Musterabgleich und die Sprachmodellierung optimiert, nicht für den Abruf von Fakten oder logisches Denken. Dies kann zu dem führen, was einige Forscher einen"stochastischen Papagei" nennen, ein Wesen, das Sprache nachahmen kann, ohne ihre Bedeutung zu verstehen.
• Mehrdeutigkeit bei der Inferenzzeit: Wenn das Modell während der Generierung unsicher ist, welches das nächstbeste Token ist, kann es die Lücken mit plausiblen, aber gefälschten Informationen "auffüllen". Die Anpassung von Inferenzparametern wie der Temperatur kann dies manchmal verringern, aber es bleibt eine zentrale Herausforderung. Einen technischen Überblick finden Sie in dieser Übersicht über LLM-Halluzinationen auf arXiv.

Beispiele für Halluzinationen in der realen Welt

• Juristische Recherche: Ein Anwalt, der einen KI-Assistenten für die Fallrecherche einsetzte, bat diesen, Präzedenzfälle zu finden. Der Chatbot zitierte mehrere völlig erfundene Gerichtsfälle, einschließlich Fallnamen und juristischer Analysen, die zwar plausibel, aber nicht existent waren. Dieser reale Vorfall verdeutlichte die ernsthaften Risiken des Einsatzes von LLMs in Bereichen, in denen viel auf dem Spiel steht, ohne eine solide Faktenüberprüfung.
• Produktempfehlungen: Ein Nutzer fragt einen Chatbot nach dem "besten Wanderrucksack mit eingebautem Solarpanel". Das LLM könnte mit Zuversicht ein bestimmtes Modell empfehlen und dessen Merkmale detailliert beschreiben, selbst wenn dieses bestimmte Produkt oder diese Merkmalskombination nicht existiert. Das Modell kombiniert Konzepte aus seinen Trainingsdaten, um ein plausibles, aber fiktives Produkt zu erstellen.

Wie man Halluzinationen reduziert

Forscher und Entwickler arbeiten aktiv an verschiedenen Abhilfestrategien:

• Retrieval-Augmented Generation (RAG): Diese Technik stattet ein LLM mit der Fähigkeit aus, Informationen aus einer externen, maßgeblichen Wissensbasis (wie einer Vektordatenbank) abzurufen, bevor eine Antwort generiert wird. Durch die Verankerung des Modells in überprüfbaren Fakten reduziert RAG die Zahl der Fälschungen erheblich. Mehr über die Funktionsweise von RAG erfahren Sie bei IBM Research.
• Bessere Prompting-Techniken: Methoden wie die Gedankenkette ermutigen das Modell, seine Überlegungen Schritt für Schritt aufzuschlüsseln, was zu genaueren Ergebnissen führen kann. Das Original-Forschungspapier über die Gedankenkette zeigt ihre Wirksamkeit.
• Verstärkungslernen durch menschliches Feedback (RLHF): Modelle werden mithilfe von RLHF verfeinert, wobei menschliche Prüfer verschiedene Modellantworten bewerten. Durch dieses Feedback wird das Modell darauf trainiert, wahrheitsgemäße und hilfreiche Antworten zu bevorzugen, ein Prozess, der von Organisationen wie OpenAI und Anthropic ausführlich beschrieben wird.
• Faktenüberprüfung und Verifizierungsschichten: Implementierung eines separaten Prozesses, um die von einem LLM aufgestellten Behauptungen mit vertrauenswürdigen Quellen abzugleichen, bevor die Ergebnisse dem Nutzer präsentiert werden. Dies fügt eine Ebene der verantwortungsvollen KI-Entwicklung hinzu.
• Hochwertige Datensätze und Feinabstimmung: Die kontinuierliche Verbesserung der Qualität der für das Training verwendeten Daten und die Durchführung von Feinabstimmungen an spezifischen, qualitativ hochwertigen Datensätzen können dazu beitragen, ein Basismodell auf die tatsächliche Genauigkeit abzustimmen.

Halluzinationen vs. andere AI-Fehler

• Voreingenommenheit in der künstlichen Intelligenz: Voreingenommenheit in der künstlichen Intelligenz bezieht sich auf systematische Fehler, bei denen die Ergebnisse eines Modells bestimmte Gruppen in unfairer Weise bevorzugen, was in der Regel auf gesellschaftliche oder datenbezogene Vorurteile zurückzuführen ist. Bei Halluzinationen geht es um sachliche Unrichtigkeit, nicht unbedingt um Vorurteile. Beides ist ein ernsthaftes Problem in der KI-Ethik.
• Computer-Vision-Fehler: Das Konzept der Halluzination wird hauptsächlich mit der Verarbeitung natürlicher Sprache (NLP) in Verbindung gebracht. In der Computer Vision (CV) bedeutet ein Fehler typischerweise, dass ein Modell wie Ultralytics YOLO einen Fehler bei der Objekterkennung macht (z. B. eine Katze fälschlicherweise als Hund klassifiziert) oder ein Objekt nicht erkennt, was sich auf seine Genauigkeit bezieht. Dabei handelt es sich um einen Wahrnehmungsfehler, nicht um eine Erfindung von Informationen. Da jedoch multimodale Modelle, die Sehen und Sprache zusammenführen, immer häufiger werden, können sie auch falsche Bildbeschreibungen "halluzinieren". Die Verwaltung beider Arten von Modellen kann auf Plattformen wie Ultralytics HUB rationalisiert werden.