ハルシネーション（LLMにおいて）

人工知能（AI）の領域において、幻覚とは大規模言語モデル（LLM）が、自信に満ちて文法的に正しいが、事実誤認や無意味、あるいは入力ソースに忠実でないコンテンツを生成する現象を指す。 クラッシュや目に見える不具合を引き起こす標準的なソフトウェアエラーとは異なり、幻覚を起こすモデルは 説得力のある虚偽情報生成者のように振る舞い、誤った情報を正当な事実と同等の権威をもって提示する。これは 医療、法律、金融といった機微な分野で生成AIを導入する組織にとって重大な課題となる。 これらの分野ではデータの完全性が最優先事項である。

なぜ幻覚は起こるのか？

モデルがなぜ幻覚を起こすのかを理解するには、その構築方法を考察することが有益である。大規模言語モデル（LLM）は通常、高度な予測エンジンとして機能するトランスフォーマーアーキテクチャに基づいている。検証済みの事実が構造化されたデータベースから照会されるのではなく、モデルは訓練データから導出された統計的確率に基づいて、シーケンス内の次のトークンを予測する。

この行動を促す要因はいくつかある：

• 確率的推測：モデルは事実の真偽よりも流暢さと一貫性を優先する。特定の語句の並びが統計的に確率が高い場合——たとえ事実的に誤っていても——モデルはそれを生成する可能性がある。この概念は、モデルが意味を理解せずに言語パターンを模倣する「確率的オウム」に関する研究で頻繁に議論される。
• データ品質の問題：トレーニングに使用される大規模なテキストコーパスに矛盾、 古い情報、または虚構が含まれている場合、モデルはこれらの不正確さを再現する可能性があります。
• ソース健忘症：大規模言語モデル（LLM）は膨大な情報をモデル重みに圧縮する。この過程で、特定のソースへの関連性を失うことが多く、異なる概念や事象が誤って統合される「虚構記憶」を引き起こす。

ハルシネーションの現実世界の例

幻覚は様々な形で現れる。無害な創造的な脚色から深刻な事実誤認まで：

• 法的捏造：法律専門家がAIを用いて準備書面を作成した事例が記録されているが、モデルが主張を裏付けるために存在しない裁判事例や引用文献をでっち上げたことが判明した。
• コード生成：AIアシスタントを利用する開発者は「パッケージ幻覚」に遭遇する可能性がある。 これは、モデルが標準的な命名規則に従っているという理由だけで、実際には存在しないソフトウェアライブラリのインポートや関数の呼び出しを提案する現象である。
• 伝記上の誤り：あまり知られていない人物について尋ねられた場合、モデルは自信を持って誤った功績、出生地、経歴を彼らに帰属させることがあり、事実上複数の人物の詳細を混ぜ合わせてしまう。

軽減戦略

幻覚の発生頻度を低減することは、AI安全性の主要な焦点である。 エンジニアや研究者は、モデルを現実に根ざすためにいくつかの手法を採用している：

• 検索拡張生成（RAG）：この手法はLLMを外部信頼知識ベース（多くの場合ベクトルデータベースでインデックス化）に接続する。回答生成前に関連文書を検索することで、モデルは実際のデータによって制約される。
• 思考の連鎖プロンプティング:この プロンプト設計手法は、複雑な推論を中間ステップに分解することでモデルに「過程を示す」よう促し、 論理的誤りを減らすことが多い。
• 人間のフィードバックからの強化学習（RLHF）：微調整段階において、人間の評価者がモデルの応答をランク付けする。虚偽を罰し真実性を報酬とすることで、モデルは人間の期待との整合性を高めるよう学習する。

LLMにコンピュータ・ビジョンを導入

マルチモーダルAIシステムでは、テキスト生成を視覚データに基づいて行うことが可能である。大規模言語モデル（LLM）に情景の説明を求めると、存在しない物体を幻視する可能性がある。YOLO26のような高精度物体検出器を統合することで、開発者はLLMに実在する物体の事実に基づくリストを提供でき、その出力を検証済みの検出結果に厳密に限定できる。

Python 、 ultralytics 検証済みオブジェクトのリストを抽出するパッケージ。 これにより、言語モデルのプロンプトに対する事実に基づく制約として機能できる。

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

関連概念の区別

幻覚を他の一般的なAIの誤りと区別することが重要です：

• AIにおけるバイアスと幻覚の対比：バイアス とは出力における体系的な偏見（例：ある人口統計を他より優遇する）を指すのに対し、幻覚は事実の正確性における失敗である。応答はバイアスがなくとも幻覚的である可能性がある（例：「月はチーズでできている」）。
• 過学習との対比：過学習は、モデルが学習データを過度に記憶し、新しい入力への一般化ができなくなった場合に発生する。幻覚は、モデルがデータ不足の領域に過度な一般化を試みた際に頻繁に発生する。
• 誤分類との対比： 物体検出において、車をトラックとラベル付けすることは 分類誤り（精度問題）であり、幻覚ではない。幻覚とは、 虚偽の内容を生成的に創出する行為に特有である。

データ整合性を高めて下流工程でのエラーを防止し、データセットの管理やモデルのトレーニングを目指す方々に、 Ultralytics アノテーションとデータセット管理のための包括的なツールを提供します。 さらに、NIST AIリスク管理フレームワークのガイダンスは、 本番環境におけるこれらのリスクを評価・軽減するための基準を提供します。