幻覚とは、ラージ・ランゲージ・モデル（LLM）が、自信に満ちて首尾一貫しているように見えるにもかかわらず、意味不明、事実誤認、または提供された入力コンテキストとは無関係なテキストを生成する現象を指す。このような出力は、モデルの学習データや外部の現実に基づいているのではなく、モデルの内部プロセスによって、次に出現する可能性の高い単語やトークンを予測しようとする結果なのです。幻覚を理解することは、人工知能（AI）システム、特に情報検索や意思決定に使用されるシステムを責任を持って開発・展開する上で極めて重要である。
幻覚はなぜ起こるのか
LLMは、しばしばTransformerのようなアーキテクチャ上に構築されるが、基本的には確率的モデルである。学習中に膨大なテキストデータからパターンと関係を学習する。しかし、LLMには真の理解や意識がない。幻覚はいくつかの要因から生じる：
- トレーニングデータの限界：モデルは、ノイズの多い、偏った、または不完全なデータでトレーニングされた可能性があり、もっともらしく聞こえるが誤ったステートメントを生成してしまう。トレーニングデータの質は、出力の信頼性に大きく影響します。
- モデルの構造：配列予測に固有の性質により、モデルは事実の正確さよりも流暢さを優先し、時にはパターンを完成させるために詳細を「発明」することもある。
- デコーディング戦略：生成中に次のトークンを選択するために使用される方法（例えば、貪欲探索対ビーム探索）は、幻覚の可能性に影響を与える可能性がある。
- 根拠の欠如：モデルは、RAG（Retrieval-Augmented Generation）のようなシステムで特別に設計されていない限り、リアルタイムの検証可能な情報への直接アクセスや、外部の知識ベースにおけるステートメントの根拠となるメカニズムに欠けていることが多い。
- プロンプトの曖昧さ：曖昧なプロンプトや不十分なプロンプトは、モデルを意図しない生成経路に導く可能性がある。効果的なプロンプトエンジニアリングが鍵となる。
実例とインパクト
幻覚はさまざまな形で現れる可能性があり、誤った情報を広めたり、ユーザーの信頼を損ねたりといったリスクをもたらす。
- 架空の法的引用：広く報道された事件では、弁護士が法律調査にチャットボットを使用し、そのチャットボットが全く捏造された判例引用を作成し、それを裁判所に提出した。これは、検証なしに重要な情報をLLMに頼ることの危険性を浮き彫りにしている。
- 捏造伝記：あまり知られていない人物の伝記を依頼されたLLMは、その人物の人生、学歴、業績に関する詳細を捏造し、実際の事実と、もっともらしいが事実とは異なる記述を混在させるかもしれない。これは、ジャーナリズムや学術研究のような分野で特に問題となります。
その影響は単純なエラーにとどまらず、特に検索エンジンやバーチャルアシスタント、コンテンツ作成ツールに組み込まれるようになると、AIシステムの信頼性が問われることになる。これに対処することは、AIの倫理と安全性における中核的な課題である。
幻覚の区別
幻覚を他のタイプのエラーと区別することは重要だ：
- バイアス：幻覚は、AIにおけるバイアスとは異なる。バイアスとは、学習データから学習された系統的な偏り（例：固定観念の永続化）を反映したものである。幻覚は多くの場合、よりランダムでナンセンスな作り話である。
- 単純なエラー：モデルは、トレーニングセットの古い情報に基づいて、事実誤認を起こすかもしれない。しかし、幻覚は、トレーニングデータに存在しなかった可能性の高い情報を生成する。
- オーバーフィッティング： オーバーフィッティングは、モデルが学習データをうまく学習しすぎて汎化に失敗することを意味するが、幻覚はむしろ、新奇で正しくないコンテンツを生成することを意味する。
緩和戦略
研究者やエンジニアは、LLMの幻覚を減らす方法を積極的に開発している：
単純なチャットボットから、機械学習ワークフローや自然言語処理（NLP）タスクで使用される複雑なツールまで、様々なアプリケーションに安全に統合できる信頼性の高いAIシステムを構築するためには、幻覚を理解し緩和することが不可欠です。モデルの管理と評価を容易にするUltralytics HUBのようなプラットフォームを含む継続的な研究と開発は、この継続的な取り組みに不可欠です。
JA
EN
ZH
KO
RU
DE
FR
ES
PT
IT
AR
TR
VI
