リトリーバル・オーグメンテッド・ジェネレーション（RAG）

検索機能付きジェネレーションの仕組み

RAGのプロセスは、検索と生成という2つの主要な段階に分けることができる。この二段階アプローチは、情報検索システムと生成モデルの長所を組み合わせたものである。

1. 検索：ユーザーがプロンプトを提供したり、質問をしたりすると、RAGシステムはまずプロンプトを使用して、関連する情報の知識ソースを検索する。このソースは通常、文書、記事、その他のデータの埋め込みを含むベクトルデータベースである。リトリーバー・コンポーネントは、ユーザーのクエリに基づいて、最も関連性の高いテキストやデータのスニペットを特定し、引き出す。オプションであるが強力なステップは、リランカーを使用してこれらの検索結果を絞り込み、文脈上最も重要な情報のみを渡すようにすることである。
2. 拡張世代：検索された情報は、元のユーザープロンプトと組み合わされる。この新しい、強化されたプロンプトは、生成AIモデル（LLM）に入力される。LLMは、この追加されたコンテキストを使用して、包括的で正確かつ適切な応答を生成する。LangChainや LlamaIndexのようなフレームワークは、このような複雑なRAGパイプラインを構築し管理するために一般的に使用されている。

応用と実例

RAGは、事実の正確さと動的または特殊なデータへのアクセスを必要とするシナリオで特に有用である。

• 高度な質問応答システム：顧客サポートチャットボットは、RAGを使用して、製品マニュアル、トラブルシューティングガイド、ポリシー文書など、企業のナレッジベース全体にアクセスすることができます。顧客が「私の製品の保証ポリシーは何ですか」と尋ねると、システムは最新の保証ドキュメントを取得し、それを使用して正確で最新の回答を提供します。
• コンテンツの作成と調査：金融アナリストは、RAGを搭載したツールを使ってマーケット・サマリーを書くことができる。このツールは、ブルームバーグや ロイターのような信頼できる情報源から、最新の財務レポート、マーケットニュース、株式パフォーマンスデータを取得することができる。そして、LLMはこれらの情報を統合して、引用を含む首尾一貫したレポートを作成し、調査プロセスを大幅にスピードアップします。

RAGと関連概念

LLMのパフォーマンスを向上させるために使用される他の方法とRAGを区別することは有益である：

• 微調整：Fine-tuningは、事前に訓練されたモデルを、より小さく特殊化されたデータセットで訓練を続けることで適応させ、モデルの内部重みを修正する。RAGとは異なり、推論中に外部データを参照することはない。ファインチューニングはモデルに新しいスタイルやスキルを教えるのに適しており、RAGは事実に基づいた知識を取り入れるのに適している。これらのアプローチは補完的でもある。
• プロンプト・エンジニアリング：これは、LLMから望ましい出力を得るためにプロンプトを注意深く設計する手動プロセスである。RAGは、人間が手作業ですべてのコンテキストを提供するのではなく、検索されたデータをプロンプトにプログラム的に追加（「補強」）することにより、この一部を自動化します。
• プロンプト・エンリッチメント：RAGと似ているが、プロンプトの充実はより広い用語である。これは、ユーザーの履歴や会話の流れからコンテキストを追加することを含むかもしれない。RAGは、モデルの応答の根拠となる外部知識ベースから事実情報を検索することに重点を置いた、特定のタイプのエンリッチメントである。

コンピュータ・ビジョンにおけるRAG

RAGは主に自然言語処理（NLP）で使用されているが、そのコアコンセプトはコンピュータビジョン（CV）タスクにも応用されている。例えば、画像生成や解析のガイドとして、関連する視覚情報をシステムが取得することができる。これには、Ultralytics YOLOのような物体検出モデルの性能を向上させるために、大規模なデータセットから類似画像を見つけることが含まれる。このような複雑なモデルやデータセットの管理は、Ultralytics HUBのようなプラットフォームによって合理化され、RAGを使用する将来のマルチモーダルモデルアプリケーションの基盤として機能します。関連する実装については、RAGとコンピュータビジョンによるAIの強化に関するブログをご覧ください。