コンテキスト・ウィンドウ

コンテキストウィンドウの仕組み

リカレント・ニューラル・ネットワーク（RNN）や特にトランスフォーマーなど、データを逐次処理するモデルは、コンテキスト・ウィンドウに依存している。モデルが一連のデータを分析するとき、その1つのデータ・ポイントを単独で見るのではない。その代わりに、そのデータ点と、それに先行する特定の数のデータ点を見る。例えば言語モデルでは、文中の次の単語を予測するために、モデルは最後の数単語を調べる。考慮する単語の数は、コンテキスト・ウィンドウのサイズによって決定される。これは、連続した情報の意味を理解するために不可欠な、依存関係やパターンをモデルが捉えるのに役立つ。言語モデルがどのように機能するかについての概要は、LLM入門にある。

実世界のAI/MLアプリケーションにおけるコンテキスト・ウィンドウの例

コンテキスト・ウィンドウの概念は、多くのAIアプリケーションに不可欠である：

• チャットボットとバーチャルアシスタント：最新のチャットボットは、コンテキストウィンドウを使って会話の履歴を管理する。これにより、後続の質問を理解し、以前のポイントを参照し、より自然で首尾一貫した対話を提供し、反復的または無関係な応答を避けることができます。GoogleのGeminiのようなモデルは、洗練された対話のために大きなコンテキストウィンドウを活用しています。
• 金融予測のための時系列分析：金融モデルは、将来の市場の動きを予測するために、定義されたコンテキストウィンドウ内で過去の株価、経済指標、または取引量のシーケンスを分析します。ウィンドウの大きさは、過去のデータが予測に与える影響を決定する。金融分野のAIは、慎重に調整されたコンテキスト・ウィンドウに依存することが多い。
• テキスト予測アルゴリズム：スマートフォンで文字を入力する際、キーボードはコンテキスト・ウィンドウ内の直前の単語に基づいて次の単語を提案し、入力速度と精度を向上させます。この機能は、小さくて効率的なコンテキスト・ウィンドウをそのまま応用したものです。

主な考察と関連概念

適切なコンテキスト・ウィンドウのサイズを選択することは、トレードオフを伴う。より大きなウィンドウは、より多くのコンテキストを取り込み、モデルの精度を向上させる可能性がある。しかし、より多くのメモリと計算能力を必要とし、学習と推論が遅くなる可能性がある。Transformer-XLのような技術は、カーネギーメロン大学の研究に詳述されているように、より長いコンテキストをより効率的に扱うために開発されている。

コンテキストウィンドウを関連用語と区別することは有用である：

• 受容野：概念的には似ているが（入力領域が出力に影響を与える）、受容野は通常、畳み込みニューラルネットワーク（CNN）で処理される画像のような入力における空間的な広がりを指す。コンテキスト・ウィンドウは通常、シーケンシャルなデータ（テキスト、時系列、ビデオフレーム）に適用される。
• シーケンス長：多くのモデル、特にトランスフォーマーでは、コンテキストウィンドウのサイズが、モデルが一度に処理できる最大シーケンス長を直接定義する。長い配列は切り詰めたり、特殊なアーキテクチャを使って処理する必要があるかもしれない。これは、Sequence-to-Sequenceモデルにとって非常に重要である。

PyTorch（PyTorchの公式サイト）やTensorFlow（TensorFlowの公式サイトに詳細）のようなフレームワークは、コンテキストウィンドウが重要なパラメータとなるモデルを構築するためのツールを提供している。効率的なモデルのデプロイには、コンテキストの取り扱いを最適化する必要があることが多いが、これはUltralytics HUBのようなプラットフォームで管理することができる。