セルフ・アテンションズ

セルフ・アテンションの仕組み

セルフ・アテンションの核となる考え方は、文脈を考慮しながら情報の特定の部分に集中する人間の能力を模倣することである。例えば、文章を読むとき、単語の意味はしばしばそれを囲む単語に依存する。自己注意は、AIモデルが入力シーケンス内のすべての要素（単語や画像パッチなど）間の関係を評価することを可能にする。これは、シーケンス内の他のすべての要素に対する各要素の相対的な「注意スコア」を計算する。これらのスコアは、特定の要素に対する出力表現を生成する際に、各要素がどの程度の「注意」または「重み」を受けるべきかを決定し、モデルが文脈と長期的な依存関係を理解するために、入力の最も関連性の高い部分に集中できるようにします。このプロセスでは、各入力要素に対してクエリ表現、キー表現、および値表現を作成する。

主なメリット

自己アテンションは、旧来のシーケンス処理技術に比べていくつかの利点がある：

• 長距離の依存関係を捉える：局所的な特徴に注目する畳み込みニューラルネットワーク（CNN）や、勾配が消えるなどの問題により長いシーケンスに苦戦するリカレント・ニューラル・ネットワーク（RNN）とは異なり、自己アテンションはシーケンス内の離れた要素間の関係を直接モデル化することができる。
• 並列化：RNNの本質的に逐次的な性質と比較して、学習と推論の大幅な高速化につながる。この効率性は、ImageNetのような大規模なデータセットで大規模なモデルを学習する上で極めて重要である。
• 文脈理解の向上：入力のすべての部分の関連性を考慮することで、モデルはより文脈に富んだ表現を生成し、複雑なタスクのパフォーマンスを向上させることができる。

自己アテンションと従来のアテンション

どちらも注意メカニズムの傘に入るが、自己注意は従来の注意とは大きく異なる。従来の注意は通常、2つの異なるシーケンスの要素間の注意スコアを計算する。例えば、機械翻訳中に原文の単語と目的文の単語を関連付けるような場合である。しかし、自己注意は、入力の要素を同じ入力の他の要素に関連づけながら、1つのシーケンス内の注意スコアを計算する。この内部的な焦点は、入力の構造と文脈を深く理解する必要があるタスクにおいて、その有効性の鍵となる。

AIへの応用

自己注意は、さまざまな領域にわたる多くの最先端モデルにとって基本的なものである：

• 自然言語処理（NLP）：機械翻訳（例：文の前の先行詞に基づいて代名詞を正しく翻訳する）、テキスト要約（最も顕著なセンテンスを特定する）、質問応答などのタスクのために、BERTや GPT-4のようなモデルを強化しています。
• コンピュータビジョングローバルな画像コンテキストを理解することにより、画像分類で最高のパフォーマンスを達成するVision Transformers（ViT）を可能にする。また、以下のような物体検出モデルにも使用されています。 RT-DETRや Ultralytics YOLOYOLO12におけるエリア・アテンションなど）のような物体検出モデルでも使用され、関連する画像領域に処理を集中させる。その他のアプリケーションには、画像セグメンテーションと 医療画像解析が含まれます。
• 音声認識：音声シーケンスの関連部分に焦点を当てることで、話し言葉を理解するモデルの能力を向上させる。

今後の方向性

研究は、より高い計算効率（例えば、FlashAttentionやスパースアテンションバリアントのような方法）とより広い適用性を目指して、自己注意メカニズムを改良し続けている。AIモデルが複雑化するにつれて、自己注意は、専門的なAIアプリケーションから人工知能（AGI）の追求に至る分野での進歩を推進する基礎技術であり続けると予想されます。Ultralytics HUBのようなツールやプラットフォームは、このような高度な技術を組み込んだモデルのトレーニングや 展開を容易にします。