トランスフォーマーXL

仕組み

Transformer-XLの有効性は、標準的なTransformerに対する2つのコアアーキテクチャの改良に起因する：

• セグメントレベルの再帰メカニズム：Transformer-XLは、テキストの各セグメントを個別に処理する代わりに、以前に処理したセグメントの隠れた状態を現在のセグメントのコンテキストとして再利用する。リカレント・ニューラル・ネットワーク（RNN）の仕組みにヒントを得たこの技術は、コンテキストの断片化を防ぎ、より豊かで長期的なデータの理解を可能にする。これは、長文のテキスト生成において一貫性を維持するために非常に重要である。
• 相対位置埋め込み：オリジナルのTransformerは単語の順序を理解するために絶対位置埋め込みを使用するが、このアプローチはセグメント間で隠された状態を再利用するときに矛盾が生じる。Transformer-XLでは、より洗練された相対位置埋め込みスキームを導入している。トークンの絶対位置をエンコードする代わりに、注目メカニズム内のトークン間の相対距離をエンコードする。これにより、よりロバストになり、より長いシーケンスを処理する際にも一般化できる。

関連性と応用

Transformer-XLの長距離依存関係をモデル化する能力は、さまざまな逐次的タスク、特に自然言語処理において非常に効果的である。

• 言語モデリング： enwik8や WikiText-103のような文字レベルや単語レベルの言語モデリングベンチマークにおいて、従来のモデルよりも長い文脈を捉えることで、最先端の結果を達成した。この言語構造の理解の向上は、首尾一貫した文脈に関連したテキストを生成するために不可欠である。例えば、Transformer-XLベースのモデルは、第1章で言及された詳細が一貫して記憶され、最終章で参照されるような小説を書くことができる。
• 長い文書の処理： テキストの要約、長い記事に対する質問回答、書籍やコードベース全体の分析など、長い文書を含むタスクは、拡張コンテキストウィンドウから大きな恩恵を受ける。AIリーガル・アシスタントは、このアーキテクチャを使用して、数百ページの契約書を読み、文書内でどれだけ離れていても、相互に関連する条項に関する質問に正確に答えることができる。
• 強化学習：その記憶能力の向上は、長期的な計画を必要とする強化学習タスクにも応用されている。

Transformer-XLは主にNLPで知られているが、長いシーケンスを効率的に扱う原理は機械学習（ML）全体に関連しており、時系列解析のアーキテクチャや、ビデオデータを扱うコンピュータビジョン（CV）の側面にも影響を与える可能性がある。例えば、Transformersは、画像解析で使用されるVision Transformers（ViT）に影響を与えた。Hugging Faceのようなプラットフォームは、実装や事前に訓練されたモデルをホストし、研究やアプリケーション開発を促進している。論文「Transformer-XL：Attentive Language Models Beyond a Fixed-Length Context"（固定長のコンテキストを超えた注意深い言語モデル）。このような高度なアーキテクチャを理解することは、Ultralytics HUBのようなプラットフォームで管理・展開されるものを含め、様々なドメインにわたるモデルの開発と微調整に役立ちます。

関連用語との比較

• 標準的なトランスフォーマー：主な違いはコンテキストの処理である。標準的なTransformerは、固定された孤立した塊で情報を処理するため、コンテキストが断片化する。Transformer-XLは、これらのチャンクをリンクする再帰メカニズムを導入し、チャンクにまたがる依存関係をモデル化できるようにしている。
• ロングフォーマー：どちらのモデルも長いシーケンス用に設計されているが、Longformer は効率性を達成するために、スライディングウィンドウとグローバルアテンショントークンの組み合わせという異なるアテンションパターンを使用する。Transformer-XLの強みは、過去のセグメントからの文脈が重要な自動回帰生成にある。
• Reformer：Reformerも長いシーケンスを対象としているが、異なる手法、すなわちLocality-Sensitive Hashing（LSH）アテンションと可逆残差レイヤーを用いて効率性を達成している。Transformer-XLが再帰によるコンテキストの断片化を克服しているのに対して、Transformer-XLはメモリ使用量と計算コストの削減に重点を置いている。