JA
EN
ZH
KO
RU
DE
FR
ES
PT
IT
TR
VI
ARクッキー設定
すべてのCookieを受け入れる」をクリックすると、サイトナビゲーションの強化、サイトの利用状況の分析、およびマーケティング活動の支援を目的として、お客様のデバイスにCookieが保存されることに同意したものとみなされます。詳細情報
クッキー設定
すべてのCookieを受け入れる」をクリックすると、サイトナビゲーションの強化、サイトの利用状況の分析、およびマーケティング活動の支援を目的として、お客様のデバイスにCookieが保存されることに同意したものとみなされます。詳細情報
長いシーケンス用に最適化されたトランスフォーマーモデルであるLongformerは、NLP、ゲノミクス、ビデオ解析のためのスケーラブルな効率性を提供します。
Longformerは、非常に長い文書を効率的に処理するために設計された先進的なTransformerベースのモデルである。アレンAI研究所の研究者によって開発されたこのモデルの主な革新点は、BERTのような標準的なTransformerモデルの2次関数的スケーリングとは異なり、シーケンスの長さに応じて線形にスケーリングするアテンションメカニズムである。この効率性により、数千から数万のトークンを含むテキストに対して複雑な自然言語処理（NLP）タスクを実行することが可能になる。
Longformerの効率の核心は、標準的なTransformerの完全な自己注意メカニズムに代わる、独自の注意パターンにある。すべてのトークンが他のトークンに注目するのではなく、Longformerは2種類の注目を組み合わせている：
[CLS] 分類タスクのためのトークン。この組み合わせにより、計算効率と、複雑な文書を理解するために必要な長距離の依存関係を捉えることのバランスが取れる。オリジナル研究の詳細は論文"Longformer：The Long-Document Transformer" に詳しい。
Longformerは長いシーケンスを扱うことができるため、以前は実用的でなかった多くの用途に可能性が広がります。
訓練済みのLongformerモデルは、Hugging Faceのようなプラットフォームで広く利用可能であり、開発者は様々なタスクに適応させることができる。
ロングフォーマーは、標準的なトランスフォーマーの長時間のシーケンスの限界を克服するために設計されたいくつかのモデルの一つです。
これらのNLPモデルは、物体検出のようなタスクを得意とするUltralytics YOLOのようなコンピュータビジョン（CV）モデルとは異なるが、計算効率の追求は共通のテーマである。Longformerのような複雑さを軽減するイノベーションは、強力なディープラーニングモデルを リアルタイム推論や多様なハードウェア上でのモデル展開に実用化するために極めて重要です。このような高度なモデルの管理は、Ultralytics HUBのようなプラットフォームを使って合理化することができます。
