長期短期記憶（LSTM）

LSTMの仕組み

LSTMの能力の鍵は、"セル状態 "といくつかの "ゲート "を含む内部構造にある。セル・ステートはベルトコンベアーの役割を果たし、関連する情報をシークエンスに運ぶ。ゲート（入力、忘却、出力）はニューラル・ネットワークで、どの情報をセル状態に追加するか、セル状態から削除するか、セル状態から読み出すかを制御する。

• 忘却ゲート：前のセル状態からどの情報を破棄するかを決定する。
• 入力ゲート：現在の入力からどの新しい情報をセル状態に保存するかを決定する。
• 出力ゲート：現在の時間ステップの出力を生成するために、セル状態からどの情報を使うかを制御する。

このゲーティング構造により、LSTMはテキストや時系列のような連続したデータを理解するために重要な機能である、多くの時間ステップにわたってコンテキストを維持することができる。LSTMの詳細な視覚化については、こちらのブログ記事「Understanding LSTMs」をご覧ください。

実世界での応用

LSTMは、逐次的なデータを含む多くの領域で応用され、成功を収めている。

1. 機械翻訳：LSTMは、ある言語の文章を単語単位で処理し、内部表現（理解）を構築し、別の言語の翻訳を生成することができる。首尾一貫した翻訳を生成するには、文頭の文脈を記憶する必要がある。Google Translateは、Transformerアーキテクチャに移行する前は、この目的のためにLSTMベースのモデルを使用していた。
2. 音声認識： 音声テキスト化アプリケーションでは、LSTM は音声特徴のシーケンスを処理して、話し言葉を書き起こすことができる。このモデルは、現在の音声を正しく解釈するために以前の音声を考慮する必要があり、時間依存性を処理する能力を示す。現代の多くのバーチャル・アシスタントは、この技術に依存している。

他の配列モデルとの比較

LSTMは、シーケンシャルなデータに対するより広範なモデルファミリーの一部である。

• ゲーテッド・リカレント・ユニット（GRU）：GRUはLSTMを単純化したものである。忘却ゲートと入力ゲートを1つの「更新ゲート」に統合し、セル状態と隠れ状態を統合する。このためGRUは計算効率が高く、学習が高速になるが、タスクによってはLSTMよりも表現力が若干劣ることがある。
• 隠れマルコフ・モデル（HMM）：HMMは確率的なモデルで、LSTMよりも複雑ではない。より単純なシーケンスタスクには有用だが、LSTMや他のニューラルネットワークのような複雑で長距離の依存関係を捉えることはできない。
• トランスフォーマー 自己注意メカニズムに依存するTransformerアーキテクチャは、多くのNLPタスクにおいてLSTMを凌ぐ最先端となっている。LSTMの逐次処理とは異なり、Transformerはシーケンスの全要素を並列処理できるため、GPUのような最新のハードウェア上で非常に効率的で、グローバルな依存関係を捉えるのに優れている。

実装とツール

LSTMは、PyTorch（PyTorch LSTMのドキュメントを参照）やTensorFlow（TensorFlow LSTMのドキュメントを参照）などの一般的なディープラーニングフレームワークを使用して容易に実装することができます。Ultralyticsは、主にオブジェクト検出や インスタンス分割などのタスクのためのUltralytics YOLOのようなコンピュータビジョン（CV）モデルに焦点を当てていますが、シーケンスモデルを理解することは、特にビデオ理解や画像キャプションのようなタスクのためのNLPとCVの橋渡しを探求する研究において貴重です。さまざまなMLモデルと概念については、Ultralyticsのドキュメントを参照してください。様々なモデルのトレーニングとデプロイの管理は、Ultralytics HUBのようなプラットフォームを使って効率化できます。DeepLearning.AIのようなリソースは、LSTMを含むシーケンスモデルをカバーするコースを提供しています。