リカレント・ニューラル・ネットワーク（RNN）

リカレント・ニューラル・ネットワークの仕組み

RNNの核となる考え方は、ネットワークのメモリとして機能する隠れ状態である。シーケンスの各ステップで、RNNは現在の入力と前のステップの隠れ状態を受け取り、出力を生成して隠れ状態を更新する。この更新された隠れ状態は、次のステップに渡される。このリカレント接続により、ネットワークは時間の経過とともにコンテキストを維持することができる。RNNのトレーニングには通常、Backpropagation Through Time（BPTT）と呼ばれるバックプロパゲーションのバリエーションが使用され、シーケンス長にわたってネットワークを展開し、勾配を計算する。Long Short-Term Memory（LSTM）やGated Recurrent Unit（GRU）などのより高度なバリエーションは、単純なRNNのいくつかの限界、特に消失勾配問題に対処するために開発され、より長期的な依存関係をより効果的に学習できるようになりました。Ultralytics HUBのようなプラットフォームを使って、シーケンスベースのものを含む可能性のある様々なモデルを探索し、訓練することができます。

RNNの応用

RNNは、様々なドメインでシーケンスモデリングタスクを進める上で基本的な役割を担ってきた。以下にいくつかの例を挙げる：

• 自然言語処理（NLP）：RNNは、機械翻訳、言語モデリング、感情分析、テキスト生成などのタスクに広く使用された。例えば、RNNは文章を単語ごとに読み取り、表現された感情を予測することができる。
• 音声認識：話し言葉をテキストに変換するには、音声シーケンスを経時的に処理する必要があるが、このタスクでは、RNNが音声信号の時間的パターンを捉えるのに有効であることが証明されている。最近のシステムでは、RNNとCNNや Transformerのような他のアーキテクチャを組み合わせることが多い。
• 時系列分析：株価、天候パターン、センサーの読み取り値など、過去の観測結果に基づいて将来の値を予測するには、RNNのシーケンシャルな性質を活用する。予測手法は、RNNの変種を採用することが多い。

RNNと他のネットワーク・アーキテクチャの比較

RNNを理解するには、他のニューラルネットワークと区別する必要がある：

• フィードフォワードネットワーク（MLP、CNNなど）：これらのネットワークは、過去の入力を記憶することなく、固定サイズの入力を処理する。情報は入力から出力へと一方向に流れる。CNNが空間的な階層（画像分類や 物体検出など）を得意とするのに対し、RNNは時間的なシーケンスのために構築されています。以下のような物体検出モデルについて詳しく知ることができます。 Ultralytics YOLOのような、主にCNNとTransformerアーキテクチャを使用する物体検出モデルについて詳しく知ることができる。
• トランスフォーマー 注目メカニズムを利用したトランスフォーマーは、多くのNLPタスクにおいて、最先端のパフォーマンスでRNNを大きく上回っている。長距離の依存関係をより効果的にモデル化し、学習時の並列化を可能にすることで、RNNの主な制限を克服している。物体検出の進化について読み、さまざまなアーキテクチャがどのようにAI能力を進化させてきたかをご覧ください。
• LSTMと GRU：これらは、情報の流れをよりうまく制御し、消失勾配の問題を緩和するためのゲーティング機構を持つように設計された特定のタイプのRNNであり、バニラRNNに比べて長いシーケンスの学習に長けている。スタンフォード大学のCS230コース教材には、これらの変種の概要が記載されている。

Transformersのような新しいアーキテクチャが多くの分野で支配的になっている一方で、RNNは依然としてディープラーニングにおける重要な基礎概念であり、特定のアプリケーションや、より大きなハイブリッドモデル内のコンポーネントとして、依然として関連している。RNNのメカニズムを理解することは、AIにおけるシーケンスモデリングの進化に関する貴重な洞察を提供します。さらなる探求のために、DeepLearning.AI専門科目のようなリソースがRNNを詳細に扱っています。