用語集

消えるグラデーション

ディープラーニングにおける消失勾配問題、ニューラルネットワークへの影響、そしてReLUやResNetsなどの効果的な解決策をご紹介します。

勾配の消失は、深層人工知能（AI）モデル、特にディープニューラルネットワーク（NN）の学習中に遭遇する一般的な課題である。これはバックプロパゲーションの過程で発生し、モデルは計算された誤差に基づいて内部パラメータ（重み）を調整することで学習する。誤差を最小化するために必要な重みの調整の方向と大きさを示す勾配は、各層ごとに計算される。非常に深いネットワークでは、これらの勾配は、出力層から初期層へと逆伝播されるにつれて極端に小さくなることがある。勾配が極端に小さくなると、初期の層の重みは非常にゆっくりと更新されるか、まったく更新されなくなり、その層の学習プロセスは事実上停止する。

ディープラーニングにおける重要性

消失勾配問題は、コンピュータビジョン（CV）や自然言語処理（NLP）のような分野で複雑なタスクに取り組むために不可欠なディープネットワークの学習を著しく妨げる。深いネットワークは理論上、より複雑なパターンや特徴の階層を学習する能力を持つ。しかし、初期層が消失勾配によって効果的に学習できない場合、ネットワークは基本的な低レベルの特徴を捉えることができず、全体的なパフォーマンスが制限される。これはディープラーニング（DL）の初期における大きな障害であり、特に長いシーケンスを処理する際に、単純なリカレント・ニューラル・ネットワーク（RNN）のような特定のアーキテクチャに影響を及ぼす。

原因と結果

勾配の消失にはいくつかの要因がある：

活性化関数： シグモイドや Tanhのようなある種の活性化関数は、その範囲のほとんどで導関数が1より小さい。バックプロパゲーションでは、これらの小さな導関数が何層にもわたって掛け合わされ、勾配が指数関数的に減少する。
ディープ・アーキテクチャー：ディープ・ネットワークのレイヤー数が非常に多いため、小さな数を繰り返し乗算する効果が悪化する。
重みの初期化： モデルの重みの初期化が不十分な場合も、問題の原因となる。

主な結果は、ネットワークの初期層の学習速度が極端に遅くなるか、学習が完全に停止することである。このため、モデルは複雑なデータ表現を学習することができず、優れたパフォーマンスを達成することができない。

緩和戦略

研究者たちは、消失勾配問題に対処するためにいくつかのテクニックを開発してきた：

ReLUとその変種： ReLU（Rectified Linear Unit）やその変種（Leaky ReLU、GeLU）のような活性化関数を使用すると、その導関数が正の入力に対して1になるため、その領域で勾配が縮むのを防ぐことができる。
残留ネットワーク（ResNet）： ResNetのようなアーキテクチャは、バックプロパゲーション中に勾配がいくつかの層をバイパスすることを可能にする「スキップ接続」を導入し、勾配信号に短い経路を提供する。このコンセプトは多くの最新のCNNの基本となっている。
ゲート機構（LSTM/GRU）：シーケンシャルなデータに対しては、Long Short-Term Memory（LSTM）やGated Recurrent Units（GRU）のようなアーキテクチャが、情報の流れや勾配を制御するためにゲーティング機構を使用する。
バッチ正規化： バッチ正規化を適用することで、レイヤーの入力を正規化し、勾配の消失（および爆発）を間接的に緩和することで、学習の安定化と高速化を図ることができる。
グラデーションのクリッピング：主にExploding Gradientsに使用されますが、慎重に適用されたクリッピングは、グラデーションの大きさを管理するのに役立つことがあります。
慎重な初期化：洗練された重みの初期化スキーム（Xavier/Glorot,He）を使用することで、トレーニングの初期に勾配が消失したり爆発したりする可能性を減らす範囲に初期重みを設定する。