雨漏りするReLU

リークしたReLUを理解する

標準的なReLU関数は、入力が正であればそのまま出力し、そうでなければゼロを出力する。計算効率は良いが、負の入力に対するゼロ出力は、「死にゆくReLU」問題につながる。ニューロンが常に負の入力を受け、その出力がゼロになると、バックプロパゲー ション中にそのニューロンを流れる勾配もゼロになる。その結果、ニューロンの重みは更新されなくなり、事実上「死んで」しまい、学習プロセスに貢献しなくなる。この問題はモデルの学習を妨げる可能性があり、特に非常に深いネットワークでは勾配の消失問題を悪化させる可能性がある。

Leaky ReLUは、負の入力に対して小さなゼロでないスロープを導入することで、これに対処している。ゼロを出力する代わりに、入力に 比例した小さな値（例えば入力の0.01倍）を出力する。この小さな「リーク」によって、ニューロンが出力が負であっても、常にゼロでない勾配を持つことが保証される。これによって、重みが更新され続け、ニュー ロンが永久に不活性になるのを防ぐことができる。この小さな勾配は、しばしばαと表記され、通常は固定された小さな定数であるが、Parametric ReLU（PReLU）のようなバリエーションでは、この勾配をトレーニング中に学習することができる（PReLUについてもっと知る）。デッドニューロンを防ぐことで、Leaky ReLUはよりロバストな学習と、より早い収束につながる可能性がある。

AIとMLにおける関連性と応用

Leaky ReLUは、トレーニングの間中アクティブなニューロンを維持することが重要なシナリオにおいて、貴重なツールである。標準的なReLUと同様の計算効率により、大規模モデルに適している。主な応用例

• コンピュータビジョン（CV）： 画像分類、物体検出、画像セグメンテーションなどのタスクに使用される多くの畳み込みニューラルネットワーク（CNN）は、Leaky ReLUの恩恵を受けている。死滅ニューロンを防止することで、深い層にわたって特徴学習能力を維持することができ、モデル精度の向上に貢献する。一方 Ultralytics YOLOv8のような新しいアーキテクチャーではSiLUのような活性化がよく使われるが、Leaky ReLUは多くの視覚モデルで一般的かつ効果的な選択肢であり、以前の Ultralytics YOLOバージョンで使用されていた。
• 生成的逆数ネットワーク（GAN）：リーク型ReLUはGANの識別器ネットワークで頻繁に使用される。負の入力に対する非ゼロ勾配は、標準的なReLUと比較して、より安定した学習信号を提供する。この安定性は、効果的な生成モデルを学習する上で非常に重要である。GAN構造についてさらに詳しく
• 自然言語処理（NLP）：CVほど一般的ではないが、Leaky ReLUはNLPタスクのディープラーニングモデルにも採用できる。
• リアルタイムシステム：その計算効率の高さから、エッジデバイスへの導入を含め、リアルタイム推論を必要とするアプリケーションに適している。

リークしたReLUと他の活性化機能との比較

標準的なReLUと比較して、Leaky ReLUの主な利点は、死にゆくニューロンの問題を回避することです。ELU (Exponential Linear Unit)やSiLU (Sigmoid Linear Unit)のような他の活性化関数もこの問題に対処し、より滑らかな勾配などの利点を提供することもある。しかし、これらの選択肢はLeaky ReLUよりも計算コストが高くなる可能性があります（活性化関数の比較を参照）。最適な選択は、多くの場合、特定のニューラルネットワークアーキテクチャ、データセット、およびハイパーパラメータチューニングのようなプロセスを通じて得られた経験的結果に依存します。以下のようなフレームワーク PyTorchのようなフレームワークは、様々な活性化関数の簡単な実装を提供し、実験を容易にします。