SiLU（シグモイド・リニア・ユニット）

SiLUの仕組み

SiLUは、入力と出力との積として定義される。 シグモイド 関数を入力に適用する。基本的には SiLU(x) = x * sigmoid(x).この定式化により、SiLUはセルフゲーティング・メカニズムとして機能することができる。 x が通過する。シグモイド出力が1に近いとき、入力はほとんど変化せずに通過し（正の値に対するReLUに似ている）、0に近いとき、出力は0に向かって抑制される。ReLUとは異なり、SiLUは滑らかで非単調（入力が増加しても減少することがある）である。 シグモイド機能詳細 コンポーネントである。そのコンセプトは オリジナル・スウィッシュ紙.

SiLUの利点

SiLUは、ディープラーニングモデルにおける有効性に寄与するいくつかの利点を提供する：

• 滑らかさ：ReLUとは異なり、SiLUは滑らかな関数であり、その微分は連続的である。この滑らかさは、バックプロパゲーション中の勾配ベースの最適化アルゴリズムにとって有益であり、より安定した学習につながります。
• 非単調性：負の入力に対してわずかにくぼんでからゼロに向かって上昇する関数の形状は、ネットワークがより複雑なパターンを表現するのに役立つかもしれない。
• 消失勾配の回避シグモイド関数はディープネットワークにおいて消失勾配の問題に大きく悩まされることがあるが、SiLUはこの問題を軽減し、特に正の入力に対してはReLUと同様に線形に振る舞う。
• 性能の向上：実証研究により、ReLUをSiLUに置き換えることで、様々なタスクやデータセットにおいて、特に深いアーキテクチャにおいて、モデルの精度が向上することが示されている。

他の活性化関数との比較

SiLUは他の一般的な活性化関数とは一線を画している：

• ReLU： ReLU の方が計算が簡単である (max(0, x))であり、正の値に対しては線形であるが、ニューロンが負の入力に対して不活性になる「瀕死のReLU」問題に悩まされる。参照 ReLUの説明.SiLUは滑らかで、負の値に対する出力がゼロでないため、この問題を回避できる。
• シグモイド： シグモイドは入力を0と1の間の範囲にマッピングするが、飽和と消失勾配に悩まされ、SiLUに比べてディープネットワークの隠れ層には不向きである。
• リークReLU： Leaky ReLUは、負の入力に対して小さな非ゼロの勾配を許容することで、瀕死のReLU問題に対処する。SiLUは異なる滑らかなプロファイルを提供する。
• GELU： GELU (Gaussian Error Linear Unit)は、SiLUとよく似た働きをするもう一つの滑らかな活性化関数である。SiLUは一般的にGELUよりも計算が若干簡単であると考えられています。

SiLUの応用

SiLUは汎用性が高く、ディープラーニングモデルが使用される様々な領域で応用に成功している：

• 物体検出：SiLUは、最先端の物体検出モデルのアーキテクチャによく使用されている。 Ultralytics YOLO.例えば、車両や歩行者を正確に検出することは、自律走行システムにとって非常に重要です。
• 画像の分類画像分類のための畳み込みニューラルネットワーク（CNN）において強力な性能を示し、ベンチマークデータセットにおいてより高い精度に貢献している。例えば、病気の診断を助けるための医療画像分析において、異なるタイプの組織を分類することが挙げられる。
• 自然言語処理（NLP）：SiLUは自然言語処理モデルにも見られ、テキスト分類や他の自然言語処理アプリケーションのようなタスクのパフォーマンスを向上させます。
• 一般的なコンピュータビジョン（CV）：その特性から、検出や分類にとどまらない様々なCVタスクの有力な候補となる。

実施

SiLUは主要な深層学習フレームワークですぐに利用できる：

• PyTorch: として実施された。 torch.nn.SiLU公式な SiLU 用PyTorch ドキュメント 利用できる。
• TensorFlow: として利用可能 tf.keras.activations.swish または tf.keras.activations.siluに記録されている。 SiLUのTensorFlow ドキュメント.

Ultralytics HUBのようなプラットフォームは、モデルのトレーニングをサポートし、SiLUのような高度なコンポーネントを利用したモデルの様々な展開オプションを探索する。DeepLearning.AIのような組織による継続的な研究とリソースは、実務家がこのような機能を効果的に活用するのに役立ちます。