GELU（ガウス誤差リニアユニット）

GELUとは？

GELUはGaussian Error Linear Unitの略で、ニューラルネットワーク用の活性化関数である。活性化関数は、加重和を計算し、さらにバイアスを加えることによって、ニューロンを活性化すべきかどうかを決定する。活性化関数の目的は、ニューロンの出力に非線形性を導入することである。GELUは特にReLU（Rectified Linear Unit）活性化関数の滑らかな近似として知られているが、重要な違いがある。このためGELUは確率的であり、特に最新のニューラルネットワークアーキテクチャでは、多くの場合ReLUよりも効果的である。

GELUの仕組み

GELUの核となる考え方は、入力をその値に基づいて確率的に落とすことで、ニューロンをランダムに正則化することである。より簡単に言えば、与えられた入力に対して、GELUはそれがゼロより大きいか小さいかに基づいて重みをつけるが、ハードスイッチであるReLUとは異なり、GELUはより滑らかで確率的なアプローチを用いる。この確率的な性質は、標準的なガウス分布の累積分布関数（CDF）に由来する。この関数は本質的にこう問いかける：「入力'x'が与えられたとき、それが標準ガウス分布から引き出された値より大きい確率はどのくらいか？この確率が入力をスケーリングし、滑らかで非線形な活性化をもたらす。このゼロ付近の滑らかな遷移が、GELUをReLUや、ゼロで鋭く曲がるLeaky ReLUのような変種と区別する重要な特徴である。

GELUの利点

GELUには、ニューラルネットワークにおける有効性を高めるいくつかの利点がある：

• 滑らかさ：ReLUとは異なり、GELUはゼロ付近を含む全領域にわたって滑らかである。この滑らかさは、勾配ベースの最適化を助け、ディープネットワークの学習を容易にし、より良い汎化につながる可能性がある。
• 正の入力に対して非飽和：ReLUと同様、GELUは正入力に対して非飽和であり、勾配の消失問題を緩和し、より深いネットワークの学習を可能にする。
• 経験的な成功GELUは、様々な最先端のモデル、特に自然言語処理で一般的に使用されているTransformerベースのアーキテクチャや、最近ではコンピュータビジョンにおいて、強力な経験的性能を実証してきた。活性化に対するその確率的アプローチは、多くのタスクにおいてモデルの精度を高めることが示されている。
• 瀕死のReLU」問題の軽減：ReLUは、ニューロンが不活発になり学習を停止する「瀕死のReLU」問題に悩まされることがあるが、GELUの滑らかな性質と負入力に対するゼロでない出力は、この問題を軽減するのに役立つ。

GELUの用途

GELUは、AIのさまざまな領域で重要な応用を見出している：

• 自然言語処理（NLP）：GELUは、BERT（Bidirectional Encoder Representations from Transformers）やその後継モデルを含む先進的なNLPモデルで顕著に使用されている。Transformerモデルの性能を向上させるその能力により、GELUは最先端のNLP研究とアプリケーションの定番となっている。例えば、高度なテキスト生成や 機械翻訳タスクで使用されるGPT-3や GPT-4のようなモデルは、活性化関数としてGELUを採用することが多い。
• コンピュータビジョン：従来、ReLUとその変種はコンピュータビジョンにおいてより一般的であったが、GELUはビジョンモデル、特にVision Transformer（ViT）のようなTransformerアーキテクチャを組み込んだモデルに採用されることが増えている。画像分類や 物体検出のようなタスクにおいて、GELUは複雑な視覚的特徴を学習するモデルの能力を向上させることができる。例えば、医療画像解析に使用されるモデルでは、診断精度を向上させるためにGELUが活用され始めています。
• 音声認識：NLPと同様、GELUのスムーズな活性化は音声認識モデルにおいて有益であることが証明されており、連続データの取り扱いを改善し、音声をテキストに変換する精度を高めている。

GELU vs ReLU

GELUとReLUはどちらもニューラルネットワークの性能を向上させるために設計された非線形活性化関数であるが、そのアプローチは異なる：

• ReLU（整流線形ユニット）：ReLUはより単純な関数で、入力が正であればそのまま出力し、そうでなければゼロを出力する。計算効率は良いが、「死にゆくReLU」問題に悩まされることがあり、ゼロでは滑らかではない。ReLUや、Leaky ReLUのような関連活性化関数については、用語集を参照してください。
• GELU（ガウス誤差リニアユニット）：GELUは、ガウス分布に基づく確率的アプローチを使用した、より滑らかで複雑な関数です。より複雑なモデル、特にトランスフォーマーにおいて、よりニュアンスのある活性化を提供し、負の入力に対する出力がゼロでないことによる「死にゆくReLU」のような問題を軽減することで、より優れた性能を発揮する傾向があります。

本質的には、ReLUはそのシンプルさと計算効率の高さから好まれることが多く、GELUは、特に性能が最重要となる深く複雑なアーキテクチャにおいて、より優れた精度とよりスムーズな学習を提供できる可能性があることから選ばれる。両者の選択は、多くの場合、特定のアプリケーションと使用されるニューラルネットワークのアーキテクチャに依存する。ハイパーパラメータチューニングのようなテクニックは、与えられたモデルとタスクに最適な活性化関数を決定するのに役立ちます。

その他のリソース

GELUとその関連概念について理解を深めるために、以下のリソースをご参照ください：

• GELU論文GELUに関するオリジナルの研究論文「Gaussian Error Linear Units (GELUs)」をarXivで読むと、技術的な理解が深まります。
• ニューラルネットワークにおける活性化関数：GELUを含む活性化関数の包括的な概要をウィキペディアでご覧ください。
• 活性化関数を理解するweatherdatascience.comに掲載された、GELUを含む様々な活性化関数についての詳細なブログ記事。
• Ultralytics 用語集：AIと機械学習の用語の定義については、Ultralytics 用語集をご覧ください。
• Ultralytics YOLOv8:高度な活性化関数を利用した最先端のモデルをドキュメントでご覧ください。 Ultralytics YOLOv8ドキュメントをご覧ください。