タン（双曲線タンジェント）

ハイパーボリックタンジェント（しばしばTanhと略される）は、ニューラルネットワークでよく使われる活性化関数の一種である。数学的にはシグモイド関数に似ているが、出力範囲が異なるため、さまざまなタイプの機械学習タスクに適している。Tanh活性化関数は、ニューラルネットワークがデータの複雑なパターンを学習する上で重要な役割を果たす。

タンを理解する

Tanh関数はS字型の曲線で、-1から1の間の値を出力するように数学的に定義されている。これは、0から1の間の値を出力するシグモイド関数とは対照的である。この特性は、ある種のニューラルネットワーク・アーキテクチャにおいて、データの中心化に役立ち、後続層の学習をより効率的にすることができるため、有益である。

ニューラルネットワークの文脈では、Tanhのような活性化関数がニューロンの入力の加重和に適用される。これによりネットワークに非線形性が導入され、線形モデルでは不可能なデータ内の複雑な関係をモデル化できるようになる。非線形活性化関数がなければ、ディープニューラルネットワークは基本的に単層パーセプトロンのように振る舞い、学習能力が制限される。ReLU (Rectified Linear Unit)やLeaky ReLUのような他の一般的な活性化関数については、用語集を参照してその違いと使用例を理解してください。

AI/MLにおける関連性と応用

Tanhは、ニューロンの出力が正負両方必要な状況で特に有用である。主な応用例には以下のようなものがある：

• リカレント・ニューラル・ネットワーク（RNN）：TanhはRNN、特にLong Short-Term Memoryネットワーク（LSTM）やGated Recurrent Unit（GRU）で頻繁に使用される。テキストや時系列などのシーケンシャルなデータを処理するために設計されたこれらのアーキテクチャでは、Tanhはネットワークを介した情報の流れを制御するのに役立つ。例えば、テキスト生成や 機械翻訳などの NLPタスクでは、TanhはRNNの隠れ層に存在する。
• 生成モデル：ある種の生成モデルでは、望ましい出力が正の値と負の値の両方にまたがる可能性がある場合、Tanhは出力層または生成ネットワーク自体に適した選択肢となる。例えば、画像や音声の生成に使用されるある種の拡散モデルでは、Tanhをネットワークブロック内で採用することができる。

ReLUとその変種は、そのシンプルさとディープネットワークのトレーニングにおける効率性により、多くのディープラーニングアプリケーションでより一般的になってきているが、Tanhは、特にゼロ中心出力が有利な場合には、依然として貴重な選択肢である。様々な活性化関数の特性を理解することは、様々なAIや MLタスクのための効果的なニューラルネットワークアーキテクチャを設計する上で極めて重要である。