Tanh（双曲正切）

Tanh（双曲正切）函数是机器学习和深度学习模型中广泛使用的激活函数。它将输入值映射到-1 和 1 之间的范围，因此特别适用于输出需要代表负值和正值的任务。Tanh 在数学上与 Sigmoid 函数相似，但输出范围更广，因此对某些类型的神经网络非常有效。

Tanh 的属性

Tanh 是一个围绕原点对称的 S 形（sigmoid）函数。它的主要特性包括

• 输出范围：数值限制在 -1 和 1 之间。
• 零中心与Sigmoid 函数不同，Tanh 的输出是以零为中心的，这使得基于梯度的优化算法更容易收敛。
• 梯度行为：当输入接近零时，梯度较强，但随着输入向极值移动，梯度会逐渐减弱，从而可能导致深度网络中的梯度消失问题。有关此问题的更多信息，请参阅 "梯度消失"术语表条目。

人工智能和 ML 的应用

Tanh 常用于需要计算负值的情况。下面是它的一些重要应用：

1.递归神经网络（RNNs）

Tanh 常用于处理时间序列或自然语言等序列数据的递归神经网络 (RNN)。Tanh 能够提供从负值到正值的范围，因此适用于捕捉数据点随时间变化的关系。

2.二进制分类

对于预测二元结果的模型，Tanh 可用于隐藏层，将输入数据转换为便于下游决策任务的范围。例如，Tanh 可以在使用Softmax 激活函数的最终层之前处理输入特征。

3.图像处理

在图像分割等计算机视觉任务中，Tanh 可以将像素强度归一化，从而增强特征提取。这在与卷积神经网络（CNN）等模型搭配时尤其有用。

真实案例

示例 1：情感分析

在文本情感分析中，Tanh 被用于 RNN或长短时记忆网络（LSTM），通过捕捉正面和负面情感来模拟情感的极性。该函数的零中心性质有助于有效区分对立情绪。

示例 2：自动驾驶汽车

在自动驾驶汽车系统中，Tanh 可用于处理传感器数据的神经网络层。例如，它可以对传感器读数（如激光雷达信号）进行归一化处理，以考虑与参考点的正负偏差。

Tanh 与 Sigmoid 和 ReLU 的比较

虽然 Tanh 与 Sigmoid 函数有相似之处，但与 Sigmoid 函数（0 至 1）相比，Tanh 的范围更广（-1 至 1）。这使得 Tanh 更适合需要零中心输出的任务。不过，对于深度网络而言，整流线性单元（ReLU）因其简单且不存在梯度消失问题，通常更受青睐。

主要区别

• Tanh 与 Sigmoid：Tanh 以零点为中心，而 Sigmoid 则不是。这使得 Tanh 在需要平衡梯度的网络中更为有效。
• Tanh 与 ReLU：ReLU 计算效率高，可避免梯度消失，但与 Tanh 不同的是，它不能处理负值。

挑战与局限

使用 Tanh 的主要挑战之一是梯度消失问题，当函数在极端输入值达到饱和时就会出现这一问题。这在深度网络中尤为严重，基于梯度的优化效果会大打折扣。为了解决这个问题，可以采用 ReLU 或Leaky ReLU等替代激活函数。

相关概念

• 激活函数概述：了解其他激活函数及其在神经网络中的作用。
• 梯度下降了解优化算法如何与 Tanh 等激活函数相互作用。
• 深度学习：探索更广泛的深度学习领域，以及 Tanh 如何融入各种架构。
• 超参数调整：探索如何通过有效的参数调整利用 Tanh 优化神经网络。

对于许多机器学习应用，尤其是那些需要输出包含负值和正值范围的应用，Tanh 仍然是一个通用而有效的激活函数。虽然更新的激活函数解决了它的一些局限性，但它在推动早期深度学习架构方面的作用不容低估。要以简单实用的方式尝试使用 Tanh 等激活函数，请访问Ultralytics HUB 无缝地训练和部署模型。