术语表

Tanh(双曲正切)

探索神经网络中 Tanh 激活函数的强大功能。了解它如何使人工智能以零中心效率为复杂数据建模!

使用Ultralytics HUB 对YOLO 模型进行简单培训

了解更多

双曲正切函数(通常简称为 Tanh)是神经网络中常用的一种激活函数。它在数学上与 sigmoid 函数相似,但输出范围不同,因此适用于不同类型的机器学习任务。Tanh 激活函数在帮助神经网络学习数据中的复杂模式方面发挥着至关重要的作用。

了解 Tanh

Tanh 函数是一条 S 形曲线,在数学上被定义为输出-1 和 1 之间的值,这与输出 0 和 1 之间值的Sigmoid 函数形成鲜明对比。在某些神经网络架构中,这一特性非常有用,因为它有助于将数据居中,从而提高后续层的学习效率。

在神经网络中,Tanh 等激活函数被应用于神经元输入的加权和。这为网络引入了非线性,使其能够模拟线性模型无法模拟的复杂数据关系。如果没有非线性激活函数,深度神经网络基本上就会表现得像单层感知器,从而限制了其学习能力。您可以在我们的术语表中探索ReLU(整流线性单元)Leaky ReLU等其他常见激活函数,了解它们的区别和使用案例。

人工智能/移动语言的相关性和应用

在神经元的输出需要同时为正值和负值的情况下,Tanh 尤其有用。一些关键应用包括

  • 递归神经网络(RNN):Tanh 常用于循环神经网络,尤其是长短时记忆网络 (LSTM)门控循环单元 (GRU )。在这些专为处理文本或时间序列等顺序数据而设计的架构中,Tanh 有助于调节网络中的信息流。例如,在文本生成机器翻译NLP 任务中,可以在 RNN 的隐藏层中找到 Tanh。
  • 生成模型在某些类型的生成模型中,所需的输出值可能既包括正值,也包括负值,Tanh 可以作为输出层或生成网络本身的合适选择。例如,在某些用于生成图像或音频的扩散模型中,可以在网络块中使用 Tanh。

由于ReLU及其变体在训练深度网络方面的简单性和高效性,它们在许多深度学习应用中越来越受欢迎,但 Tanh 仍然是一种有价值的选择,尤其是在零中心输出具有优势的情况下。了解不同激活函数的特性对于为各种人工智能ML任务设计有效的神经网络架构至关重要。

阅读全部