Leaky ReLU

了解 Leaky ReLU

标准 ReLU 函数在输入为正数时直接输出，否则输出为零。虽然计算效率很高，但这种对负输入的零输出会导致 "垂死的 ReLU "问题。如果神经元持续接收负输入，导致其输出为零，那么在反向传播过程中流经该神经元的梯度也会变为零。因此，神经元的权重停止更新，神经元实际上就 "死亡 "了，不再对学习过程做出贡献。这个问题会阻碍模型训练，尤其是在深度网络中，可能会加剧梯度消失问题。

Leaky ReLU 通过为负输入引入一个非零的小斜率来解决这个问题。它不是输出零，而是输出一个与输入成正比的小值（例如，输入的 0.01 倍）。这种微小的 "泄漏 "可确保神经元始终保持非零梯度，即使其输出为负值时也是如此。这样，权重就能继续更新，防止神经元永久处于不活动状态。小斜率通常表示为 alpha，通常是一个固定的小常数，但参数 ReLU（PReLU）等变体允许在训练过程中学习这一斜率（了解有关 PReLU 的更多信息）。通过防止死神经元，Leaky ReLU 可以带来更稳健的训练，并可能加快收敛速度。

人工智能和 ML 的相关性与应用

对于在整个训练过程中保持活跃神经元至关重要的情况，泄漏 ReLU 是一种有价值的工具。它的计算效率与标准 ReLU 相似，因此适用于大规模模型。主要应用包括

• 计算机视觉（CV）：许多用于图像分类、物体检测和图像分割等任务的卷积神经网络（CNN）都受益于 Leaky ReLU。防止神经元死亡有助于保持跨深层的特征学习能力，从而提高模型的准确性。而像 Ultralytics YOLOv8等新架构经常使用SiLU 这样的激活，但 Leaky ReLU 仍然是许多视觉模型中常见而有效的选择，在早期的 Ultralytics YOLO版本中使用。
• 生成式对抗网络（GANs）：Leaky ReLU 经常用于 GAN 的判别网络。与标准 ReLU 相比，负输入的非零梯度提供了更稳定的学习信号，而标准 ReLU 有时会饱和并阻碍训练过程，尤其是生成器的训练。这种稳定性对于训练有效的生成模型至关重要。了解有关GAN 结构的更多信息。
• 自然语言处理（NLP）：虽然 Leaky ReLU 在 CV 中并不常见，但也可用于 NLP 任务的深度学习模型中。
• 实时系统：其计算效率高，适用于需要实时推理的应用，包括部署在边缘设备上的应用。

Leaky ReLU 与其他激活功能的比较

与标准ReLU 相比，Leaky ReLU 的主要优势在于避免了神经元死亡问题。其他激活函数，如 ELU（指数线性单元）或SiLU（Sigmoid 线性单元）也能解决这个问题，有时还能提供更平滑的梯度等优势。不过，这些替代方法在计算上可能比 Leaky ReLU 更昂贵（参见激活函数比较）。最佳选择通常取决于特定的神经网络架构、数据集以及通过超参数调整等过程获得的经验结果。像 PyTorch等框架为各种激活函数提供了简便的实现方法，从而为实验提供了便利。