Leaky ReLU

泄漏ReLU是深度学习模型中标准整流线性单元激活函数的特殊变体。标准ReLU将所有负输入值精确设为零，而泄漏ReLU为负输入引入了微小的非零斜率。 这种细微调整使得即使神经元未激活时，少量信息仍能通过网络传递，从而解决了被称为"死亡ReLU"的关键问题。通过保持连续梯度，该函数有助于神经网络在训练阶段更稳健地学习，尤其在处理图像识别和自然语言处理等复杂任务的深度架构中效果显著。

解决垂死的ReLU问题

要理解Leaky ReLU的必要性，首先需要认识标准ReLU激活函数的局限性。在标准设置中，若神经元接收负值输入，其输出即为零。因此在反向传播过程中，该函数的梯度值将归零。当神经元对所有输入都陷入这种状态时，其权重更新将完全停止，从而成为"死结点"。

泄漏ReLU通过允许负值存在微小正梯度（通常为0.01等常数斜率）来解决此问题。这确保了优化算法能持续调整权重，防止神经元永久失活。该特性在训练深度网络时尤为重要——此时保持信号幅度对避免梯度消失现象至关重要。

实际应用

Leaky ReLU在训练稳定性和梯度流至关重要的场景中被广泛采用。

• 生成对抗网络（GAN）：泄漏ReLU最突出的应用之一在于生成对抗网络（GAN）。在GAN的判别器网络中，标准ReLU产生的稀疏梯度会阻碍模型有效学习。 采用泄漏ReLU可确保梯度贯穿整个架构，从而帮助生成器 创造更高质量的合成图像——这项技术在DCGAN论文等关键研究中 得到了详细阐述。
• 轻量级目标检测： 尽管YOLO26等尖端模型常依赖SiLU、Leaky ReLU等平滑函数，但ReLU仍被广泛应用于部署在边缘AI硬件上的定制轻量级架构。其数学简洁性（分段线性）意味着它比指数函数所需的计算能力更少，使其成为实时应用的理想选择。 泄漏ReLU仍是部署于边缘AI硬件的定制轻量架构的热门选择。其数学结构简单（分段线性），所需计算量低于指数函数，因此特别适用于处理能力有限的设备（如旧款手机或嵌入式微控制器）上的实时目标检测。

与相关概念的比较

选择正确的激活函数是超参数调优的关键步骤。区分Leaky ReLU与其同类函数至关重要：

• 泄漏ReLU与 标准ReLU： 标准ReLU将负输出强制归零，形成"稀疏"网络结构，虽能提升效率却存在信息丢失风险。泄漏ReLU则牺牲这种纯粹的稀疏性，以确保梯度可计算性。
• 泄漏ReLU与 SiLU（Sigmoid线性单元）： 现代架构（Ultralytics ） 采用SiLU。不同于泄漏ReLU的锐角特性，SiLU呈现平滑连续的曲线。这种平滑性通常 能提升深层网络的泛化能力与准确率，尽管泄漏ReLU在计算执行上更为高效。
• 泄漏ReLU与参数化ReLU（PReLU）：在泄漏ReLU中，负斜率是固定的超参数 （例如0.01）。而在参数化ReLU（PReLU）中，该斜率成为可学习参数， 网络可在训练过程中进行调整，使模型能够根据特定数据集 适应激活函数的形状。

在Python中实现Leaky ReLU

以下示例演示了如何使用PyTorch实现泄漏ReLU层： PyTorch 库实现泄漏ReLU层的方法。该代码片段初始化函数， 并向其传递tensor 。

import torch
import torch.nn as nn

# Initialize Leaky ReLU with a negative slope of 0.1
# This means negative input x becomes 0.1 * x
leaky_relu = nn.LeakyReLU(negative_slope=0.1)

# Input data with positive and negative values
data = torch.tensor([10.0, -5.0, 0.0])

# Apply activation
output = leaky_relu(data)

print(f"Input: {data}")
print(f"Output: {output}")
# Output: tensor([10.0000, -0.5000,  0.0000])

在设计定制化架构或Ultralytics 对计算机视觉模型进行标注、训练和部署时，理解这些细微差别至关重要。选择合适的激活函数能确保模型更快收敛，并在特定任务中实现更高精度。