标签平滑

标签平滑的工作原理

在标准分类任务中，模型通常使用损失函数（如交叉熵）进行训练，该函数根据模型预测的概率分布与目标分布（硬标签）的距离对模型进行惩罚。使用硬标签时，模型会被逼迫使正确类别的输出概率极其接近 1，而其他类别的输出概率则接近 0。这可能会导致过拟合，即模型对训练数据（包括噪声）的学习效果太好，而在新数据上的表现却很差。标签平滑通过给错误类别分配一个小概率值（ε）来修改目标标签，并通过分配的总量来降低正确类别的概率。这可以防止模型为正确类别生成过大的对数值，从而提高模型的可信度，使其可能更加稳健。

平滑标签的好处

• 改进泛化：通过抑制过度自信，模型通常能更好地概括未见数据。
• 更好的模型校准：预测概率往往能更准确地反映正确性的真实可能性。您可以了解统计学中有关模型校准的更多信息。
• 增强鲁棒性：模型对噪声标签或输入数据的微小变化具有更强的适应能力。
• 减少过拟合：它充当正则化器，帮助减少过拟合，其原理与Dropout或Data Augmentation 等技术类似，不过它直接对目标标签进行操作。

标签平滑的应用

标签平滑技术应用广泛，尤其适用于不同领域的分类任务：

• 图像分类：在大型数据集（如ImageNet）上训练深度神经网络（如Ultralytics YOLO 模型）时，标签平滑化有助于提高验证精度。这在医学图像分析等领域尤其有用，因为在这些领域，校准概率估计非常重要。
• 自然语言处理 (NLP)：在机器翻译或训练BERT或GPT 等大型语言模型(LLM) 等任务中，标签平滑有助于提高模型的流畅性和通用性，防止模型对特定单词的预测赋予绝对的确定性。像 PyTorch和 TensorFlow等框架通常在其损失函数中包含标签平滑选项。

考虑因素

虽然标签平滑一般来说是有益的，但在训练过程中可能会略微减慢模型的收敛速度。其好处的程度也取决于数据集和模型结构。平滑因子（epsilon）本身是一个超参数，可能需要调整才能获得最佳结果。它通常集成在Ultralytics HUB 等现代框架和平台的训练管道中。