标签平滑

标签平滑是一种正则化技术，常用于训练机器学习模型，尤其是分类任务。它包括修改地面实况标签以降低可信度，用平滑版本取代标签的单次编码。这种调整可以降低模型预测的过度置信度，提高泛化能力，减轻过拟合。

标签平滑的工作原理

在典型的分类问题中，单次编码会将 1 的概率分配给正确的类别，而将 0 的概率分配给所有其他类别。标签平滑通过将正确类别的一小部分置信度重新分配给所有类别来调整这些概率。例如，将一个标签表示为 [1, 0, 0]标签平滑法可以表示为 [0.9, 0.05, 0.05] 平滑系数为 0.1。

通过软化基本事实，模型可以避免对其预测过于自信。这使得模型更加稳健，尤其是在数据包含噪声或难以分类的情况下。

平滑标签的好处

1. 改进泛化：通过减少预测中的过度自信，标签平滑可帮助模型更好地泛化未见数据。
2. 减轻过拟合：它起到正则化的作用，使模型对训练标签中的噪声不那么敏感。
3. 增强校准：使用标签平滑法训练的模型通常能产生更好的校准概率，更接近正确性的实际可能性。

标签平滑的应用

图像分类

标签平滑被广泛应用于图像分类任务中，以改善模型校准和性能。例如，像在ImageNet 数据集上训练的图像分类模型，经常使用标签平滑来实现更好的泛化和减少过拟合。

自然语言处理（NLP）

在 NLP 中，标签平滑被用于序列到序列任务，如机器翻译。大型语言模型，如BERT（来自变换器的双向编码器表示）和基于变换器的模型，在训练过程中都受益于标签平滑，以确保稳定的学习，避免预测过于自信。

真实案例

1. 自动驾驶汽车：在自动驾驶汽车系统中，标签平滑被应用于为图像分类和物体检测任务而训练的模型。例如，用于高级物体检测的 COCO等数据集就受益于这一技术，从而提高了Ultralytics YOLO 等模型的鲁棒性，该模型被广泛应用于自动驾驶系统的物体检测。

2. 医疗诊断：在医疗成像应用中，如使用脑肿瘤检测数据集进行肿瘤检测，标签平滑可提高预测的可靠性。它降低了模型对错误分类过于自信的风险，这在医疗保健等高风险领域至关重要。

标签平滑化 Vs.相关概念

• 过度拟合：标签平滑通过阻止模型对训练数据过于自信来直接对抗过拟合。有关如何检测和防止模型过拟合的更多信息，请访问过拟合术语表页面。
• 正则化：标签平滑是正则化的一种形式，但它不同于 L2 正则化或 dropout 等技术。这些方法侧重于惩罚权重或减少对特定神经元的依赖，而标签平滑则是修改目标标签本身。要深入了解正则化，请访问正则化术语表页面。
• 交叉熵损失标签平滑法修改了传统的交叉熵损失，在计算损失函数时引入了一个平滑因子。要进一步了解损失函数，请访问损失函数词汇表页面。

利用Ultralytics HUB 实施标签平滑处理

Ultralytics HUB 无缝集成了标签平滑训练分类模型。无论您是使用CIFAR-10等数据集进行图像分类，还是使用自定义数据集，Ultralytics HUB 都能简化超参数（包括标签平滑因子）的设置过程，从而优化模型性能。

结论

标签平滑是一种简单而强大的技术，能增强机器学习模型的鲁棒性和可靠性。通过软化目标标签，它可以帮助模型更好地泛化，避免过度拟合，并生成校准良好的预测结果。无论您是在进行图像分类、NLP 还是物体检测，标签平滑都是您机器学习工具包中的重要工具。欲了解更多相关技术和应用，请访问 Ultralytics 浏览 人工智能与计算机视觉术语表。