Сглаживание этикеток

Как работает сглаживание этикеток

В типичной задаче классификации с контролируемым обучением обучающие данные состоят из входных данных и соответствующих им правильных меток. Например, в задаче классификации изображений изображение кошки будет иметь метку "кошка", представленную в виде одноточечного закодированного вектора, как для классов [кошка, собака, птица]. При вычислении функции потерь модель штрафуется в зависимости от того, насколько далеко ее предсказание находится от этой жесткой цели.

Сглаживание меток изменяет эту цель. Она немного уменьшает целевую вероятность для правильного класса (например, до 0,9) и равномерно распределяет оставшуюся небольшую вероятность (0,1 в данном случае) между неправильными классами. Таким образом, новая "мягкая" цель может выглядеть как [0,9, 0,05, 0,05]. Это небольшое изменение не позволяет последнему слою логита нейронной сети выдавать очень большие значения для одного класса, что помогает предотвратить перебор. Этот процесс можно контролировать во время обучения модели с помощью таких платформ, как Ultralytics HUB.

Преимущества разглаживания этикеток

Основное преимущество сглаживания меток заключается в том, что оно улучшает калибровку модели. Хорошо откалиброванные прогнозные оценки достоверности модели более точно отражают истинную вероятность правильности. Это очень важно для приложений, где важно понимание уверенности модели, например, при анализе медицинских изображений. Предотвращение чрезмерной уверенности также улучшает способность модели к обобщению на новые данные, что является ключевой целью любого проекта машинного обучения. Это часто приводит к небольшому увеличению точности. Лучшее обобщение приводит к созданию более надежных моделей для выводов в реальном времени и окончательного развертывания модели.

Применение в реальном мире

Сглаживание меток - это простая, но эффективная техника, применяемая в различных современных моделях.

1. Классификация изображений в больших масштабах: Модели, подобные Ultralytics YOLO, обученные для задач классификации изображений на массивных наборах данных, таких как ImageNet, часто используют сглаживание меток. Эти наборы данных иногда могут содержать шумные или неправильные метки, полученные в процессе маркировки данных. Сглаживание меток делает модель более устойчивой к этому шуму, не позволяя ей научиться быть слишком уверенной в потенциально неверных метках. Вы можете использовать различные наборы данных для классификации в своих проектах.
2. Обработка естественного языка (NLP): в таких задачах, как машинный перевод, для одной фразы может быть несколько правильных переводов. Сглаживание меток, используемое в таких моделях, как Transformer, не позволяет модели присваивать вероятность 1,0 единственному правильному слову в словаре, признавая, что другие слова также могут быть подходящими. Эта концепция является основополагающей в современном НЛП и обсуждается в ресурсах таких организаций, как Stanford NLP Group.

Сглаживание меток в сравнении со смежными понятиями

Важно отличать Label Smoothing от других методов регуляризации.

• Жесткие метки: Это стандартный подход, при котором модель обучается с абсолютной уверенностью (100 % для правильного класса). Сглаживание меток - прямая альтернатива этому подходу.
• Дополнение данных: Это еще одна техника регуляризации, которая создает новые обучающие примеры путем применения преобразований к существующим данным. Она увеличивает разнообразие наборов данных, в то время как Label Smoothing изменяет сами целевые значения. Руководства по дополнению данных YOLO можно найти в документации Ultralytics.
• Выбывание: Этот метод случайным образом деактивирует часть нейронов на каждом шаге обучения, чтобы предотвратить сложную коадаптацию. Он изменяет архитектуру модели во время обучения, в то время как Label Smoothing изменяет расчет потерь. Более подробно о методе dropout можно прочитать в статье GeeksforGeeks на эту тему.
• Дистилляция знаний: В этой технике меньшая модель "ученик" обучается на мягких метках, созданных большей, предварительно обученной моделью "учитель". Хотя здесь также используются мягкие метки, источником этих меток являются предсказания другой модели, а не простая эвристика, применяемая к меткам "истины", как в Label Smoothing. В оригинальной статье "Distilling the Knowledge in a Neural Network" дается основополагающее понимание этой концепции.