Повысь точность и устойчивость моделей ИИ с помощью сглаживания меток - проверенной техники, позволяющей улучшить обобщение и уменьшить чрезмерную уверенность.
Сглаживание меток - это техника регуляризации, используемая в машинном обучении, в частности в задачах классификации, для улучшения обобщения и калибровки модели. Она работает за счет изменения целевых меток, используемых во время обучения, смягчая жесткие одноточечные кодированные метки, чтобы уменьшить чрезмерную уверенность в предсказаниях и побудить модель быть менее уверенной в своих классификациях.
В традиционных задачах классификации целевые метки часто представляются с помощью одноточечного кодирования. Например, если изображение относится к классу "кошка", то метка будет выглядеть следующим образом [0, 1, 0, 0] для четырех классов (собака, кошка, птица, рыба), что указывает на полную уверенность (1,0) в классе "кошка" и нулевую уверенность (0,0) во всех остальных. Сглаживание меток меняет ситуацию, распределяя небольшое количество массы вероятности от правильного класса к неправильным классам. Вместо целевого значения [0, 1, 0, 0]Но сглаживание ярлыков может изменить его на что-то вроде [0.01, 0.9, 0.03, 0.06]. Эта скорректированная цель указывает на то, что, хотя изображение действительно является "кошкой", есть небольшая вероятность того, что это что-то другое.
Эта, казалось бы, незначительная настройка оказывает существенное влияние на то, как модели обучаются. Предотвращая чрезмерную уверенность модели в одном классе во время обучения, сглаживание меток побуждает ее к обучению более надежным и обобщающим признакам. По сути, оно говорит модели, что даже в обучающих данных может присутствовать некоторая неопределенность или шум, и ей не следует слишком идеально подгонять обучающие данные, что может привести к переобучению.
Основное преимущество сглаживания меток - улучшение обобщения модели. Модели, обученные стандартному одноточечному кодированию, могут стать слишком уверенными в своих предсказаниях, особенно на обучающих данных. Такая самоуверенность может привести к плохой работе на невидимых данных, потому что модель не научилась справляться с неопределенностью или небольшими вариациями входных данных.
Сглаживание меток действует как форма регуляризации, наказывая слишком самоуверенные предсказания. Это побуждает модель быть менее дискриминативной и более калиброванной, то есть ее предсказанные вероятности в большей степени отражают реальную вероятность того, что класс окажется верным. Это часто приводит к повышению точности и надежности, особенно в реальных приложениях, где данные часто бывают зашумленными и менее совершенными, чем обучающие наборы данных.
Кроме того, сглаживание меток может помочь предотвратить запоминание моделями обучающих данных и вместо этого научиться более осмысленным представлениям. Это делает процесс обучения более стабильным и менее чувствительным к зашумленным меткам в наборе данных.
Сглаживание меток успешно применяется в различных областях ИИ и машинного обучения. Вот несколько примеров:
Классификация изображений: При классификации изображений с помощью моделей Ultralytics YOLO сглаживание меток может быть использовано для повышения робастности классификатора. Например, при обучении модели на ImageNet применение сглаживания меток может привести к небольшому, но значительному увеличению точности валидации. Это особенно полезно в таких сценариях, как анализ медицинских изображений, где точные и хорошо откалиброванные оценки вероятности имеют решающее значение для диагностики.
Обработка естественного языка (NLP): Сглаживание меток также полезно в задачах НЛП, таких как машинный перевод и языковое моделирование. Например, при обучении больших языковых моделей, таких как GPT-3 или GPT-4, сглаживание меток может повысить способность модели к обобщению на новые предложения и контексты. Оно также может улучшить беглость и связность генерируемого текста, удерживая модель от чрезмерной детерминированности в предсказании слов. Такие техники, как проектирование подсказок, могут дополнительно использовать улучшенную калибровку, полученную в результате сглаживания меток, для создания более надежных и учитывающих контекст текстовых результатов.
Включив сглаживание меток в процесс обучения, разработчики смогут создавать более надежные и прочные модели ИИ, которые будут лучше работать в реальных сценариях, особенно при использовании таких мощных моделей, как Ultralytics YOLOv8 для задач зрения.
