Увеличение данных - важнейшая техника в машинном обучении (ML), используемая для искусственного увеличения размера и разнообразия обучающего набора данных. Это достигается путем создания модифицированных версий существующих точек данных или генерации на их основе новых синтетических примеров. Основная цель - повысить производительность, обобщающие способности и устойчивость ML-моделей, особенно в таких областях, как компьютерное зрение (КВ), где получение больших и разнообразных наборов данных может быть дорогостоящим и отнимать много времени. Обучая такие модели, как Ultralytics YOLO на дополненных данных, разработчики могут помочь им научиться обрабатывать более широкий спектр вариаций, встречающихся в реальных сценариях, что приведет к повышению точности на невидимых данных.
Как работает расширение данных
Основная идея дополнения данных заключается в применении различных преобразований к исходным образцам данных для создания новых, правдоподобных обучающих примеров. В идеале эти преобразования должны отражать вариации, с которыми модель может столкнуться в процессе вывода. Для данных об изображениях, которые являются основным фокусом в компьютерном зрении, распространенные методы дополнения включают в себя:
- Геометрические преобразования: Изменение пространственных свойств изображения, таких как поворот, масштабирование (увеличение или уменьшение), перевод (сдвиг), сдвиг и переворот (по горизонтали или вертикали).
- Преобразования цветового пространства: Изменение цветовых характеристик, включая корректировку яркости, контрастности, насыщенности и оттенка. Они помогают моделям стать менее чувствительными к условиям освещения и вариациям камеры.
- Добавление шума: введение случайного шума (например, гауссова шума) для имитации шума сенсора или некачественного изображения.
- Случайное стирание / вырезание: Маскируй случайные прямоугольные области изображения, чтобы побудить модель сфокусироваться на разных частях объектов и повысить устойчивость к окклюзии.
- Смешивание изображений: Сочетание нескольких изображений или их частей. Такие техники, как Mixup (интерполяция между двумя изображениями и их метками) и CutMix (вставка патча из одного изображения в другое), заставляют модель обучаться на менее чистых примерах.
Несмотря на то что методы аугментации активно используются в автобиографии, они применяются и в других областях. Например, в обработке естественного языка (NLP) такие методы, как замена синонимов, обратный перевод (перевод текста на другой язык и обратно) и случайная вставка/удаление слов, могут дополнить текстовые данные.
Важность и преимущества
Наращивание данных является фундаментальной частью рабочего процесса ML по нескольким причинам:
- Улучшенное обобщение модели: Подвергая модель воздействию более разнообразных примеров, аугментация помогает ей изучать основные закономерности, а не запоминать конкретные тренировочные примеры, что приводит к улучшению производительности на новых данных.
- Уменьшение оверфиттинга: Оверфиттинг возникает, когда модель хорошо работает на обучающих данных, но плохо - на невидимых. Дополнение действует как техника регуляризации, делая так, чтобы модели было сложнее перестроиться на ограниченном исходном наборе данных.
- Повышенная устойчивость: Модели, обученные на дополненных данных, обычно более устойчивы к изменениям входных данных, таким как изменения освещения, точки обзора, масштаба или частичные окклюзии.
- Уменьшение потребности в сборе данных: Она позволяет разработчикам добиваться лучших результатов с меньшими исходными наборами данных, экономя время и ресурсы, связанные со сбором данных и маркировкой. Больше советов по обучению моделей ты найдешь в нашей документации.
Техники и инструменты
Реализовать увеличение данных помогают различные библиотеки и фреймворки. Для задач компьютерного зрения популярны такие инструменты, как:
Модели Ultralytics включают в себя несколько эффективных встроенных техник дополнения в процессе обучения. Пользователи могут управлять своими наборами данных и использовать эти возможности с помощью таких платформ, как Ultralytics HUB.
Применение в реальном мире
Увеличение данных широко применяется во многих областях ИИ:
- ИИ в здравоохранении: При анализе медицинских изображений, например при обнаружении опухолей на снимках, наборы данных часто ограничены из-за соображений конфиденциальности и редкости некоторых заболеваний. Такие техники дополнения, как поворот, масштабирование и корректировка яркости, создают разнообразные обучающие примеры, помогая моделям надежно обнаруживать аномалии, несмотря на различия в оборудовании для визуализации или расположении пациента. Это повышает диагностическую точность систем анализа медицинских изображений.
- ИИ для автомобильной промышленности: Для разработки надежных систем обнаружения объектов для автономных автомобилей требуются обучающие данные, охватывающие различные сценарии вождения. Дополнения имитируют различные погодные условия (например, добавляют синтетический дождь или туман), вариации освещения (день, ночь, рассвет/закат) и окклюзии (например, частично скрытые пешеходы или автомобили), делая системы восприятия более надежными в непредсказуемых условиях реального мира.
- ИИ в сельском хозяйстве: Для таких задач, как обнаружение болезней сельскохозяйственных культур или подсчет фруктов, аугментация может имитировать изменения в освещении из-за погоды или времени суток, различные стадии роста или углы обзора камер с дронов или наземных роботов, что приведет к созданию более надежных решений для точного сельского хозяйства.
- ИИ в производстве: При контроле качества аугментация может создавать вариации ориентации продукта, освещения и мелких дефектов, чтобы обучить модели для более надежного обнаружения аномалий на производственных линиях.
Дополнение данных против синтетических данных
Хотя и увеличение данных, и создание синтетических данных направлены на улучшение обучающих наборов данных, они принципиально отличаются друг от друга:
- Дополнение данных: Модифицирует существующие реальные данные путем преобразований. Это увеличивает дисперсию вокруг наблюдаемых точек данных, но, как правило, не вводит совершенно новых сценариев, не представленных в исходных данных.
- Синтетические данные: Это создание совершенно новых, искусственных данных с нуля, часто с помощью симуляций, компьютерной графики или генеративных моделей, таких как генеративные адверсарные сети (GAN) или диффузионные модели. Синтетические данные могут представлять сценарии, которые редко или невозможно отразить в реальном мире, потенциально заполняя пробелы, которые не может устранить аугментация.
На практике увеличение данных часто проще в реализации и вычислительно дешевле, чем создание высокоточных синтетических данных. Обе техники могут быть ценными, и иногда их используют в комбинации, чтобы создать очень разнообразные и надежные наборы обучающих данных для требовательных приложений ИИ.
RU
EN
ZH
KO
JA
DE
FR
ES
PT
IT
AR
TR
VI
