Увеличение объема данных

Увеличение данных - это техника, используемая в машинном обучении для искусственного увеличения размера обучающего набора данных путем создания модифицированных версий существующих данных. Этот процесс включает в себя применение различных преобразований к исходным данным, таких как поворот, переворот, масштабирование или обрезка изображений. Увеличивая разнообразие обучающих данных, увеличение данных помогает улучшить обобщающую способность моделей машинного обучения, делая их более надежными и менее склонными к переподгонке. Переподгонка происходит, когда модель слишком хорошо усваивает обучающие данные, включая их шумы и выбросы, что может привести к плохой работе на новых, неизвестных данных.

Преимущества расширения данных

Увеличение данных дает несколько ключевых преимуществ. Во-первых, оно помогает уменьшить перебор, подвергая модель более широкому диапазону вариаций во время обучения. Это делает модель менее чувствительной к специфическим особенностям обучающих данных и более способной к обобщению на новые, невидимые данные. Во-вторых, это может повысить точность и производительность моделей, особенно если исходный набор данных мал или ему не хватает разнообразия. Создавая больше обучающих примеров, увеличение данных предоставляет модели больше возможностей для изучения закономерностей, лежащих в основе данных. Наконец, оно может повысить устойчивость модели, сделав ее более устойчивой к изменениям во входных данных, таким как вариации освещения, ориентации или фонового шума.

Распространенные техники дополнения данных

Для дополнения данных используется несколько распространенных техник, особенно в задачах компьютерного зрения:

• Геометрические преобразования: К ним относятся такие операции, как поворот, перевод, масштабирование, сдвиг и переворот. Например, если повернуть изображение на несколько градусов или перевернуть его по горизонтали, можно создать новые достоверные тренировочные примеры.
• Преобразования цветового пространства: Регулировка яркости, контрастности, насыщенности или оттенка изображения может имитировать различные условия освещения и улучшить способность модели к обобщению в различных условиях.
• Ядерные фильтры: Применение фильтров для повышения резкости или размытия изображений может помочь модели выучить признаки, которые инвариантны к этим изменениям.
• Случайное стирание: Случайное маскирование частей изображения может помочь модели стать более устойчивой к окклюзиям или отсутствию частей объектов.
• Смешивание изображений: Такие техники, как MixUp и CutMix, подразумевают смешивание изображений и соответствующих им меток для создания новых обучающих примеров. Например, MixUp линейно интерполирует как изображения, так и их метки.

Расширение данных в компьютерном зрении

В компьютерном зрении увеличение данных особенно полезно, потому что оно позволяет имитировать широкий спектр сценариев реального мира, с которыми может столкнуться модель. Например, при обнаружении объектов Ultralytics YOLO при первом упоминании YOLO на странице модель, обученная на дополненных изображениях, может научиться обнаруживать объекты независимо от их ориентации, размера и условий освещения. Это очень важно для таких приложений, как автономные транспортные средства, где модель должна надежно работать в различных и непредсказуемых условиях. Например, применяя различные преобразования, такие как поворот, масштабирование и добавление шума к изображениям пешеходов и автомобилей, можно обучить систему автономного вождения точно обнаруживать эти объекты в различных реальных сценариях. Аналогично, при классификации изображений добавление к ним различных цветовых коррекций может помочь модели лучше обобщаться для различных условий освещения.

Увеличение данных в других областях

Хотя дополнение данных широко используется в компьютерном зрении, оно применимо и в других областях, таких как обработка естественного языка (NLP) и обработка звука. В NLP такие техники, как замена синонимов, обратный перевод и случайная вставка/удаление слов, могут дополнить текстовые данные. В обработке аудио добавление фонового шума, изменение высоты тона или растягивание звука во времени позволяет создать разнообразные обучающие примеры.

Применение в реальном мире

• Здравоохранение: В анализе медицинских изображений увеличение данных может использоваться для обучения моделей на ограниченном количестве медицинских изображений. Например, применяя повороты, перевороты и небольшие деформации к снимкам МРТ, модель может научиться более точно обнаруживать аномалии у разных пациентов и в разных условиях визуализации.
• Сельское хозяйство: Дополнение данных может помочь обучить модели выявлять болезни или вредителей растений по снимкам, сделанным в различных условиях. Дополняя изображения культур с разным освещением, ракурсами и уровнями масштабирования, модели могут демонстрировать высокую эффективность в полевых условиях, помогая фермерам выявлять проблемы на ранней стадии и принимать корректирующие меры.

Увеличение данных по сравнению с другими техниками

Важно отличать увеличение данных от других родственных техник:

• Предварительная обработка данных: Хотя и увеличение данных, и их предварительная обработка подготавливают данные для обучения модели, предварительная обработка обычно включает в себя такие шаги, как нормализация, стандартизация и обработка пропущенных значений. Эти шаги необходимы для того, чтобы данные были в подходящем для модели формате. Дополнение данных, с другой стороны, направлено на увеличение разнообразия обучающих данных.
• Генерация синтетических данных: Синтетические данные подразумевают создание совершенно новых точек данных, часто с использованием генеративных моделей, таких как генеративные адверсарные сети (GAN). Это отличается от дополнения данных, которое модифицирует существующие данные. Синтетические данные могут быть особенно полезны, когда реальные данные скудны или чувствительны, например в медицинских или финансовых приложениях.

Инструменты и библиотеки

Несколько инструментов и библиотек поддерживают увеличение данных. На сайте Python такие библиотеки, как OpenCV и TensorFlow предоставляют широкий набор функций для преобразования изображений. Кроме того, специализированные библиотеки вроде Albumentations предлагают высокооптимизированные и разнообразные конвейеры аугментации. Ultralytics HUB также предоставляет инструменты для аугментации данных, облегчая интеграцию этих техник в процесс обучения модели. Изучи такие техники дополнения данных, как MixUp, Mosaic и Random Perspective, чтобы улучшить процесс обучения моделей.