Оверфиттинг

Понимание оверфиттинга

Оверфиттинг возникает потому, что ML-модели стремятся минимизировать ошибки на обучающих данных. Если модель обладает чрезмерной сложностью (например, слишком много параметров или слоев в модели глубокого обучения ), она может соответствовать даже случайному шуму, присутствующему в обучающем наборе. Этот шум не отражает истинных глубинных закономерностей и вряд ли будет присутствовать в новых наборах данных. Представь, что костюм идеально сшит по точным меркам человека в один конкретный день - он может не подойти, если его вес немного изменится или если его примерит кто-то другой. В ML такая "идеальная подгонка" на обучающих данных приводит к негибкости и низкой производительности на реальных данных, что часто называют плохой обобщенностью.

Противоположная проблема - недофиттинг, когда модель слишком проста, чтобы отразить глубинную структуру данных. Недооптимизированная модель плохо работает как на тренировочных, так и на новых данных, потому что она недостаточно хорошо обучилась. Цель состоит в том, чтобы найти оптимальный баланс, который часто обсуждается в контексте компромисса между смещением и дисперсией, создавая модель, которая хорошо обобщается на невидимые данные. Высокая дисперсия характерна для чрезмерной подгонки, а высокая смещенность - для недостаточной подгонки. Понимание этой концепции компромисса крайне важно для разработки модели.

Реальные примеры избыточной подгонки

• Анализ медицинских изображений: Рассмотрим модель, обученную для анализа медицинских изображений, например для обнаружения опухолей на снимках МРТ. Если обучающие данные в основном поступают от одной модели МРТ-сканера, то ИИ может перестроиться на специфические характеристики изображения (например, характер шума или разрешение) этого аппарата. Когда же ему будут представлены снимки с другого сканера или изображения более низкого качества, его производительность может значительно снизиться, потому что он усвоил артефакты, характерные для конкретного аппарата, а не общие характеристики опухоли. Предвзятость набора данных может усугубить эту проблему.
• Автономные транспортные средства: Модель обнаружения объектов, используемая в автономном транспортном средстве, может быть обучена в основном на изображениях, полученных в ясную солнечную погоду. Эта модель может достичь высокой точности на аналогичных тестовых данных, но не сможет надежно обнаружить пешеходов, велосипедистов или другие транспортные средства в неблагоприятных условиях, таких как сильный дождь, туман или ночь. Она слишком сильно подстраивается под конкретные визуальные сигналы тренировочной среды (например, жесткие тени, яркое освещение) вместо того, чтобы изучать надежные общие характеристики объектов в разных условиях. Разнообразие тренировочных данных, возможно, с использованием таких наборов данных, как COCO или Argoverse, помогает смягчить эту проблему.

Определение избыточной подгонки

Переоптимизация обычно выявляется путем сравнения производительности модели на обучающем наборе данных и на отдельном валидационном наборе данных.

• Метрики производительности: Следи за такими показателями, как точность, прецизионность, отзыв и F1-score. Если показатели обучения продолжают улучшаться, а показатели проверки плавают или ухудшаются, то, скорее всего, модель перестраивается. Значение функции потерь обычно значительно уменьшается на обучающем множестве, но увеличивается или остается неизменным на проверочном множестве. Ты можешь изучить различные метрики производительностиYOLO для оценки.
• Кривые обучения: Построение графика производительности модели (например, потерь или точности) в течение эпох для тренировочного и валидационного наборов дает наглядное представление. Увеличивающийся разрыв между кривой обучения (улучшение) и кривой проверки (стагнация или деградация) - классический признак чрезмерной подгонки. Визуализация кривых обучения помогает диагностировать это.

Предотвращение чрезмерной подгонки

Несколько техник могут помочь смягчить чрезмерную подгонку и улучшить обобщение модели:

• Перекрестная валидация: Такие техники, как перекрестная валидация K-Fold, используют разные подмножества данных для обучения и проверки, обеспечивая более надежную оценку эффективности модели на невидимых данных.
• Увеличение данных: Искусственное увеличение размера и разнообразия обучающего набора данных путем применения таких преобразований, как поворот, масштабирование, обрезка и изменение цвета. В Ultralytics YOLO встроены методы увеличения данных, которые помогают повысить надежность.
• Регуляризация: Добавление штрафов к функции потерь на основе сложности модели (например, величины весов). К распространенным методам относятся L1 и L2 регуляризация, которые не поощряют большие веса. Подробнее о методах регуляризации L1 и L2.
• Ранняя остановка: Следи за производительностью модели на валидационном наборе данных во время обучения и останавливай процесс обучения, когда производительность валидации начинает ухудшаться, предотвращая обучение модели шуму в последующих эпохах. Смотри объяснение ранней остановки в Keras.
• Отсев: Во время обучения случайным образом установи часть активаций нейронов на ноль. Это заставляет сеть обучаться более надежным характеристикам, которые не зависят от какого-то одного нейрона. Концепция Dropout подробно описана здесь.
• Обрезка модели: Удаление менее важных параметров или связей внутри обученной нейронной сети, чтобы уменьшить ее сложность без существенного влияния на производительность. Neural Magic предлагает инструменты для обрезки.
• Упрости архитектуру модели: Использование менее сложной модели (например, меньшего количества слоев или параметров) может предотвратить чрезмерную подгонку, особенно если набор данных небольшой. Это может включать в себя выбор меньшего варианта модели, например, сравнение YOLOv8n с YOLOv8x.
• Получай больше данных: Увеличение количества высококачественных обучающих данных часто является одним из самых эффективных способов улучшить обобщение и уменьшить перебор. Изучи различные наборы данныхUltralytics .

Понимая и устраняя проблему оверфиттинга, разработчики смогут создавать более надежные и эффективные модели ИИ. Такие инструменты, как Ultralytics HUB, могут помочь в отслеживании экспериментов и оценке моделей, способствуя обнаружению и устранению перебора в течение жизненного цикла разработки модели.