Регуляризация

Важность в машинном обучении

Регуляризация является основополагающей для обучения надежных ML-моделей, особенно таких сложных, как модели глубокого обучения (DL) и нейронные сети (NN). Без регуляризации эти модели могут легко запоминать обучающие данные, а не изучать лежащие в их основе закономерности. Это приводит к высокой точности на обучающем множестве, но низкой производительности на валидационных данных или реальных исходных данных. Добавляя штрафной член к функции потерь, регуляризация помогает контролировать величину весов модели, эффективно упрощая модель и улучшая ее способность к обобщению. Этот баланс между соответствием данным и сохранением простоты часто обсуждается в контексте компромисса между смещением и дисперсией. Для таких моделей, как Ultralytics YOLOрегуляризация способствует достижению высокой точности в таких сложных задачах, как обнаружение объектов в реальном времени.

Распространенные техники регуляризации

Широко используется несколько методов регуляризации:

• Регуляризация L1 (Лассо): Добавляет штраф, равный абсолютному значению величины коэффициентов. Это может привести к тому, что некоторые веса станут равны нулю, эффективно выполняя отбор признаков. Узнай больше о регрессии Лассо.
• Регуляризация L2 (Ridge): Добавляет штраф, равный квадрату величины коэффициентов. Она уменьшает веса в сторону нуля, но редко делает их точно нулевыми. Узнай больше о гребневой регрессии.
• Выпадающий слой: В первую очередь он используется в нейронных сетях: во время обучения отсеивающий слой случайным образом устанавливает часть выходов нейронов на ноль. Это не позволяет нейронам слишком сильно коадаптироваться и заставляет сеть обучаться более надежным характеристикам. Подробности см. в оригинальной статье про Dropout.
• Ранняя остановка: Во время обучения следи за производительностью модели на валидационном множестве и останавливай процесс обучения, когда производительность перестает улучшаться, предотвращая перестройку модели по мере обучения. Это обычная практика, которая обсуждается в советах по обучению моделей.
• Дополнение данных: Увеличивает разнообразие обучающих данных, применяя случайные преобразования (например, поворот, масштабирование, кадрирование) к имеющимся данным. Это помогает модели стать более инвариантной к таким вариациям. Изучи техники дополнения данных.

Отличия от родственных концепций

Регуляризация отличается от других важных концепций ML:

• Алгоритм оптимизации: Алгоритмы вроде градиентного спуска или оптимизатора Адама используются для минимизации функции потерь и обновления параметров модели в процессе обучения. Регуляризация изменяет эту функцию потерь, добавляя штрафной член, направляя процесс оптимизации в сторону более простых моделей, но сама она не является алгоритмом оптимизации.
• Настройка гиперпараметров: Это включает в себя поиск оптимальных гиперпараметров (например, скорости обучения, количества слоев) для модели, часто используя такие техники, как поиск по сетке, или автоматизированные методы, доступные в таких платформах, как Ultralytics HUB. Сила регуляризации (например, коэффициент штрафа в L1/L2) сама по себе является гиперпараметром, который нужно настраивать, но регуляризация - это применяемая техника, а настройка гиперпараметров - это процесс установки ее силы вместе с другими параметрами.

Применение в реальном мире

Методы регуляризации необходимы для практического успеха многих приложений ИИ: