Настройка гиперпараметров

Понимание гиперпараметров

Гиперпараметры определяют более высокоуровневые свойства модели, например ее сложность или скорость обучения. Среди распространенных примеров - скорость обучения, используемая в алгоритмах оптимизации, размер партии, определяющий, сколько образцов обрабатывается перед обновлением параметров модели, количество слоев в нейронной сети или сила методов регуляризации, таких как использование выпадающих слоев. Выбор гиперпараметров существенно влияет на результаты моделирования. Неправильный выбор может привести к недоподгонке, когда модель слишком проста, чтобы уловить закономерности данных, или к переподгонке, когда модель слишком хорошо усваивает обучающие данные, включая шум, и не может обобщить их на тестовые данные.

Почему настройка гиперпараметров имеет значение

Эффективная настройка гиперпараметров очень важна для построения высокопроизводительных ML-моделей. Хорошо настроенная модель достигает большей точности, быстрее сходится в процессе обучения и улучшает обобщение на невидимых данных. Для сложных задач вроде обнаружения объектов используются такие модели, как Ultralytics YOLOпоиск оптимальных гиперпараметров может значительно улучшить такие показатели, как средняя точность (mAP) и скорость вывода, что очень важно для приложений, требующих вывода в реальном времени. Цель состоит в том, чтобы найти компромиссные решения, например, компромисс между смещением и дисперсией, чтобы найти оптимальный вариант для конкретной задачи и набора данных, который часто оценивается с помощью валидных данных.

Техники настройки гиперпараметров

Существует несколько стратегий поиска наилучших значений гиперпараметров:

• Поиск по сетке: Исчерпывающе перебирает все возможные комбинации заданных значений гиперпараметров. Просто, но требует больших вычислительных затрат.
• Случайный поиск: Выбирай комбинации гиперпараметров случайным образом из заданных распределений. Часто более эффективен, чем Grid Search.
• Байесовская оптимизация: Строит вероятностную модель целевой функции (например, точность модели) и использует ее для выбора перспективных гиперпараметров для следующей оценки. Это реализуют такие инструменты, как Optuna.
• Эволюционные алгоритмы: Использует концепции, вдохновленные биологической эволюцией, такие как мутация и кроссинговер, для итеративного уточнения популяций наборов гиперпараметров. Модели Ultralytics YOLO используют это для эволюции гиперпараметров.

Инструменты, подобные Weights & Biases Sweeps, ClearML, Cometи KerasTuner, помогают автоматизировать и управлять этими процессами настройки, часто интегрируясь с такими фреймворками, как PyTorch и TensorFlow.

Настройка гиперпараметров по сравнению со смежными понятиями

Важно отличать настройку гиперпараметров от смежных концепций ML:

• Обучение модели: Настройка гиперпараметров задает условия для обучения (например, скорость обучения, размер партии). Обучение модели - это процесс обучения параметров моделиweights and biases) на основе данных с помощью выбранных гиперпараметров и алгоритма оптимизации.
• Алгоритмы оптимизации (Adam, SGD): Эти алгоритмы обновляют параметры модели в процессе обучения на основе функции потерь. Гиперпараметры управляют этими алгоритмами (например, скорость обучения), но сам процесс настройки отделен от работы алгоритма.
• Регуляризация: Такие техники, как регуляризация L1/L2 или отсев, помогают предотвратить перебор. Сила или скорость этих техник сами по себе являются гиперпараметрами, которые нужно настраивать.
• Автоматизированное машинное обучение (AutoML): Более широкая область, направленная на автоматизацию всего конвейера МЛ, включая разработку признаков, выбор модели и настройку гиперпараметров. HPT часто является ключевым компонентом систем AutoML.

Применение в реальном мире

Настройка гиперпараметров применяется в различных областях:

• Анализ медицинских изображений: При обучении модели для обнаружения опухолей настройка таких гиперпараметров, как график скорости обучения, интенсивность увеличения данных(например, с помощью альбумментаций) и весовые коэффициенты функции потерь, очень важна для достижения высокой точности обнаружения (измеряемой такими показателями, как AUC) на конкретных медицинских наборах данных. Это жизненно важно для надежных решений в области ИИ в здравоохранении.
• Автономные транспортные средства: Модели обнаружения объектов в самоуправляемых автомобилях требуют тщательной настройки. Оптимизация гиперпараметров, таких как разрешение входного изображения, пороги немаксимального подавления (NMS) и конфигурации якорных ящиков (для детекторов на основе якорей), гарантирует, что система сможет надежно обнаруживать пешеходов, транспортные средства и препятствия с низкой задержкой для безопасной навигации. Такая настройка крайне важна для таких компаний, как Waymo, и способствует созданию надежных решений в области ИИ в автомобильной промышленности.

Настройка гиперпараметров с помощью Ultralytics

Ultralytics предоставляет инструменты, упрощающие настройку гиперпараметров для моделей YOLO . На сайте Ultralytics Tuner класс, задокументированный в Руководство по настройке гиперпараметров, автоматизирует процесс с помощью эволюционных алгоритмов. Интеграция с такими платформами, как Рэй Тьюн предлагает дополнительные возможности для распределенных и расширенных стратегий поиска, помогая пользователям эффективно оптимизировать свои модели под конкретные наборы данных (например COCO) и задания, использующие такие ресурсы, как Ultralytics HUB для отслеживания и управления экспериментами. Далее советы по тренировке моделей часто подразумевает эффективную настройку гиперпараметров.