Настройка гиперпараметров

Настройка гиперпараметров по сравнению со смежными понятиями

Важно отличать настройку гиперпараметров от других ключевых понятий в ML:

• Алгоритм оптимизации: Алгоритм оптимизации, например Adam или стохастический градиентный спуск (SGD), - это механизм, который регулирует внутренние параметры модели (веса и смещения) во время обучения, чтобы минимизировать функцию потерь. Настройка гиперпараметров, в отличие от этого, включает в себя выбор наилучших внешних параметров, которые могут включать в себя даже выбор самого алгоритма оптимизации.
• Поиск нейронной архитектуры (NAS): В то время как настройка гиперпараметров оптимизирует параметры для заданной структуры модели, NAS автоматизирует разработку самой архитектуры модели, например, определение количества и типа слоев. Оба метода являются разновидностями автоматизированного машинного обучения (AutoML) и часто используются вместе для построения наилучшей модели.
• Параметры модели: Это внутренние переменные модели, такие как веса и смещения в нейронной сети, которые обучаются на основе обучающих данных с помощью обратного распространения. Гиперпараметры - это настройки более высокого уровня, которые управляют процессом обучения этих параметров.

Общие методы настройки и гиперпараметры

Для поиска оптимальных значений гиперпараметров специалисты используют несколько стратегий. Среди распространенных методов - поиск по сетке, при котором исчерпывающе перебираются все комбинации заданных значений, случайный поиск, при котором комбинации выбираются случайным образом, и более сложные методы, такие как байесовская оптимизация и эволюционные алгоритмы.

Некоторые из наиболее часто настраиваемых гиперпараметров включают в себя:

• Скорость обучения: Контролирует, насколько сильно корректируются веса модели в зависимости от градиента потерь.
• Размер партии: Количество обучающих примеров, используемых в одной итерации.
• Количество эпох: количество раз, когда весь обучающий набор данных проходит через модель.
• Интенсивностьдополнения данных: Степень преобразований, применяемых к обучающим данным, таких как поворот, масштабирование или изменение цвета. Популярным инструментом для этого является библиотека Albumentations.

Применение в реальном мире

Настройка гиперпараметров применяется в различных областях для достижения максимальной производительности:

• Анализ медицинских изображений: При обучении модели для обнаружения опухолей настройка гиперпараметров, таких как график скорости обучения, параметры дополнения данных и весовые коэффициенты функции потерь, имеет решающее значение для достижения высокой точности обнаружения на конкретных медицинских наборах данных. Это очень важно для надежных решений в области ИИ в здравоохранении и является предметом постоянных исследований.
• Автономные транспортные средства: Модели обнаружения объектов в самоуправляемых автомобилях требуют тщательной настройки. Оптимизация гиперпараметров, таких как разрешение входного изображения, пороги немаксимального подавления (NMS) и конфигурации якорных ящиков, обеспечивает надежное обнаружение системой пешеходов и препятствий с низкой задержкой для безопасной навигации. Эта настройка очень важна для таких компаний, как Waymo, и способствует созданию надежных решений в области искусственного интеллекта в автомобильной промышленности.

Настройка гиперпараметров с помощью Ultralytics

Ultralytics предоставляет инструменты для упрощения настройки гиперпараметров для Ультралитика YOLO модели. Сайт Ultralytics Tuner класс, задокументированный в Руководство по настройке гиперпараметровавтоматизирует процесс с помощью эволюционных алгоритмов. Интеграция с такими платформами, как Рэй Тьюн предлагает дополнительные возможности для распределенных и расширенных стратегий поиска, помогая пользователям эффективно оптимизировать свои модели для конкретных наборов данных (например COCO) и задач. Пользователи могут использовать такие платформы, как Ultralytics HUB для упрощенного отслеживания и управления экспериментами, что часто является ключевой частью следования лучшим практикам для обучение модели. Популярные библиотеки с открытым исходным кодом, такие как Оптуна и Hyperopt также широко используются в сообществе ML для этой цели.