Настройка гиперпараметров

Настройка гиперпараметров — это итеративный процесс оптимизации внешних конфигурационных переменных, которые управляют процессом обучения модели машинного обучения (ML). В отличие от внутренних параметров, таких как weights and biases обучаются на данных во время обучения, гиперпараметры устанавливаются специалистом по данным или инженером до начала процесса обучения. Эти настройки контролируют структуру модели и поведение алгоритма, действуя как «ручки и регуляторы», которые точно настраивают производительность. Поиск идеального сочетания этих значений имеет решающее значение для максимизации таких показателей, как точность и эффективность, что часто определяет разницу между посредственной моделью и передовым решением.

Основные концепции и методы

Совокупность всех возможных комбинаций гиперпараметров создает высокоразмерное пространство поиска. Практики используют различные стратегии для навигации в этом пространстве, чтобы найти оптимальную конфигурацию, которая минимизирует функцию потерь.

• Поиск по сетке: этот исчерпывающий метод оценивает модель для каждой указанной комбинации параметров в сетке. Несмотря на свою тщательность, он требует больших вычислительных затрат и страдает от проклятия размерности при работе со многими переменными.
• Случайный поиск: вместо тестирования каждой комбинации, этот метод выбирает случайные комбинации гиперпараметров. Исследования показывают, что это часто более эффективно, чем поиск по сетке, так как он более эффективно исследует пространство поиска для наиболее влиятельных параметров.
• Байесовская оптимизация: этот вероятностный подход строит суррогатную модель для прогнозирования того, какие гиперпараметры дадут наилучшие результаты на основе прошлых оценок, фокусируя поиск на наиболее перспективных областях.
• Эволюционные алгоритмы: Вдохновленный биологической эволюцией, этот метод использует такие механизмы, как мутация и кроссинговер, для эволюции популяции конфигураций на протяжении нескольких поколений. Это основной метод, используемый ultralytics библиотека для оптимизации современных архитектур, таких как YOLO26.

Настройка гиперпараметров по сравнению с обучением модели

Важно различать настройку и обучение, поскольку они представляют собой отдельные этапы в жизненном цикле MLOps:

• Обучение модели: процесс, при котором алгоритм итеративно обрабатывает обучающие данные для обучения внутренним параметрам с помощью обратного распространения. Цель заключается в минимизации ошибки на обучающем наборе.
• Настройка гиперпараметров: метапроцесс выбора операционных настроек, таких как скорость обучения, размер партии и импульс, перед началом обучения. Цель состоит в том, чтобы максимизировать производительность на валидационных данных, чтобы предотвратить переобучение.

Применение в реальном мире

Эффективно настроенные модели имеют решающее значение для развертывания надежных решений в сложных средах.

Точное земледелие

В области искусственного интеллекта в сельском хозяйстве автономные дроны используют компьютерное зрение для идентификации сорняков и болезней сельскохозяйственных культур . Эти модели часто работают на периферийных устройствах с ограниченным сроком службы батареи. Инженеры используют настройку гиперпараметров для оптимизации конвейера увеличения данных и разрешения входных данных , обеспечивая баланс между высокой скоростью вывода и точностью, необходимой для опрыскивания только сорняков, что позволяет сократить использование химикатов.

Медицинская диагностика

В области искусственного интеллекта в здравоохранении, в частности в анализе медицинских изображений, ложноотрицательный результат может иметь серьезные последствия. При обучении моделей detect на МРТ-сканах специалисты тщательно настраивают гиперпараметры, связанные с весовыми коэффициентами классов и фокальной потерей. Эта настройка максимально увеличивает повторяемость, гарантируя, что даже незначительные признаки патологии будут отмечены для проверки человеком, что значительно помогает в ранней диагностике.

Автоматизированная настройка с помощью Ultralytics

Сайт ultralytics библиотека упрощает оптимизацию за счет встроенной функции тюнер , использующий генетические алгоритмы. Это позволяет пользователям автоматически искать оптимальные гиперпараметры для своих наборов данных без ручного метода проб и ошибок. Для крупномасштабных операций команды могут использовать Платформа Ultralytics для управления наборами данных и визуализации этих экспериментов по настройке в облаке.

Следующий пример демонстрирует, как инициировать настройку гиперпараметров для модели YOLO26. Настройщик будет изменять гиперпараметры в течение нескольких итераций, чтобы максимизировать среднюю среднюю точность (mAP).

from ultralytics import YOLO

# Initialize a YOLO26 model (using the 'nano' weight for speed)
model = YOLO("yolo26n.pt")

# Start tuning hyperparameters on the COCO8 dataset
# The tuner runs for 30 epochs per iteration, evolving parameters like lr0 and momentum
model.tune(data="coco8.yaml", epochs=30, iterations=100, optimizer="AdamW", plots=False)

Благодаря автоматизации этого процесса разработчики могут приблизиться к концепции автоматизированного машинного обучения (AutoML), при которой система самостоятельно оптимизируется для достижения максимально возможной производительности при выполнении конкретной задачи.