Стохастический градиентный спуск (SGD)

Актуальность в машинном обучении

SGD - это краеугольный камень для обучения крупномасштабных моделей машинного обучения, особенно сложных нейронных сетей (NN), которыми оснащены многие современные приложения ИИ. Его эффективность делает его незаменимым при работе с наборами данных, которые слишком велики, чтобы поместиться в память, или требуют слишком много времени для обработки с помощью традиционного пакетного градиентного спуска. Такие модели, как Ultralytics YOLO часто используют SGD или его разновидности в процессе обучения для изучения паттернов в таких задачах, как обнаружение объектов, классификация изображений и их сегментация. Основные фреймворки глубокого обучения, такие как PyTorch и TensorFlow обеспечивают надежную реализацию SGD, что подчеркивает его фундаментальную роль в экосистеме ИИ.

Ключевые понятия

Понимание SGD включает в себя несколько основных идей:

• Стохастическая природа: Термин "стохастический" относится к случайности, которую вносит использование только одной или нескольких выборок для оценки градиента на каждом шаге. Эта случайность добавляет шум в процесс оптимизации, что иногда может помочь модели избежать плохих локальных минимумов и найти лучшие общие решения.
• Мини-партии: Хотя в чистом SGD используется один образец для обновления, на практике чаще всего используется небольшая "мини-партия" образцов (например, 32, 64, 128). Такой подход, который часто еще называют SGD, позволяет сбалансировать эффективность обновлений по одной выборке и стабильность, достигаемую за счет усреднения градиентов по небольшой партии. Размер этой партии регулируется гиперпараметром Batch Size.
• Скорость обучения: Этот важнейший гиперпараметр определяет размер шагов, которые делаются в процессе оптимизации. Хорошо подобранная скорость обучения жизненно важна для сходимости; слишком высокая - и процесс может проскочить минимум, слишком низкая - и обучение станет чрезмерно медленным. Такие техники, как планирование скорости обучения, часто используются вместе с SGD.
• Функция потерь: Цель SGD - минимизировать функцию потерь, которая измеряет разницу между предсказаниями модели и реальными целевыми значениями в обучающих данных.

Отличия от родственных концепций

SGD - это один из нескольких алгоритмов оптимизации, и важно отличать его от других:

• Градиентный спуск (Batch GD): Основное различие заключается в том, как вычисляется градиент. Пакетный GD использует весь набор данных для каждого обновления параметров, обеспечивая точный градиент, но становясь вычислительно дорогим и медленным для больших наборов данных. SGD использует один образец (или мини-пакет), делая каждое обновление намного быстрее, но более шумным. Подробнее о стандартном методе ты можешь узнать на странице глоссария Gradient Descent.
• Мини-пакетный градиентный спуск: Это наиболее распространенная практическая реализация, которую часто называют просто SGD. Она вычисляет градиент на небольших случайных подмножествах (мини-партиях) данных. В ней соблюдается баланс между точностью Batch GD и эффективностью чистого SGD.
• Оптимизатор Адам: Adam - это адаптивный алгоритм оптимизации скорости обучения, то есть он настраивает скорость обучения для каждого параметра индивидуально, основываясь на прошлых градиентах. Хотя Адам часто сходится быстрее, чем базовый SGD, SGD (особенно с импульсом) иногда может лучше обобщать данные, которые еще не изучены, что обсуждается в исследованиях вроде "The Marginal Value of Adaptive Gradient Methods in Machine Learning".

Применение в реальном мире

Эффективность SGD позволяет использовать его в многочисленных крупномасштабных приложениях искусственного интеллекта: