Descenso Gradiente Estocástico (SGD)

Cómo funciona el descenso gradiente estocástico

La idea central de SGD es aproximar el verdadero gradiente de la función de pérdida, que se calcula sobre todo el conjunto de datos, utilizando el gradiente de la pérdida para una sola muestra. Aunque este gradiente de una sola muestra es una estimación ruidosa, es barato desde el punto de vista computacional y, por término medio, apunta en la dirección correcta. El proceso consiste en repetir un sencillo ciclo de dos pasos para cada muestra de entrenamiento:

1. Calcular el Gradiente: Calcule el gradiente de la función de pérdida con respecto a los parámetros del modelo para un único ejemplo de entrenamiento.
2. Actualizar los parámetros: Ajuste los parámetros en la dirección opuesta al gradiente, escalados por una tasa de aprendizaje. Esto mueve el modelo hacia un estado con menor error para esa muestra específica.

Este ciclo se repite durante muchas pasadas por todo el conjunto de datos, conocidas como épocas, mejorando gradualmente el rendimiento del modelo. La eficiencia del SGD lo ha convertido en la piedra angular del aprendizaje profundo moderno y es compatible con los principales marcos de trabajo, como PyTorch y TensorFlow.

Sgd frente a otros optimizadores

El SGD es uno de varios métodos de optimización basados en el gradiente, cada uno con sus propias ventajas y desventajas.

• Descenso de gradiente por lotes: Este método calcula el gradiente utilizando todo el conjunto de datos de entrenamiento. Proporciona un camino estable y directo hacia el mínimo, pero es extremadamente lento y requiere mucha memoria para grandes conjuntos de datos, lo que lo hace poco práctico para la mayoría de las aplicaciones modernas.
• Mini-lote de descenso gradiente: Se trata de un compromiso entre la DG por lotes y la SGD. Actualiza los parámetros utilizando un subconjunto pequeño y aleatorio (un "minilote") de los datos. Equilibra la estabilidad de Batch GD con la eficacia de SGD y es el método más utilizado en la práctica.
• Optimizador Adam: Adam es un algoritmo de optimización adaptativo que mantiene una tasa de aprendizaje independiente para cada parámetro y la ajusta a medida que progresa el aprendizaje. Suele converger más rápido que SGD, pero este último a veces puede encontrar un mínimo mejor y ofrecer una mejor generalización, lo que ayuda a evitar el sobreajuste.

Aplicaciones reales

El SGD y sus variantes son fundamentales para entrenar una amplia gama de modelos de IA en distintos ámbitos.

• Entrenamiento para la detección de objetos en tiempo real: Para modelos como Ultralytics YOLO diseñados para la inferencia en tiempo real, el entrenamiento debe ser eficiente. SGD permite a los desarrolladores entrenar estos modelos en grandes conjuntos de datos de imágenes como COCO o en conjuntos de datos personalizados gestionados a través de plataformas como Ultralytics HUB. Las actualizaciones rápidas permiten una convergencia más rápida en comparación con Batch GD, crucial para iterar rápidamente durante el desarrollo del modelo y el ajuste de hiperparámetros. Esta eficiencia permite aplicaciones en campos como los vehículos autónomos y la robótica.
• Entrenamiento de grandes modelos lingüísticos (LLM): El entrenamiento de modelos para el Procesamiento del Lenguaje Natural (PLN ) suele implicar conjuntos de datos de texto masivos. SGD y sus variantes son esenciales para iterar a través de estos datos de manera eficiente, permitiendo que modelos como GPT-4 o los encontrados en Hugging Face aprendan gramática, contexto y semántica. La naturaleza estocástica ayuda a escapar de los mínimos locales en el complejo panorama de pérdidas, un reto habitual en el entrenamiento de grandes redes neuronales. Este proceso es fundamental para tareas como la traducción automática y el análisis de sentimientos.