Descenso gradual

Cómo funciona el descenso por gradiente

El proceso de entrenamiento de una red neuronal consiste en encontrar el conjunto óptimo de pesos del modelo que produzca el menor error o pérdida posible. El descenso gradiente automatiza esta búsqueda. El proceso comienza calculando el gradiente, una medida de cuánto cambia la pérdida con respecto a cada peso. Este cálculo suele realizarse mediante el algoritmo de retropropagación. A continuación, los pesos se actualizan dando un pequeño paso en la dirección opuesta al gradiente, moviéndose "cuesta abajo" en la superficie de pérdida. Este proceso iterativo continúa durante muchas épocas hasta que el rendimiento del modelo converge y la pérdida se minimiza. El tamaño de cada paso es un factor crítico determinado por la tasa de aprendizaje, un parámetro clave en el ajuste de hiperparámetros. Se puede encontrar una descripción detallada de este proceso en recursos como los apuntes del curso CS231n de Stanford.

Tipos de descenso gradual

Existen tres variantes principales del descenso gradual, cada una de las cuales difiere en la cantidad de datos que se utilizan para calcular el gradiente de cada actualización de peso:

• Descenso de gradiente por lotes (BGD): Calcula el gradiente utilizando todo el conjunto de datos de entrenamiento. Este método proporciona un gradiente estable y preciso, pero es muy costoso desde el punto de vista informático y requiere mucha memoria, por lo que no resulta práctico para grandes conjuntos de datos como ImageNet.
• Descenso Gradiente Estocástico (SGD): Actualiza los pesos tras procesar una única muestra de datos elegida al azar. Es mucho más rápido y requiere menos memoria que el BGD, pero las actualizaciones son ruidosas, lo que conduce a una trayectoria de convergencia más errática. En ocasiones, esta aleatoriedad puede ayudar al modelo a escapar de mínimos locales poco favorables.
• Mini-Batch Gradient Descent: Logra un equilibrio calculando el gradiente en un subconjunto pequeño y aleatorio (un "mini lote") de los datos, normalmente entre 32 y 256 muestras. Es el método más utilizado en el aprendizaje profundo moderno porque combina la eficiencia del SGD con la estabilidad del BGD. Frameworks como PyTorch y TensorFlow utilizan este método por defecto en sus optimizadores. Para una comparación en profundidad, consulta esta descripción general de los algoritmos de descenso de gradiente.

Descenso gradual frente a conceptos afines

Es importante distinguir el descenso gradual de varios términos relacionados:

• Algoritmos de optimización: El Descenso Gradiente es el concepto fundacional de una familia de algoritmos de optimización. Los optimizadores más avanzados, como el optimizador Adam o RMSprop, son variaciones adaptativas que ajustan la tasa de aprendizaje para cada parámetro individualmente, lo que a menudo conduce a una convergencia más rápida. El artículo original sobre Adam está disponible en arXiv.
• Retropropagación: Backpropagation y Gradient Descent son dos procesos distintos pero conectados. La retropropagación es el algoritmo que calcula eficazmente los gradientes de la función de pérdida con respecto a los pesos de la red. El descenso gradual es el algoritmo que utiliza estos gradientes para actualizar los pesos.
• Función de pérdida: La función de pérdida define el objetivo que el Descenso Gradiente pretende minimizar. La elección de la función de pérdida (por ejemplo, la entropía cruzada para la clasificación de imágenes) crea el panorama de error específico por el que navega el optimizador.

Aplicaciones reales

El Descenso Gradiente es el motor que impulsa el entrenamiento de innumerables modelos de IA.

1. Entrenamiento de modelos de detección de objetos: Cuando se entrena un modelo YOLO de Ultralytics para la detección de objetos en un conjunto de datos a gran escala como COCO, se utiliza el descenso de gradiente en mini lotes en cada iteración. El modelo predice los cuadros delimitadores, se calcula una pérdida basada en el error y el descenso de gradiente ajusta millones de pesos en toda la columna vertebral y la cabeza del modelo para mejorar la precisión. Todo este flujo de trabajo puede gestionarse y escalarse utilizando plataformas como Ultralytics HUB.
2. Entrenamiento de modelos lingüísticos: En el Procesamiento del Lenguaje Natural (PLN), los modelos como BERT se entrenan para tareas como el análisis de sentimientos. El descenso gradual minimiza una función de pérdida que mide la diferencia entre el sentimiento predicho por el modelo y la etiqueta verdadera, lo que permite al modelo aprender los matices del lenguaje humano a partir de grandes corpus de texto. El Grupo de PNL de Stanford investiga ampliamente en este campo.

Retos y consideraciones

A pesar de su potencia, el descenso gradiente no está exento de dificultades. El algoritmo puede atascarse en mínimos locales, es decir, en valles que no son el punto más bajo absoluto de la superficie de pérdida. En redes muy profundas, también puede sufrir los problemas de gradiente evanescente o gradiente explosivo, en los que el gradiente se vuelve demasiado pequeño o demasiado grande para actualizar eficazmente los pesos. La selección cuidadosa de la tasa de aprendizaje, la elección de un optimizador robusto y técnicas como la normalización por lotes son cruciales para el éxito del entrenamiento, como se detalla en nuestra guía de consejos para el entrenamiento de modelos.