Suavizado de Etiquetas

El suavizado de etiquetas es una técnica de regularización ampliamente utilizada en el aprendizaje automático para mejorar la generalización de los modelos y evitar el sobreajuste. Al entrenar redes neuronales, el objetivo suele ser minimizar el error entre las predicciones y la verdad fundamental. Sin embargo, si un modelo se vuelve demasiado confiado en sus predicciones, asignando una probabilidad cercana al 100 % a una sola clase, a menudo comienza a memorizar el ruido específico de los datos de entrenamiento en lugar de aprender patrones robustos. Este fenómeno, conocido como sobreajuste, degrada el rendimiento en ejemplos nuevos y desconocidos. El suavizado de etiquetas aborda este problema disuadiendo al modelo de predecir con absoluta certeza, esencialmente indicándole a la red que siempre existe un pequeño margen de error.

La mecánica de los objetivos blandos

Para comprender cómo funciona el suavizado de etiquetas, resulta útil compararlo con los objetivos «duros» estándar. En el método tradicional aprendizaje supervisado, las etiquetas de clasificación se representan normalmente mediante codificación one-hot. Por ejemplo, en una tarea que distingue entre gatos y perros, una imagen de «perro» tendría un vector objetivo de [0, 1]. Para que esto encaje a la perfección, el modelo impulsa sus puntuaciones internas, conocidas como logits, hacia el infinito, lo que puede provocar gradientes inestables y una incapacidad de adaptación.

El suavizado de etiquetas sustituye estos rígidos 1 y 0 por objetivos «suaves». En lugar de una probabilidad objetivo de 1.0, se podría asignar la clase correcta. 0.9, mientras que la masa de probabilidad restante (0.1) se distribuye uniformemente entre las clases incorrectas. Este sutil cambio modifica el objetivo de la función de pérdida, como entropía cruzada, impidiendo que función de activación (normalmente Softmax) de saturarse. El resultado es un modelo que aprende grupos más ajustados de clases en el espacio de características y produce mejores calibración del modelo, lo que significa que las probabilidades previstas reflejan con mayor precisión la probabilidad real de corrección.

Aplicaciones en el mundo real

Esta técnica es especialmente crítica en dominios en los que la ambigüedad de los datos es inherente o los conjuntos de datos son propensos a errores de etiquetado .

• Diagnóstico médico: En el campo de la IA en la asistencia sanitaria, los datos clínicos rara vez son blancos o negros. Por ejemplo, en el análisis de imágenes médicas, una exploración puede mostrar características que sugieren claramente una enfermedad, pero que no son definitivas. El entrenamiento con etiquetas rígidas obliga al modelo a ignorar esta incertidumbre. Al aplicar el suavizado de etiquetas, el modelo conserva un grado de escepticismo, lo cual es vital para los sistemas de apoyo a la toma de decisiones, en los que un exceso de confianza podría conducir a un diagnóstico erróneo.
• Clasificación de imágenes a gran escala: conjuntos de datos públicos masivos como ImageNet suelen contener imágenes mal etiquetadas o imágenes que contienen varios objetos válidos. Si un modelo intenta ajustar estos ejemplos ruidosos con un 100 % de confianza, aprende asociaciones incorrectas. El suavizado de etiquetas actúa como un amortiguador contra el ruido de las etiquetas, lo que garantiza que unos pocos puntos de datos erróneos no sesguen drásticamente los pesos finales del modelo.

Aplicación del suavizado de etiquetas con Ultralytics

Los modernos marcos de aprendizaje profundo simplifican la aplicación de esta técnica. Utilizando el ultralytics paquete, puede integrar fácilmente el suavizado de etiquetas en su canalización de entrenamiento para clasificación de imágenes o tareas de detección. Esto se hace a menudo para sacar un rendimiento extra a modelos de última generación como YOLO26.

El siguiente ejemplo muestra cómo entrenar un modelo de clasificación con el suavizado de etiquetas habilitado:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Comparación con conceptos relacionados

Es útil distinguir el suavizado de etiquetas de otras estrategias de regularización para comprender cuándo utilizarlo.

• vs. Dropout: Una capa de dropout desactiva aleatoriamente las neuronas durante el entrenamiento para obligar a la red a aprender representaciones redundantes. Aunque ambos evitan el sobreajuste, el dropout modifica la arquitectura de la red de forma dinámica, mientras que el suavizado de etiquetas modifica el objetivo de optimización (las propias etiquetas ).
• vs. Destilación de conocimiento: Ambas técnicas implican el entrenamiento en objetivos blandos. Sin embargo, en la destilación de conocimiento, los objetivos blandos provienen de un modelo «maestro» y contienen información aprendida (por ejemplo, «esto se parece un 10 % a un gato»). Por el contrario, el suavizado de etiquetas utiliza objetivos blandos «poco informativos» derivados matemáticamente (por ejemplo, «dar un 10 % de probabilidad a todas las demás clases por igual»).
• vs. Aumento de datos: Las estrategias para el aumento de datos modifican los datos de entrada (rotando, recortando, coloreando) para aumentar la variedad. El suavizado de etiquetas modifica las expectativas de salida. Los flujos de trabajo de entrenamiento integrales en la Ultralytics suelen combinar el aumento, el abandono y el suavizado de etiquetas para lograr la máxima precisión.

Al mitigar el problema del gradiente de desaparición en las capas finales y animar al modelo a aprender características más robustas, el suavizado de etiquetas sigue siendo un elemento básico en las modernas arquitecturas de aprendizaje profundo.