Suavizado de etiquetas

Cómo funciona el alisado de etiquetas

En las tareas de clasificación estándar, los modelos suelen entrenarse utilizando una función de pérdida como la entropía cruzada, que penaliza al modelo en función de lo lejos que esté su distribución de probabilidad predicha de la distribución objetivo (etiquetas duras). Con las etiquetas duras, se presiona al modelo para que la probabilidad de salida de la clase correcta sea extremadamente cercana a 1 y las demás cercanas a 0. Esto puede llevar a un sobreajuste, en el que el modelo aprende demasiado bien los datos de entrenamiento, incluido su ruido, y obtiene malos resultados con los datos nuevos. El suavizado de etiquetas modifica las etiquetas objetivo asignando un pequeño valor de probabilidad (épsilon) a las clases incorrectas y reduciendo la probabilidad de la clase correcta en la cantidad total distribuida. Esto evita que el modelo produzca valores logit excesivamente grandes para la clase correcta, promoviendo un modelo menos confiado y potencialmente más robusto.

Ventajas del alisado de etiquetas

• Generalización mejorada: Al desalentar el exceso de confianza, los modelos suelen generalizar mejor a los datos no vistos.
• Mejor calibración del modelo: Las probabilidades predichas tienden a ser un reflejo más exacto de la verdadera probabilidad de corrección. Puedes obtener más información sobre la calibración de modelos en estadística.
• Mayor robustez: Los modelos pueden ser más resistentes a las etiquetas ruidosas o a pequeñas variaciones en los datos de entrada.
• Reducción del Sobreajuste: Actúa como un regularizador, ayudando a mitigar el sobreajuste, con un espíritu similar al de técnicas como el abandono o el aumento de datos, aunque opera directamente sobre las etiquetas objetivo.

Aplicaciones del alisado de etiquetas

El suavizado de etiquetas es ampliamente aplicable, sobre todo en tareas de clasificación de distintos dominios:

• Clasificación de imágenes: Cuando se entrenan redes neuronales profundas como los modelosYOLO Ultralytics en grandes conjuntos de datos como ImageNet, el suavizado de etiquetas puede contribuir a una mayor precisión de validación. Esto es especialmente útil en campos como el análisis de imágenes médicas, donde las estimaciones de probabilidad calibradas son importantes.
• Procesamiento del Lenguaje Natural (PLN): En tareas como la traducción automática o el entrenamiento de grandes modelos lingüísticos(LLM) como BERT o GPT, el suavizado de etiquetas ayuda a mejorar la fluidez y la generalización de los modelos evitando que asignen una certeza absoluta a las predicciones de palabras concretas. Frameworks como PyTorch y TensorFlow suelen incluir opciones para el suavizado de etiquetas en sus funciones de pérdida.

Consideraciones

Aunque generalmente es beneficioso, el suavizado de etiquetas puede ralentizar ligeramente la convergencia del modelo durante el entrenamiento. El alcance de su beneficio también puede depender del conjunto de datos y de la arquitectura del modelo. El propio factor de suavizado (épsilon) es un hiperparámetro que puede requerir un ajuste para obtener resultados óptimos. A menudo se integra en los conductos de entrenamiento de los marcos y plataformas modernos, como Ultralytics HUB.