Validación cruzada

Cómo funciona la validación cruzada

El método más utilizado es la validación cruzada K-Fold. El proceso implica estos pasos:

1. Barajar y dividir: Se baraja aleatoriamente todo el conjunto de datos y se divide en "K" pliegues (subconjuntos) de igual tamaño.
2. Entrenamiento iterativo y validación: El modelo se entrena K veces. En cada iteración "i" (de 1 a K):
   • El modelo utiliza K-1 pliegues como datos de entrenamiento.
   • El pliegue único restante (pliegue "i") se utiliza como datos de validación para evaluar el rendimiento del modelo (por ejemplo, calculando la precisión o la puntuación F1).
3. Agregación del rendimiento: La métrica de rendimiento registrada en cada una de las K iteraciones se promedia para obtener una estimación única y más sólida de la capacidad de generalización del modelo.

Muchas bibliotecas populares de ML, como Scikit-learn, ofrecen implementaciones eficientes de varias estrategias de Validación Cruzada, incluyendo K-Fold Estratificado (esencial para conjuntos de datos desequilibrados) y CV Leave-One-Out.

¿Por qué utilizar la validación cruzada?

La validación cruzada es una piedra angular de la evaluación fiable de modelos por varias razones clave:

• Estimaciones de rendimiento más fiables: Al promediar los resultados de varios conjuntos de validación, la CV reduce la varianza asociada a una única división de entrenamiento/prueba, proporcionando una medida más estable de cómo podría funcionar el modelo en la práctica. Esto fomenta la reproducibilidad en la investigación.
• Uso eficiente de los datos: Utiliza mejor los conjuntos de datos limitados, ya que cada punto de datos sirve como dato de entrenamiento y de validación en los distintos pliegues. Esto es especialmente beneficioso cuando la recogida de datos es cara o difícil.
• Detección de Sobreajuste/Inadaptación: Ayuda a identificar los modelos demasiado complejos (sobreajuste) o demasiado simples(infraajuste), revelando las discrepancias entre el rendimiento del entrenamiento y el rendimiento medio de la validación.
• Ajuste robusto de hiperparámetros: La CV proporciona una base más fiable para seleccionar los hiperparámetros óptimos. Se pueden evaluar diferentes conjuntos de hiperparámetros en función de su rendimiento medio validado cruzadamente, lo que conduce a modelos con mejor generalización. Ultralytics ofrece herramientas para el Ajuste de Hiperparámetros que pueden incorporar los principios de la CV.

Validación cruzada vs. división simple entrenar/validar

Una simple división entrenamiento/validación divide los datos una vez: una parte para el entrenamiento y otra para la validación. Aunque es fácil de implementar, su principal inconveniente es que la evaluación del rendimiento depende en gran medida de qué puntos de datos específicos caen en el conjunto de validación. Un conjunto de validación especialmente "fácil" o "difícil" puede dar lugar a estimaciones de rendimiento demasiado optimistas o pesimistas.

La validación cruzada supera este problema utilizando sistemáticamente subconjuntos diferentes para la validación, garantizando que cada punto de datos contribuya al proceso de evaluación exactamente una vez. Así se obtiene una evaluación más estable y fiable de la solidez del modelo. Es importante tener en cuenta que un conjunto final de datos de prueba, no visto durante el entrenamiento y el ajuste basado en la CV, debe reservarse para la evaluación final del modelo elegido. Ultralytics proporciona orientación detallada sobre la aplicación de la Validación Cruzada K-Fold con Ultralytics YOLO.

Aplicaciones en el mundo real

La validación cruzada es indispensable para crear sistemas de IA fiables en diversos ámbitos:

1. Análisis de imágenes médicas: Cuando se desarrolla una Red Neuronal Convolucional (CNN) para el análisis de imágenes médicas, como la detección de tumores en escáneres cerebrales utilizando conjuntos de datos como el conjunto de datos de Tumores Cerebrales, la CV se utiliza para evaluar rigurosamente la precisión diagnóstica y la generalización del modelo en diversos datos de pacientes antes de considerar la posibilidad de realizar ensayos clínicos o solicitar la aprobación reglamentaria (por ejemplo, de la FDA).
2. Vehículos autónomos: Para modelos de detección de objetos como Ultralytics YOLO utilizados en vehículos autónomos, la CV ayuda a garantizar un rendimiento fiable en la detección de peatones, ciclistas y otros vehículos en diversas condiciones ambientales (iluminación, clima, tipos de carretera) que suelen encontrarse en conjuntos de datos complejos como Argoverse. Esta sólida evaluación, a menudo medida por métricas como la Precisión Media Media (mAP), es fundamental antes del despliegue del modelo en sistemas críticos para la seguridad, como los de las soluciones de IA en Automoción.

Otras aplicaciones incluyen la evaluación de modelos para la segmentación de imágenes, tareas de procesamiento del lenguaje natural (PLN ) como el análisis de sentimientos, y la evaluación de riesgos en la modelización financiera. Plataformas como Ultralytics HUB suelen integrar o facilitar estas técnicas de evaluación para agilizar el ciclo de vida del desarrollo.