Deriva de datos

Por qué es importante la deriva de datos

Cuando se produce una desviación de los datos, los modelos entrenados con datos históricos se vuelven menos eficaces a la hora de hacer predicciones sobre datos nuevos y no vistos. Esta degradación del rendimiento puede dar lugar a una toma de decisiones errónea, una reducción del valor empresarial o fallos críticos en aplicaciones sensibles como la IA en los coches autoconducidos o el diagnóstico médico. La supervisión continua de los modelos es crucial para detectar a tiempo la desviación y aplicar medidas correctivas, como el reentrenamiento o las actualizaciones de los modelos, para preservar el rendimiento. Ignorar la deriva de los datos puede dejar obsoletos incluso los modelos más sofisticados.

Causas de la deriva de datos

Varios factores pueden provocar la desviación de los datos, entre ellos

• Cambios en el mundo real: Los acontecimientos externos, la evolución del comportamiento de los usuarios, la estacionalidad o los cambios en las tendencias del mercado pueden alterar la distribución de los datos.
• Problemas en la recogida de datos: Las modificaciones en la calibración de los sensores, los cambios en las fuentes de datos o los errores en la canalización de datos pueden introducir desviaciones. Por ejemplo, una cámara utilizada para la detección de objetos puede ser sustituida o desplazada.
• Cambios en el procesamiento previo de los datos: Las alteraciones en la forma en que se recogen, agregan o preprocesan los datos antes de llegar al modelo pueden causar desviaciones.
• Cambios en las características: La relevancia o definición de las características de entrada puede cambiar con el tiempo (deriva de características).
• Cambios de concepto: La relación entre las características de entrada y la variable objetivo puede cambiar (deriva de conceptos), lo que significa que los patrones subyacentes que aprendió el modelo ya no son válidos.

Deriva de Datos vs. Conceptos Relacionados

La deriva de datos se refiere principalmente a los cambios en la distribución de los datos de entrada. Es distinta de

• Deriva conceptual: Se refiere específicamente a los cambios en la relación entre las características de entrada y la variable objetivo. Aunque suele ocurrir junto con la deriva de los datos, se trata de un cambio en el concepto subyacente que se está modelando.
• Detección de anomalías: Se centra en identificar puntos de datos individuales que son raros o inusuales en comparación con la norma. La desviación de datos, por el contrario, describe un cambio en la distribución general de los datos, no sólo valores atípicos aislados.

Aplicaciones en el mundo real

La deriva de datos afecta a varios dominios en los que se despliegan modelos de ML:

• El comercio minorista: Las preferencias de los clientes y sus pautas de compra cambian, sobre todo estacionalmente. Los sistemas de recomendación y los modelos de gestión de inventarios deben adaptarse a estos cambios para seguir siendo eficaces. Por ejemplo, la demanda de ropa de invierno disminuye a medida que se acerca el verano, lo que provoca una desviación en los datos de ventas.
• Atención sanitaria: En el análisis de imágenes médicas, los cambios en el equipo de obtención de imágenes, los protocolos de exploración o la demografía de los pacientes pueden provocar desviaciones. Un modelo entrenado para detectar tumores con imágenes de un tipo de escáner puede tener un rendimiento deficiente con imágenes de una máquina más nueva. Los modelosYOLO Ultralytics pueden utilizarse para tareas como la detección de tumores, por lo que la monitorización de la deriva es vital.
• Finanzas: Los modelos de detección del fraude se enfrentan a una deriva constante a medida que los defraudadores desarrollan nuevas tácticas. Los cambios económicos también pueden afectar a los modelos de predicción de impago de préstamos, a medida que cambia el comportamiento de los prestatarios. Los modelos de visión por ordenador en finanzas necesitan actualizaciones periódicas.

Detectar y mitigar la deriva de datos

Detectar y abordar la deriva de datos implica varias técnicas:

• Detección:
  • Supervisión de métricas clave: Seguimiento de las métricas de rendimiento del modelo(precisión, recuperación, puntuación F1) y de las métricas de datos (como las distribuciones de características) a lo largo del tiempo. Para la visualización pueden utilizarse herramientas como Prometheus y Grafana.
  • Pruebas estadísticas: Empleando métodos como la prueba de Kolmogorov-Smirnov o el Índice de Estabilidad de la Población (IEP) para comparar las distribuciones entre los datos de entrenamiento y los datos de producción actuales.
  • Herramientas de detección de derivas: Utilizando bibliotecas como Evidently AI o NannyML diseñadas específicamente para la detección de derivas. Plataformas como Ultralytics HUB pueden ayudar a gestionar conjuntos de datos y supervisar el rendimiento del modelo a lo largo del tiempo.
• Mitigación:
  • Reentrenamiento del modelo: Reentrenar periódicamente el modelo con datos recientes. Esto puede implicar un reentrenamiento completo o actualizaciones incrementales. Los consejos para el entrenamiento del modelo pueden ayudar a optimizar este proceso.
  • Aprendizaje Adaptativo: Utilizar modelos diseñados para adaptarse a distribuciones de datos cambiantes en línea.
  • Aumento de datos: Aplicar técnicas para que el modelo sea más robusto a las variaciones durante el entrenamiento. Explora las estrategias de aumento de datos.

Gestionar eficazmente la deriva de datos es un proceso continuo, vital para garantizar que los sistemas de IA sigan siendo fiables y aporten valor durante su vida operativa.