Observabilidad

¿Qué es la observabilidad?

La observabilidad es la capacidad de medir y comprender los estados internos de un sistema examinando sus salidas, como registros, métricas y trazas. A diferencia de la monitorización tradicional, que suele centrarse en cuadros de mando predefinidos y modos de fallo conocidos (p. ej, CPU tasas de error), la observabilidad permite a los equipos explorar proactivamente el comportamiento del sistema y diagnosticar nuevos problemas, incluso los no previstos durante el desarrollo. En el contexto de las MLOps (Operaciones de Aprendizaje Automático), permite hacer preguntas más profundas sobre por qué un sistema se comporta de una determinada manera, lo que es crucial para la naturaleza iterativa del desarrollo y despliegue de modelos de ML. Se trata de ganar visibilidad en sistemas complejos, incluidos los modelos de aprendizaje profundo.

¿Por qué es importante la observabilidad en la IA/ML?

La complejidad y la naturaleza a menudo de "caja negra" de los modelos de aprendizaje profundo hacen que la observabilidad sea indispensable. Entre las razones clave se incluyen:

• Optimización del rendimiento: Identificación de cuellos de botella en la cadena de inferencia o durante el entrenamiento distribuido, optimización del uso de recursos (GPU), y mejorar métricas como la latencia de la inferencia.
• Fiabilidad y depuración: Detectar y diagnosticar rápidamente problemas como la desviación de los datos, la degradación del modelo con el tiempo o el comportamiento inesperado causado por casos extremos en los datos de entrada. Esto ayuda a mantener la precisión y robustez del modelo.
• Confianza y explicabilidad: Proporcionando información sobre las predicciones y el comportamiento de los modelos, apoyando los esfuerzos de la IA Explicable (XAI ) y creando confianza en el usuario, especialmente en aplicaciones críticas como los vehículos autónomos o la asistencia sanitaria.
• Cumplimiento y gobernanza: Garantizar que los modelos funcionan dentro de los límites éticos definidos(Ética de la IA) y cumplen los requisitos normativos mediante el registro de las decisiones y la supervisión de los sesgos algorítmicos. La transparencia en la IA es una ventaja clave.

Observabilidad vs. Supervisión

Aunque están relacionadas, la observabilidad y la supervisión difieren en su alcance y finalidad. La monitorización implica recopilar y analizar datos sobre métricas predefinidas para realizar un seguimiento de la salud del sistema con respecto a puntos de referencia conocidos (por ejemplo, realizar un seguimiento de la puntuación mAP de un modelo de detección de objetos desplegado). Responde a preguntas como "¿Está funcionando el sistema?" o "¿Está la tasa de errores por debajo de X?". La monitorización de modelos es un tipo específico de monitorización centrada en los modelos ML en producción.

La observabilidad, sin embargo, utiliza las salidas de datos (registros, métricas, trazas -a menudo denominados los"tres pilares de la observabilidad"-) para permitir un análisis exploratorio más profundo. Te permite comprender el "por qué" de los estados del sistema, especialmente los inesperados. Piensa que la monitorización es como mirar un tablero de mandos que informa de problemas conocidos, mientras que la observabilidad proporciona las herramientas (como consultar registros o rastrear peticiones) para investigar cualquier anomalía, conocida o desconocida. Facilita la depuración de sistemas complejos.

Componentes clave (Los tres pilares)

La observabilidad se basa en tres tipos principales de datos telemétricos:

1. Registros: Registros con fecha y hora de sucesos discretos que ocurren en el sistema. Los registros proporcionan información detallada y contextual, útil para depurar incidentes concretos o comprender secuencias de operaciones. Algunos ejemplos son los mensajes de error, los eventos de la aplicación o los detalles de las solicitudes.
2. Métricas: Representaciones numéricas del rendimiento o comportamiento del sistema, medidas en intervalos de tiempo. Las métricas son agregables y eficaces para seguir tendencias, establecer alertas y comprender el estado general del sistema (por ejemplo, latencia de las peticiones, tasa de errores, utilización de recursos).
3. Trazas: Registros que muestran el recorrido de una solicitud u operación a medida que se propaga a través de varios componentes de un sistema distribuido. Las trazas ayudan a visualizar el flujo, identificar los cuellos de botella en el rendimiento y comprender las dependencias entre servicios, algo crucial para las arquitecturas de microservicios o las complejas canalizaciones de ML.

Aplicaciones en el mundo real

Las prácticas de observabilidad son vitales en los despliegues sofisticados de IA/ML:

• Sistemas de Conducción Autónoma: En las soluciones de IA para automoción, la observabilidad es fundamental. Se analizan constantemente los registros de los sensores (como LiDAR, cámaras), las métricas sobre la velocidad de inferencia del modelo de percepción y las trazas que rastrean el proceso de toma de decisiones desde la percepción hasta el control. Esto ayuda a los ingenieros de empresas como Waymo a diagnosticar fallos poco frecuentes (por ejemplo, identificar erróneamente un objeto en determinadas condiciones meteorológicas) y a garantizar la seguridad y fiabilidad del sistema.
• Análisis de imágenes médicas: Al desplegar la IA para el análisis de imágenes médicas, la observabilidad ayuda a garantizar la calidad del diagnóstico. Las métricas registran la puntuación de confianza del modelo y la tasa de acuerdo con los radiólogos. Los registros registran los casos extremos o las imágenes marcadas para revisión. Las trazas pueden seguir una imagen desde la ingestión hasta el preprocesamiento, la inferencia y la elaboración de informes, lo que ayuda a identificar fuentes de error o retraso y a mantener el cumplimiento de la normativa sanitaria(investigación sobre IA en radiología).

Herramientas y plataformas

Implementar la observabilidad a menudo implica herramientas y plataformas especializadas. Son populares las soluciones de código abierto como Prometheus (métricas), Grafana (visualización), Loki (registros) y Jaeger o Zipkin (rastreo). OpenTelemetry proporciona un estándar neutral para la instrumentación. Plataformas comerciales como Datadog, New Relic y Dynatrace ofrecen soluciones integradas. Plataformas MLOps como MLflow, Weights & Biasesy ClearML suelen incluir funciones para el seguimiento de experimentos y la supervisión de modelos, lo que contribuye a la observabilidad general del sistema. Ultralytics HUB facilita la gestión de ejecuciones de entrenamiento, conjuntos de datos y modelos desplegados, integrándose con herramientas como TensorBoard para la visualización de métricas, que es un aspecto clave de la observabilidad durante la fase de entrenamiento del modelo.