Inferencia en tiempo real

Comprender la inferencia en tiempo real

En la práctica, la inferencia en tiempo real significa desplegar un modelo ML, como un Ultralytics YOLO para visión por ordenador, de modo que pueda analizar entradas de datos individuales (como fotogramas de vídeo o lecturas de sensores) y producir salidas con un retraso mínimo. La métrica clave del rendimiento es la latencia de la inferencia, el tiempo que transcurre desde que se recibe una entrada hasta que se genera una predicción. Conseguir una latencia baja suele implicar varias estrategias:

• Optimización del modelo: Se utilizan técnicas como la cuantización del modelo (reducir la precisión de los pesos del modelo) y la poda del modelo (eliminar los parámetros menos importantes del modelo) para crear modelos más pequeños y rápidos.
• Aceleración por hardware: Utilizar hardware especializado como GPUs, TPUs o aceleradores de IA dedicados en dispositivos edge (por ejemplo, NVIDIA Jetson, Google Coral Edge TPU) acelera significativamente los cálculos.
• Software eficiente: Utilizando motores de inferencia optimizados y tiempos de ejecución como TensorRT, OpenVINOo ONNX Runtime ayuda a maximizar el rendimiento en el hardware de destino. Frameworks como PyTorch también ofrecen funciones que permiten una inferencia eficaz.

Inferencia en tiempo real vs. Inferencia por lotes

La principal diferencia radica en cómo se procesan los datos y los requisitos de latencia asociados:

• Inferencia en tiempo real: Procesa puntos de datos individuales o pequeños mini lotes a medida que llegan. Se centra en minimizar la latencia para obtener resultados inmediatos. Ideal para sistemas interactivos o aplicaciones que reaccionan a acontecimientos en directo.
• Inferencia por Lotes: Procesa grandes volúmenes de datos acumulados a lo largo del tiempo. Se centra en maximizar el rendimiento (procesar grandes cantidades de datos de forma eficiente) en lugar de minimizar la latencia de las predicciones individuales. Adecuado para análisis fuera de línea, elaboración de informes o tareas en las que los resultados inmediatos no son críticos, como se explica en la descripción general de la predicción por lotes deGoogle Cloud.

Aplicaciones de la inferencia en tiempo real

La inferencia en tiempo real impulsa muchas aplicaciones modernas de IA en las que la toma de decisiones instantánea es crucial:

1. Sistemas autónomos: Los coches autónomos dependen en gran medida de la inferencia en tiempo real para la detección de objetos (identificación de peatones, vehículos, obstáculos) y la navegación, lo que permite al vehículo reaccionar instantáneamente a su entorno. Los modelos Ultralytics se utilizan a menudo en el desarrollo de IA para coches autónomos.
2. Seguridad y vigilancia: Los sistemas de seguridad impulsados por IA utilizan la inferencia en tiempo real para detectar intrusiones, identificar actividades sospechosas o vigilar multitudes en las transmisiones de vídeo en directo, lo que permite alertas y respuestas inmediatas.
3. Diagnóstico médico: En el análisis de imágenes médicas, la inferencia en tiempo real puede ayudar a los médicos durante los procedimientos, proporcionando información instantánea o resaltando anomalías en imágenes en directo, como las ecografías, mejorando potencialmente la precisión del diagnóstico.
4. Automatización industrial: La inferencia en tiempo real permite el control de calidad automatizado en la fabricación, identificando al instante los defectos en las líneas de producción o guiando los brazos robóticos para realizar tareas precisas.

Plataformas como Ultralytics HUB proporcionan herramientas para entrenar, optimizar y desplegar modelos, facilitando la implementación de soluciones de inferencia en tiempo real a través de diversas opciones de despliegue.