Motor de inferencia

Cómo funcionan los motores de inferencia

Un motor de inferencia utiliza un modelo preentrenado, a menudo desarrollado utilizando marcos como PyTorch o TensorFlowque encapsula el conocimiento necesario para una tarea específica. Cuando se introducen nuevos datos (por ejemplo, una imagen, un clip de audio o una frase de texto), el motor de inferencia los procesa a través del grafo computacional del modelo. Esto genera un resultado, como la identificación de objetos en una imagen, la transcripción de un discurso o la clasificación de un sentimiento. Ultralytics YOLO por ejemplo, dependen de motores de inferencia eficientes para lograr la detección y segmentación de objetos en tiempo real en diversas plataformas, desde potentes servidores en la nube hasta dispositivos de borde con recursos limitados. El rendimiento del motor de inferencia afecta directamente a la velocidad y capacidad de respuesta de la aplicación, a menudo medida por la latencia de la inferencia.

Optimizaciones y características clave

Los motores de inferencia modernos incorporan diversas técnicas de optimización para mejorar la velocidad y la eficacia, haciendo factible la implantación de la IA en hardware diverso. Entre las estrategias más comunes se incluyen:

• Optimización del modelo: Técnicas como la cuantización del modelo (reducir la precisión de los pesos del modelo) y la poda del modelo (eliminar los parámetros redundantes) reducen significativamente el tamaño del modelo y los requisitos computacionales. Aprende más sobre qué es la optimización de modelos en esta guía rápida.
• Aceleración por hardware: Los motores suelen aprovechar hardware especializado como GPUs, TPUs o aceleradores específicos como las plataformas NVIDIA Jetson para acelerar los cálculos.
• Compatibilidad de formatos: Compatibilidad con formatos de modelos estándar como ONNX (Open Neural Network Exchange), TensorRTy OpenVINO permite que los modelos entrenados en un marco se desplieguen en diferentes motores y hardware. Explora varias opciones de despliegue de modelos.

Mientras que los marcos de entrenamiento se centran en construir y enseñar modelos, los motores de inferencia se especializan en ejecutar eficientemente estos modelos entrenados para tareas de predicción.

Aplicaciones en el mundo real

Los motores de inferencia son fundamentales para innumerables aplicaciones de IA:

1. Conducción autónoma: Los vehículos de conducción autónoma dependen en gran medida de los motores de inferencia para procesar los datos de las cámaras, LiDAR y otros sensores en tiempo real. Estos motores ejecutan complejos modelos de visión por ordenador para detectar peatones, otros vehículos, marcas de carril y señales de tráfico, permitiendo una navegación segura. La baja latencia que proporcionan los motores de inferencia optimizados es fundamental para tomar decisiones de conducción en fracciones de segundo, como se detalla en los debates sobre la IA en los coches autoconducidos.
2. Análisis de imágenes médicas: En sanidad, los motores de inferencia despliegan modelos entrenados para analizar exploraciones médicas como resonancias magnéticas o tomografías computarizadas. Pueden resaltar rápidamente posibles anomalías, como detectar tumores cerebrales o identificar signos de enfermedad, ayudando a los radiólogos en el diagnóstico. Esta aplicación demuestra cómo los motores de inferencia permiten un análisis de imágenes médicas más rápido y potencialmente más preciso. Plataformas como Ultralytics HUB facilitan la formación y el despliegue de tales modelos.

Estos ejemplos ilustran cómo los motores de inferencia acortan la distancia entre los modelos de IA entrenados y el impacto práctico en el mundo real en diversos sectores, como la IA en la agricultura y la IA en la fabricación.