Despliegue de modelos cuantificados Ultralytics YOLOv8 en dispositivos Edge con DeGirum

Bienvenidos a la recapitulación de otra charla perspicaz de nuestro evento YOLO VISION 2023 (YV23), celebrado en el vibrante Campus Google for Startups de Madrid. Esta charla corrió a cargo de Shashi Chilappagar, Arquitecto Jefe y Cofundador de DeGirum. En ella se profundizó en el fascinante mundo de la cuantización y el despliegue de modelos cuantizados, explorando los principales retos, soluciones y posibilidades futuras.

Introducción a la Cuantización y Despliegue de Modelos Cuantizados

Shashi ofreció una visión completa de la cuantización, destacando su importancia para optimizar Ultralytics YOLO modelos para su despliegue en dispositivos periféricos. Desde la discusión de los conceptos básicos hasta la exploración de enfoques para mejorar la cuantización, los asistentes obtuvieron valiosos conocimientos sobre los entresijos de la portabilidad y el despliegue de modelos.

Retos de la cuantificación de modelos YOLO

La cuantización suele plantear retos, sobre todo con los modelos YOLO en TFLite. Nuestra audiencia conoció la importante caída de precisión que se observa cuando todas las salidas se cuantizan con la misma escala/punto cero, lo que arroja luz sobre las complejidades de mantener la precisión del modelo durante el proceso de cuantización.

Mejora de la cuantización de los modelos YOLO

Afortunadamente, existen soluciones para afrontar estos retos. La introducción de la horquilla DigiRAM ofrece un enfoque favorable a la cuantización mediante la separación de las salidas y la optimización de la descodificación de la caja delimitadora. Con estas mejoras, la precisión del modelo cuantizado experimenta una mejora significativa respecto a los niveles de referencia.

Arquitecturas de Modelos Más Amigables con la Cuantización

Explorar nuevas arquitecturas de modelos es clave para minimizar la pérdida de cuantización. Los asistentes descubrieron cómo la sustitución de CILU por la activación acotada de Relu6 conduce a una pérdida de cuantización mínima, ofreciendo resultados prometedores para mantener la precisión en modelos cuantizados.

Despliegue de modelos cuantificados

Desplegar modelos cuantificados nunca ha sido tan fácil, ya que sólo se necesitan cinco líneas de código para ejecutar cualquier modelo en la plataforma en la nube de Digitim. Una demostración de código en directo mostró la sencillez de detectar objetos con un modelo cuantificado. Ultralytics YOLOv5 destacando la perfecta integración de los modelos cuantizados en las aplicaciones del mundo real. 

Para ello, Ultralytics proporciona diversas opciones de despliegue de modelos, que permiten a los usuarios finales desplegar eficazmente sus aplicaciones en dispositivos integrados y de borde. Los distintos formatos de exportación incluyen OpenVINO, TorchScript, TensorRT, CoreML, TFlite, y TFlite EDGE TPU, que ofrecen versatilidad y compatibilidad. 

Esta integración con aplicaciones de terceros para el despliegue permite a los usuarios evaluar el rendimiento de nuestros modelos en escenarios del mundo real.

Utilizar distintos modelos en distintos equipos

Los asistentes también se hicieron una idea de la versatilidad de desplegar distintos modelos en varias plataformas de hardware, mostrando cómo una única base de código puede soportar múltiples modelos en distintos aceleradores. Los ejemplos de ejecución de diferentes tareas de detección en diversas plataformas de hardware demostraron la flexibilidad y escalabilidad de nuestro enfoque.

Recursos y documentación

Para capacitar aún más a los asistentes, hemos introducido una completa sección de recursos, que proporciona acceso a nuestra plataforma en la nube, ejemplos, documentación y mucho más. Nuestro objetivo es garantizar que todo el mundo disponga de las herramientas y el apoyo necesarios para desplegar con éxito modelos cuantificados de forma eficaz.

Conclusión

A medida que evoluciona el campo de la cuantización, es esencial mantenerse informado y comprometido. Nos comprometemos a proporcionar apoyo y recursos continuos para ayudarte a navegar por este apasionante viaje. Consulta la charla completa aquí. 

Únete a nosotros mientras seguimos explorando las últimas tendencias e innovaciones en aprendizaje automático e inteligencia artificial. Juntos, estamos dando forma al futuro de la tecnología e impulsando un cambio positivo en el mundo.

‍