Únete a nosotros para recapitular los avances de Sony en el procesamiento de IA de vanguardia con el sensor IMX500 y la plataforma AITRIOS, para ayudar a optimizar los modelos Ultralytics YOLO .
La IA Edge permite que los modelos de inteligencia artificial (IA) funcionen directamente en dispositivos como teléfonos inteligentes, cámaras y drones. Su principal ventaja es que permite una toma de decisiones más rápida y en tiempo real, sin depender de la nube. De hecho, los estudios demuestran que el uso de IA en plataformas periféricas puede aumentar la eficiencia operativa hasta un 40%.
Los recientes avances en IA de vanguardia, especialmente en visión por ordenador, la convirtieron en un tema central en YOLO Vision 2024 (YV24), el evento híbrido anual de Ultralytics que reúne a entusiastas y expertos en IA para explorar lo último en IA de Visión. Uno de los aspectos más destacados del evento fue la presentación principal de Sony, en la que mostró sus nuevas soluciones de hardware y software de IA de vanguardia. Se presentaron el sensor IMX500 y la plataforma AITRIOS, y Sony demostró cómo estas innovaciones están facilitando y haciendo más eficiente el despliegue de modelosUltralytics YOLO como Ultralytics YOLO11 y Ultralytics YOLOv8 al límite.
La sesión corrió a cargo de Wei Tang, Director de Desarrollo de Negocio centrado en las soluciones de imagen de Sony, y Amir Servi, Director de Producto de Aprendizaje Profundo Edge con experiencia en el despliegue de modelos de aprendizaje profundo en dispositivos Edge.
En este artículo, revisaremos la charla de Sony en YV24 y exploraremos cómo el sensor IMX500 y la plataforma AITRIOS optimizan el uso de los modelos YOLO para un procesamiento de IA más rápido y en tiempo real. ¡Empecemos ya!
Wei Tang abrió la sesión hablando del objetivo de Sony de hacer la IA de vanguardia tan accesible como lo hicieron con la fotografía hace años. Hizo hincapié en cómo Sony se centra ahora en llevar la IA avanzada Vision a más gente a través de la computación de borde. Uno de los factores impulsores es el impacto positivo que la IA de vanguardia puede tener en el medio ambiente. Al procesar los datos directamente en los dispositivos en lugar de depender de centros de datos masivos, la computación de borde ayuda a reducir el consumo de energía y las emisiones de carbono. Es un enfoque más inteligente y ecológico que encaja perfectamente con el compromiso de Sony de crear tecnología que no sólo funcione mejor, sino que también ayude a crear un futuro más sostenible.
Wei pasó a explicar cómo Sony Semiconductor Solutions, la división de Sony especializada en tecnologías de imagen y detección, crea sensores de imagen avanzados. Estos sensores se utilizan en diversos dispositivos, convirtiendo la luz en señales electrónicas para captar imágenes. Con más de 1.200 millones de sensores enviados cada año, se encuentran en casi la mitad de los teléfonos móviles del mundo, lo que convierte a Sony en un actor importante en la industria de la imagen.
Sobre la base de esta experiencia, Sony está llevando ahora las cosas más lejos, transformando estos sensores de dispositivos de captura de imágenes en herramientas inteligentes que pueden procesar datos en tiempo real, lo que permite obtener información impulsada por la IA directamente en los dispositivos. Antes de hablar de las soluciones de hardware y software que Sony está utilizando para apoyar este cambio, vamos a entender los retos de la IA en los bordes que estas innovaciones pretenden resolver.
El desarrollo de soluciones de IA de vanguardia conlleva algunos retos clave, especialmente cuando se trabaja con dispositivos como cámaras y sensores. Muchos de estos dispositivos tienen una potencia y una capacidad de procesamiento limitadas, lo que dificulta la ejecución eficaz de modelos avanzados de IA.
Éstas son algunas de las otras limitaciones principales:
El sensor de visión inteligente IMX500 de Sony es una pieza de hardware que cambia las reglas del juego en el procesamiento de la IA en los bordes. Es el primer sensor de visión inteligente del mundo con capacidades de IA en chip. Este sensor ayuda a superar muchos retos de la IA periférica, como los cuellos de botella en el procesamiento de datos, los problemas de privacidad y las limitaciones de rendimiento.
Mientras que otros sensores se limitan a transmitir imágenes y fotogramas, el IMX500 cuenta una historia completa. Procesa los datos directamente en el sensor, lo que permite a los dispositivos generar información en tiempo real. Durante la sesión, Wei Tang dijo: "Aprovechando nuestra avanzada tecnología de sensores de imagen, pretendemos potenciar una nueva generación de aplicaciones que puedan mejorar la vida cotidiana". La IMX500 está diseñada para cumplir este objetivo, transformando la forma en que los dispositivos manejan los datos directamente en el sensor, sin necesidad de enviarlos a la nube para su procesamiento.
Estas son algunas de sus principales características:
El IMX500 no es sólo un sensor de cámara: es una potente herramienta de detección que transforma la forma en que los dispositivos perciben el mundo que les rodea e interactúan con él. Al integrar la IA directamente en el sensor, Sony está haciendo que la IA de vanguardia sea más accesible para sectores como la automoción, la sanidad y las ciudades inteligentes. En secciones posteriores, profundizaremos en cómo funciona el IMX500 con los modelos Ultralytics YOLO para mejorar la detección de objetos y el procesamiento de datos en los dispositivos periféricos.
Tras presentar el sensor IMX500, Wei Tang manifestó que, aunque el hardware es crucial, no basta por sí solo para abordar todos los retos que plantea el despliegue de la IA en los bordes. Habló de cómo la integración de la IA en dispositivos como cámaras y sensores requiere algo más que un hardware avanzado: necesita un software inteligente para gestionarla. Aquí es donde entra en juego la plataforma AITRIOS de Sony, que ofrece una solución de software fiable diseñada para que el despliegue de la IA en dispositivos periféricos sea más sencillo y eficaz.
AITRIOS actúa como puente entre los complejos modelos de IA y las limitaciones de los dispositivos de borde. Proporciona a los desarrolladores una serie de herramientas para desplegar rápidamente modelos de IA preentrenados. Pero lo más importante es que admite el reentrenamiento continuo para que los modelos de IA puedan seguir adaptándose a los cambios del mundo real.
Wei también destacó cómo AITRIOS simplifica el proceso para quienes no tienen profundos conocimientos de IA, ofreciendo flexibilidad para personalizar los modelos de IA para casos de uso específicos de IA de borde. También aborda retos comunes como las limitaciones de memoria y las caídas de rendimiento, facilitando la integración de la IA en dispositivos más pequeños sin sacrificar la precisión o la velocidad.
En la segunda parte de la charla, el micro pasó a Amir, que se adentró en el aspecto técnico de cómo Sony optimizó los modelosYOLO en el sensor IMX500.
Amir empezó diciendo: " Los modelos deYOLO tienen ventajas y son bastante fáciles de optimizar, gracias a Glenn y al equipo. Te convenceré de ello, no te preocupes". A continuación, Amir explicó que, aunque normalmente se presta mucha atención a la optimización del propio modelo de IA, este enfoque suele pasar por alto una preocupación crucial: los cuellos de botella del postprocesamiento.
Amir señaló que, en muchos casos, una vez que el modelo de IA completa su tarea, el proceso de transferencia de datos y la gestión del postprocesamiento en un dispositivo anfitrión pueden causar retrasos significativos. Esta transferencia de datos de ida y vuelta entre el dispositivo y el host introduce latencia, que puede ser un obstáculo importante para conseguir el mejor rendimiento.
Para hacer frente a esto, Amir hizo hincapié en la importancia de examinar todo el sistema de principio a fin, en lugar de centrarse únicamente en el modelo de IA. Con el sensor IMX500, descubrieron que el postprocesamiento era el principal cuello de botella que ralentizaba todo. Compartió que el verdadero avance fue desbloquear la supresión no máxima (NMS) en el chip.
Permitía que el postprocesamiento se realizara directamente en el sensor, eliminando la necesidad de transferir grandes cantidades de datos a un dispositivo host. Al ejecutar el NMS directamente en el IMX500, Sony rompió lo que Amir denominó el "techo de cristal del postprocesamiento", consiguiendo un rendimiento y una reducción de la latencia mucho mejores.
A continuación, echaremos un vistazo a cómo esta innovación ayudó a los modelos YOLO , especialmente a YOLOv8 Nano, a funcionar de forma más eficiente en dispositivos periféricos, creando nuevas oportunidades para el procesamiento de IA en tiempo real en hardware más pequeño y con recursos limitados.
Para concluir la charla con broche de oro, Amir demostró cómo habían sido capaces de cuadruplicar el rendimiento del modelo YOLOv8 Nano ejecutando NMS on edge. Lo demostró en una Raspberry Pi 5, integrada con el sensor IMX500 AI. Amir comparó el rendimiento cuando el postprocesamiento se gestionaba en un dispositivo host frente al chip IMX500.
Los resultados mostraron claramente una mejora importante en los fotogramas por segundo (FPS) y en la eficiencia general cuando el procesamiento se hacía en el chip. La optimización hizo que la detección de objetos fuera más rápida y fluida, y también demostró la viabilidad del procesamiento de IA en tiempo real en dispositivos más pequeños y con recursos limitados, como la Raspberry Pi.
El sensor IMX500 de Sony, la plataforma AITRIOS y los modelos Ultralytics YOLO están remodelando el desarrollo de la IA en los bordes. El procesamiento de la IA en el chip reduce la transferencia de datos y la latencia, al tiempo que aumenta la privacidad, la seguridad y la eficiencia. Al centrarse en todo el sistema, no sólo en el modelo de IA, estas innovaciones hacen que la IA periférica sea más accesible a los desarrolladores y a quienes carecen de profundos conocimientos de IA. A medida que siga avanzando la tecnología de IA periférica, es probable que permita dispositivos más inteligentes, una toma de decisiones más rápida y una mayor protección de la privacidad en una amplia gama de sectores y aplicaciones.
¡Mantente conectado con nuestra comunidad para seguir aprendiendo sobre IA! Echa un vistazo a nuestro repositorio de GitHub para descubrir cómo podemos utilizar la IA para crear soluciones innovadoras en diversos sectores, como la agricultura y la fabricación. 🚀
Comienza tu viaje con el futuro del aprendizaje automático
