Rejoins-nous pour récapituler les avancées de Sony en matière de traitement AI de pointe avec le capteur IMX500 et la plateforme AITRIOS, afin d'optimiser les modèles Ultralytics YOLO .
L'Edge AI permet aux modèles d'intelligence artificielle (IA) de fonctionner directement sur des appareils tels que les smartphones, les caméras et les drones. Son principal avantage est qu'elle prend en charge une prise de décision plus rapide et en temps réel sans s'appuyer sur le cloud. En fait, des études montrent que l'utilisation de l'IA sur des plateformes edge peut augmenter l'efficacité opérationnelle de 40 %.
Les récentes avancées en matière d'IA de pointe, en particulier dans le domaine de la vision par ordinateur, en ont fait un sujet central lors de YOLO Vision 2024 (YV24), Ultralytics'événement hybride annuel qui réunit des passionnés et des experts de l'IA pour explorer les dernières nouveautés en matière d'IA de vision. L'un des temps forts de l'événement a été la présentation de Sony, qui a exposé ses nouvelles solutions matérielles et logicielles de pointe en matière d'IA. Le capteur IMX500 et la plateforme AITRIOS ont été présentés, et Sony a montré comment ces innovations facilitent et rendent plus efficace le déploiement des modèlesUltralytics YOLO tels que Ultralytics YOLO11 et Ultralytics YOLOv8 à la pointe de la technologie.
La session a été animée par Wei Tang, un responsable du développement commercial qui se concentre sur les solutions d'imagerie de Sony, et Amir Servi, un chef de produit Edge Deep Learning qui possède une expertise dans le déploiement de modèles d'apprentissage profond sur les appareils périphériques.
Dans cet article, nous allons revenir sur l'intervention de Sony à YV24 et explorer comment le capteur IMX500 et la plateforme AITRIOS optimisent l'utilisation des modèles YOLO pour un traitement de l'IA de pointe plus rapide et en temps réel. C'est parti !
Wei Tang a ouvert la session en parlant de l'objectif de Sony de rendre l'edge AI aussi accessible qu'ils l'ont fait avec la photographie il y a des années. Elle a insisté sur le fait que Sony s'attache désormais à mettre l'IA Vision avancée à la portée d'un plus grand nombre de personnes grâce à l'edge computing. L'un des facteurs déterminants est l'impact positif que l'edge AI peut avoir sur l'environnement. En traitant les données directement sur les appareils au lieu de s'appuyer sur des centres de données massifs, l'edge computing permet de réduire la consommation d'énergie et les émissions de carbone. Il s'agit d'une approche plus intelligente et plus écologique qui s'inscrit parfaitement dans l'engagement de Sony à construire une technologie qui non seulement fonctionne mieux, mais qui contribue également à créer un avenir plus durable.
Wei a ensuite expliqué comment Sony Semiconductor Solutions, la division de Sony spécialisée dans les technologies d'imagerie et de détection, crée des capteurs d'image avancés. Ces capteurs sont utilisés dans une variété d'appareils, convertissant la lumière en signaux électroniques pour capturer des images. Avec plus de 1,2 milliard de capteurs expédiés chaque année, on en trouve dans près de la moitié des téléphones portables du monde, ce qui fait de Sony un acteur majeur de l'industrie de l'imagerie.
S'appuyant sur cette expertise, Sony va maintenant plus loin en transformant ces capteurs, qui ne sont plus des dispositifs de capture d'images, mais des outils intelligents capables de traiter les données en temps réel, ce qui permet d'obtenir des informations alimentées par l'IA directement sur les appareils. Avant d'aborder les solutions matérielles et logicielles que Sony utilise pour soutenir ce changement, comprenons les défis en matière d'IA de pointe que ces innovations visent à résoudre.
Le développement de solutions d' IA de pointe s'accompagne de quelques défis clés, en particulier lorsqu'on travaille avec des appareils tels que des caméras et des capteurs. Beaucoup de ces appareils ont une puissance et une capacité de traitement limitées, ce qui rend délicate l'exécution efficace de modèles d'IA avancés.
Voici quelques-unes des autres limitations principales :
Le capteur de vision intelligent IMX500 de Sony est une pièce de matériel qui change la donne en matière de traitement de l'IA de pointe. Il s'agit du premier capteur de vision intelligent au monde doté de capacités d'IA sur puce. Ce capteur permet de surmonter de nombreux défis en matière d'edge AI, notamment les goulots d'étranglement du traitement des données, les problèmes de confidentialité et les limites de performance.
Alors que d'autres capteurs se contentent de transmettre des images et des trames, l'IMX500 raconte toute une histoire. Il traite les données directement sur le capteur, ce qui permet aux appareils de générer des idées en temps réel. Au cours de la session, Wei Tang a déclaré : "En tirant parti de notre technologie avancée de capteurs d'images, nous visons à donner du pouvoir à une nouvelle génération d'applications susceptibles d'améliorer la vie quotidienne." L'IMX500 est conçu pour atteindre cet objectif, en transformant la façon dont les appareils traitent les données directement sur le capteur, sans avoir besoin de les envoyer dans le nuage pour les traiter.
Voici quelques-unes de ses principales caractéristiques :
L'IMX500 n'est pas un simple capteur d'appareil photo - c'est un puissant outil de détection qui transforme la façon dont les appareils perçoivent et interagissent avec le monde qui les entoure. En intégrant l'IA directement dans le capteur, Sony rend l'IA de pointe plus accessible à des secteurs comme l'automobile, la santé et les villes intelligentes. Dans les sections suivantes, nous verrons plus en détail comment l'IMX500 fonctionne avec les modèles Ultralytics YOLO pour améliorer la détection des objets et le traitement des données sur les appareils périphériques.
Après avoir présenté le capteur IMX500, Wei Tang a exprimé que si le matériel est crucial, il ne suffit pas à lui seul à relever toute l'étendue des défis liés au déploiement de l'IA en périphérie. Elle a expliqué que l'intégration de l'IA sur des appareils tels que les caméras et les capteurs nécessite plus qu'un simple matériel avancé : il faut un logiciel intelligent pour le gérer. C'est là qu'intervient la plateforme AITRIOS de Sony, qui offre une solution logicielle fiable conçue pour rendre le déploiement de l' IA sur les appareils périphériques plus simple et plus efficace.
AITRIOS fait office de pont entre les modèles d'IA complexes et les limites des appareils périphériques. Il fournit aux développeurs une gamme d'outils pour déployer rapidement des modèles d'IA pré-entraînés. Mais surtout, il prend en charge le réentraînement continu afin que les modèles d'IA puissent rester adaptables aux changements du monde réel.
Wei a également souligné comment AITRIOS simplifie le processus pour ceux qui ne disposent pas d'une expertise approfondie en matière d'IA, en offrant la flexibilité nécessaire pour personnaliser les modèles d'IA pour des cas d'utilisation spécifiques de l'edge AI. Il s'attaque également à des défis courants tels que les contraintes de mémoire et les baisses de performance, ce qui facilite l'intégration de l' IA dans des appareils plus petits sans sacrifier la précision ou la vitesse.
Dans la deuxième partie de la conférence, le micro a été passé à Amir, qui s'est plongé dans l'aspect technique de l'optimisation des modèlesYOLO par Sony sur le capteur IMX500.
Amir a commencé par dire : " Les modèlesYOLO permettent d'exploiter les bords et sont assez faciles à optimiser, grâce à Glenn et à l'équipe. Je vais te convaincre de cela, ne t'inquiète pas. " Amir a ensuite expliqué que si l'on se concentre généralement sur l'optimisation du modèle d'IA lui-même, cette approche néglige souvent une préoccupation cruciale : les goulots d'étranglement du post-traitement.
Amir a souligné que dans de nombreux cas, une fois que le modèle d'IA a terminé sa tâche, le processus de transfert des données et la gestion du post-traitement sur un appareil hôte peuvent entraîner des retards importants. Ce transfert de données en va-et-vient entre l'appareil et l'hôte introduit un temps de latence, qui peut constituer un obstacle majeur à l'obtention des meilleures performances.
Pour y remédier, Amir a souligné l'importance d'examiner le système de bout en bout, plutôt que de se concentrer uniquement sur le modèle d'IA. Avec le capteur IMX500, ils ont découvert que le post-traitement était le principal goulot d'étranglement qui ralentissait tout. Il a partagé que la véritable percée a été de débloquer la suppression non maximale (NMS) sur la puce.
Il a permis au post-traitement de se produire directement sur le capteur, éliminant ainsi le besoin de transférer de grandes quantités de données vers un appareil hôte. En exécutant le NMS directement sur l'IMX500, Sony a brisé ce qu'Amir appelle le "plafond de verre du post-traitement", obtenant de bien meilleures performances et une réduction de la latence.
Ensuite, nous verrons comment cette innovation a aidé les modèles YOLO , en particulier le modèle YOLOv8 Nano, de fonctionner plus efficacement sur les appareils périphériques, créant ainsi de nouvelles opportunités pour le traitement de l'IA en temps réel sur du matériel plus petit et aux ressources limitées.
Pour conclure l'exposé sur une note positive, Amir a montré comment ils ont pu quadrupler les performances du modèle YOLOv8 Nano en exécutant NMS on edge. Il a montré cela sur un Raspberry Pi 5, qui était intégré au capteur IMX500 AI. Amir a comparé les performances lorsque le post-traitement était effectué sur un appareil hôte ou sur la puce IMX500.
Les résultats ont clairement montré une amélioration majeure du nombre d'images par seconde (FPS) et de l'efficacité globale lorsque le traitement était effectué sur la puce. L'optimisation a rendu la détection des objets plus rapide et plus fluide et a également démontré le caractère pratique du traitement de l'IA en temps réel sur des appareils plus petits et aux ressources limitées comme le Raspberry Pi.
Le capteur IMX500 de Sony, la plateforme AITRIOS et les modèles Ultralytics YOLO redéfinissent le développement de l'IA en périphérie. Le traitement de l'IA sur puce réduit le transfert de données et la latence tout en stimulant la confidentialité, la sécurité et l'efficacité. En se concentrant sur l'ensemble du système, et pas seulement sur le modèle d'IA, ces innovations rendent l'edge AI plus accessible aux développeurs et à ceux qui ne disposent pas d'une expertise approfondie en matière d'IA. À mesure que la technologie de l'edge AI continue de progresser, elle permettra probablement d'utiliser des appareils plus intelligents, de prendre des décisions plus rapides et de renforcer la protection de la vie privée dans un large éventail d'industries et d'applications.
Reste connecté avec notre communauté pour continuer à apprendre sur l'IA ! Consulte notre dépôt GitHub pour découvrir comment nous pouvons utiliser l'IA pour créer des solutions innovantes dans divers secteurs comme l'agriculture et la fabrication. 🚀
Commence ton voyage avec le futur de l'apprentissage automatique.
