Déployer des applications de vision par ordinateur sur des appareils d'IA périphériques

Grâce aux récentes avancées en matière de vision par ordinateur et d'intelligence artificielle (IA), ce qui n'était autrefois qu'un domaine de recherche est aujourd'hui à l'origine d'applications ayant un impact sur toute une série d'industries. Des voitures auto-conduites à l'imagerie médicale en passant par la sécurité, les systèmes de vision par ordinateur résolvent des problèmes réels à grande échelle. 

Beaucoup de ces applications impliquent l'analyse d'images et de vidéos en temps réel, et s'appuyer sur le cloud computing n'est pas toujours pratique en raison de la latence, des coûts et des problèmes de confidentialité. L 'edge AI est une excellente solution dans ces situations. En exécutant les modèles Vision AI directement sur les appareils périphériques, les entreprises peuvent traiter les données plus rapidement, à moindre coût et avec une plus grande sécurité, ce qui rend l'IA en temps réel plus accessible.

Au cours de YOLO Vision 2024 (YV24), l'événement hybride annuel organisé par Ultralytics, l'un des thèmes centraux était la démocratisation de Vision AI en rendant le déploiement plus convivial et plus efficace. Guy Dahan, Senior Solutions Architect chez NVIDIA, a expliqué comment les solutions matérielles et logicielles de NVIDIA, notamment les appareils d'edge computing, les serveurs d'inférence, les frameworks d'optimisation et les SDK de déploiement de l'IA, aident les développeurs à optimiser l'IA à la périphérie.

Dans cet article, nous explorerons les principaux enseignements de la keynote de Guy Dahan à l'YV24 et la façon dont les dernières innovations de NVIDIArendent le déploiement de Vision AI plus rapide et plus évolutif.

Qu'est-ce que l'IA périphérique ?

Guy Dahan a commencé son exposé en exprimant son enthousiasme à l'idée de rejoindre virtuellement YV24 et son intérêt pour le package Ultralytics Python et les modèles Ultraalytics YOLO , en déclarant : "J'utilise Ultralytics depuis le jour de sa sortie. J'aime vraiment Ultralytics - j'ai utilisé YOLOv5 même avant cela, et je suis un vrai passionné de ce package."

Il a ensuite présenté le concept d'Edge AI, expliquant qu'il s'agit d'exécuter des calculs d'IA directement sur des appareils tels que des caméras, des drones ou des machines industrielles, plutôt que d'envoyer des données à des serveurs cloud distants pour qu'elles soient traitées. 

Au lieu d'attendre que les images ou les vidéos soient téléchargées, analysées, puis renvoyées avec les résultats, Edge AI permet d'analyser les données instantanément sur l'appareil lui-même. Les systèmes Vision AI sont ainsi plus rapides, plus efficaces et moins dépendants de la connectivité internet. Edge AI est particulièrement utile pour les applications de prise de décision en temps réel, telles que les voitures auto-conduites, les caméras de sécurité et les usines intelligentes. 

Principaux avantages de l'intelligence artificielle

Après avoir présenté l'Edge AI, Guy Dahan a mis en avant ses principaux avantages, en se concentrant sur l'efficacité, les économies et la sécurité des données. Il a expliqué que l'un des plus grands avantages est la faible latence - puisque les modèles d'IA traitent les données directement sur l'appareil, il n'est pas nécessaire d'envoyer les informations au cloud et d'attendre une réponse. 

L'Edge AI permet également de réduire les coûts et de protéger les données sensibles. Envoyer de grandes quantités de données vers le cloud, notamment des flux vidéo, peut s'avérer coûteux. En revanche, le fait de les traiter localement permet de réduire les coûts de bande passante et de stockage. 

Un autre avantage clé est la confidentialité des données, car les informations restent sur l'appareil au lieu d'être transférées vers un serveur externe. Ceci est particulièrement important pour les applications dans les domaines de la santé, de la finance et de la sécurité, où la conservation des données locales et sécurisées est une priorité absolue.

‍

En s'appuyant sur ces avantages, Guy Dahan a commenté l'adoption croissante de l'Edge AI. Il a fait remarquer que depuis que NVIDIA a présenté Jetson en 2014, l'utilisation a été multipliée par dix. Aujourd'hui, plus de 1,2 million de développeurs travaillent avec des appareils Jetson. 

Un aperçu de NVIDIA Jetson : un appareil d'IA de pointe

Guy Dahan a ensuite mis l'accent sur les appareilsNVIDIA Jetson, une famille d'appareils informatiques de pointe pour l'IA conçus pour offrir de hautes performances avec une faible consommation d'énergie. Les appareils Jetson sont idéaux pour les applications de vision par ordinateur dans des secteurs comme la robotique, l'agriculture, la santé et l'automatisation industrielle. "Les Jetson sont des dispositifs Edge AI spécifiquement conçus sur mesure pour l'IA. Je pourrais même ajouter qu'à l'origine, ils ont été conçus principalement pour la vision par ordinateur", a ajouté Guy Dahan.

Les appareils Jetson se déclinent en trois niveaux, chacun adapté à des besoins différents :

• Entrée de gamme: Ces appareils offrent 20 à 40 trillions d'opérations par seconde (TOPS) de performance IA avec une consommation d'énergie de 10 à 15 W, ce qui en fait un choix abordable pour les applications de périphérie.
• Grand public: Équilibre les performances et l'efficacité, offrant 70 à 200 TOPS avec une consommation d'énergie de 20 à 40W, adaptée aux charges de travail d'IA de milieu de gamme.
• Haute performance: Délivre jusqu'à 275 TOPS avec une consommation d'énergie de 60 à 75 W, conçu pour les applications d'IA exigeantes comme la robotique et l'automatisation.

De plus, Guy Dahan a partagé sur la prochaine Jetson AGX Thor, lancée cette année, et a déclaré qu'elle offrira huit fois les performances du GPU (Graphics Processing Unit), deux fois la capacité de la mémoire et des performances améliorées du CPU (Central Processing Unit). Il est spécialement conçu pour la robotique humanoïde et les applications avancées d'Edge AI.

Défis liés au déploiement des modèles de vision par ordinateur

Guy Dahan a ensuite pivoté pour discuter de l'aspect logiciel de l'Edge AI et a expliqué que même avec un matériel puissant, déployer des modèles de manière efficace peut s'avérer difficile. 

L'un des plus grands obstacles est la compatibilité, car les développeurs d'IA travaillent souvent avec différents frameworks d'IA comme PyTorch et TensorFlow. Passer d'un framework à l'autre peut s'avérer difficile, obligeant les développeurs à recréer des environnements pour s'assurer que tout fonctionne correctement.

L'évolutivité est un autre défi majeur. Les modèles d'IA nécessitent une puissance de calcul importante et, comme le dit Dahan, "il n'y a jamais eu d'entreprise d'IA qui veuille moins de calcul." L'expansion des applications d'IA sur plusieurs appareils peut rapidement devenir coûteuse, ce qui rend l'optimisation essentielle.

De plus, les pipelines d'IA sont complexes et impliquent souvent différents types de données, un traitement en temps réel et l'intégration de systèmes. Les développeurs déploient beaucoup d'efforts pour s'assurer que leurs modèles interagissent de manière transparente avec les écosystèmes logiciels existants. Surmonter ces défis est un élément crucial pour rendre les déploiements d'IA plus efficaces et évolutifs.

‍

Simplifier le déploiement avec le serveur d'inférence Triton de NVIDIA

Ensuite, Guy Dahan a porté son attention sur le serveur d'inférenceTriton de NVIDIA. Il a souligné que de nombreuses entreprises et startups commencent le développement de l'IA sans optimiser complètement leurs modèles. La refonte de tout un pipeline d'IA à partir de zéro peut être perturbante et chronophage, ce qui rend difficile une mise à l'échelle efficace. 

Au lieu de nécessiter une refonte complète du système, Triton permet aux développeurs d'affiner et d'optimiser progressivement leurs flux de travail d'IA, en intégrant des composants plus efficaces sans casser leur configuration existante. Grâce à la prise en charge de plusieurs frameworks d'IA, notamment TensorFlow, PyTorch, ONNX et TensorRT, Triton permet un déploiement transparent dans les environnements cloud, les centres de données et les appareils de périphérie avec un minimum d'ajustements.

‍

Voici quelques-uns des principaux avantages du serveur d'inférence Triton de NVIDIA:

• Mise en lots automatique: Triton regroupe plusieurs demandes d'IA avant de les traiter, ce qui permet de réduire les délais (latence) et d'améliorer la vitesse d'inférence (le temps qu'il faut à un modèle d'IA pour générer des résultats).
• Intégration de Kubernetes: Triton est cloud-native, ce qui signifie qu'il fonctionne de manière transparente avec Kubernetes (un système qui aide à gérer et à mettre à l'échelle les applications d'IA sur plusieurs ordinateurs ou serveurs cloud).
• Open-source et personnalisable: Les développeurs peuvent modifier Triton pour l'adapter à leurs besoins spécifiques, ce qui garantit une certaine flexibilité pour un large éventail d'applications d'IA.

Maximiser les performances de l'IA avec NVIDIA TensorRT

Disons que tu cherches à obtenir encore plus d'accélération ; NVIDIA TensorRT est une option intéressante pour optimiser tes modèles d'intelligence artificielle. Guy Dahan a précisé que TensorRT est un optimiseur d'apprentissage profond haute performance conçu pour les GPU NVIDIA . Les modèles issus de TensorFlow, PyTorch, ONNX et MXNet peuvent être convertis en fichiers GPU très efficaces à l'aide de TensorRT.

Ce qui rend TensorRT si fiable, ce sont ses optimisations spécifiques au matériel. Un modèle optimisé pour les appareils Jetson ne sera pas aussi efficace sur d'autres GPU car TensorRT affine les performances en fonction du matériel cible. Un modèle de vision par ordinateur finement ajusté peut entraîner une augmentation de la vitesse d'inférence jusqu'à 36 fois par rapport aux modèles non optimisés.

Guy Dahan a également attiré l'attention sur la prise en charge de TensorRT par Ultralytics, en expliquant comment elle rend le déploiement des modèles d'IA plus rapide et plus efficace. Les modèlesYOLO Ultralytics peuvent être directement exportés au format TensorRT , ce qui permet aux développeurs de les optimiser pour les GPU NVIDIA sans avoir à apporter de modifications. 

DeepStream 7.0 : une boîte à outils pour l'analyse en continu

Pour conclure la conférence en beauté, Guy Dahan a présenté DeepStream 7.0 - un framework d'IA conçu pour le traitement en temps réel des données vidéo, audio et des capteurs à l'aide des GPU NVIDIA . Construit pour prendre en charge les applications de vision par ordinateur à grande vitesse, il permet la détection, le suivi et l'analyse d'objets dans les systèmes autonomes, la sécurité, l'automatisation industrielle et les villes intelligentes. En exécutant l'IA directement sur les appareils périphériques, DeepStream élimine la dépendance au cloud, ce qui réduit la latence et améliore l'efficacité.

‍

Plus précisément, DeepStream peut prendre en charge le traitement vidéo alimenté par l'IA du début à la fin. Il prend en charge les flux de travail de bout en bout, du décodage vidéo et du prétraitement à l'inférence de l'IA et au post-traitement. 

Récemment, DeepStream a introduit plusieurs mises à jour pour améliorer le déploiement de l'IA, en la rendant plus accessible et plus évolutive. De nouveaux outils simplifient le développement, améliorent le suivi de plusieurs caméras et optimisent les pipelines d'IA pour de meilleures performances. 

Les développeurs disposent désormais d'une prise en charge élargie des environnements Windows, de capacités de fusion de capteurs améliorées pour l'intégration de données provenant de sources multiples, et d'un accès à des applications de référence préconstruites pour accélérer le déploiement. Ces améliorations font de DeepStream une solution plus flexible et plus efficace pour les applications d'IA en temps réel, aidant les développeurs à mettre à l'échelle l'analyse vidéo intelligente en toute simplicité.

Principaux enseignements

Comme l'illustre la keynote de Guy Dahan à YV24, l'Edge AI est en train de redéfinir les applications de vision par ordinateur. Grâce aux progrès du matériel et des logiciels, le traitement en temps réel devient plus rapide, plus efficace et plus rentable.

Alors que de plus en plus d'industries adoptent l'Edge AI, relever des défis tels que la fragmentation et la complexité du déploiement sera essentiel pour libérer tout son potentiel. L'adoption de ces innovations conduira à des applications d'IA plus intelligentes et plus réactives, façonnant ainsi l'avenir de la vision par ordinateur.

Fais partie de notre communauté grandissante! Explore notre dépôt GitHub pour en savoir plus sur l'IA, et consulte nos options de licence pour donner le coup d'envoi à tes projets Vision AI. Curieux de découvrir des innovations telles que l 'IA dans les soins de santé et la vision par ordinateur dans la fabrication? Visite nos pages de solutions pour en savoir plus !