Déployer Ultralytics YOLO11 sur Rockchip pour une IA de pointe efficace

Un mot à la mode depuis peu dans la communauté de l'IA est l'IA périphérique, en particulier lorsqu'il s'agit de vision par ordinateur. À mesure que les applications basées sur l'IA se développent, il est de plus en plus nécessaire d'exécuter efficacement les modèles sur des appareils embarqués dont la puissance et les ressources informatiques sont limitées. 

Par exemple, les drones utilisent Vision AI pour la navigation en temps réel, les caméras intelligentes détectent les objets instantanément et les systèmes d'automatisation industrielle effectuent un contrôle de qualité sans dépendre du cloud computing. Ces applications nécessitent un traitement rapide et efficace de l'IA directement sur les appareils périphériques pour garantir des performances en temps réel et une faible latence. Cependant, il n'est pas toujours facile d'exécuter des modèles d'IA sur des appareils périphériques. Les modèles d'IA nécessitent souvent plus de puissance et de mémoire que ce que de nombreux appareils périphériques peuvent gérer.

La boîte à outils RKNN de Rockchip aide à résoudre ce problème en optimisant les modèles d'apprentissage profond pour les appareils alimentés par Rockchip. Il utilise des unités de traitement neuronal (NPU) dédiées pour accélérer l'inférence, en réduisant la latence et la consommation d'énergie par rapport au traitement par CPU ou GPU . 

La communauté Vision AI était impatiente de lancer Ultralytics YOLO11 sur les appareils basés sur Rockchip, et nous vous avons entendus. Nous avons ajouté la prise en charge de l 'exportation de YOLO11 au format de modèle RKNN. Dans cet article, nous allons explorer comment fonctionne l'exportation vers RKNN et pourquoi le déploiement de YOLO11 sur les appareils alimentés par Rockchip change la donne.

Qu'est-ce que Rockchip et la boîte à outils RKNN ?

Rockchip est une entreprise qui conçoit des systèmes sur puce (SoC) - des processeurs minuscules mais puissants qui font fonctionner de nombreux appareils embarqués. Ces puces combinent un CPU, un GPU et une unité de traitement neuronal (NPU) pour tout gérer, des tâches informatiques générales aux applications Vision AI qui reposent sur la détection d'objets et le traitement d'images.

Les SoC de Rockchip sont utilisés dans une grande variété d'appareils, notamment les ordinateurs monocartes (SBC), les cartes de développement, les systèmes d'intelligence artificielle industriels et les caméras intelligentes. De nombreux fabricants de matériel bien connus, Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas et Banana Pi, construisent des appareils alimentés par les SoC de Rockchip. Ces cartes sont populaires pour les applications d'intelligence artificielle et de vision par ordinateur, car elles offrent un équilibre entre les performances, l'efficacité énergétique et le prix.

‍

Pour aider les modèles d'IA à fonctionner efficacement sur ces appareils, Rockchip propose la boîte à outils RKNN (Rockchip Neural Network). Il permet aux développeurs de convertir et d'optimiser les modèles d'apprentissage profond pour utiliser les unités de traitement neuronal (NPU) de Rockchip. 

Les modèles RKNN sont optimisés pour une inférence à faible latence et une utilisation efficace de l'énergie. En convertissant les modèles en RKNN, les développeurs peuvent obtenir des vitesses de traitement plus rapides, une consommation d'énergie réduite et une efficacité améliorée sur les appareils alimentés par Rockchip.

Les modèles RKNN sont optimisés

Voyons de plus près comment les modèles RKNN améliorent les performances de l'IA sur les appareils équipés d'une puce Rockchip. 

Contrairement aux CPU et aux GPU, qui gèrent un large éventail de tâches informatiques, les NPU de Rockchip sont conçues spécifiquement pour l'apprentissage profond. En convertissant les modèles d'IA au format RKNN, les développeurs peuvent exécuter des inférences directement sur le NPU. Cela rend les modèles RKNN particulièrement utiles pour les tâches de vision par ordinateur en temps réel, où un traitement rapide et efficace est essentiel.

Les NPU sont plus rapides et plus efficaces que les CPU et les GPU pour les tâches d'IA car elles sont construites pour traiter les calculs des réseaux neuronaux en parallèle. Alors que les CPU traitent les tâches une étape à la fois et que les GPU répartissent les charges de travail sur plusieurs cœurs, les NPU sont optimisées pour effectuer plus efficacement les calculs spécifiques à l'IA. 

Par conséquent, les modèles RKNN s'exécutent plus rapidement et consomment moins d'énergie, ce qui les rend idéaux pour les appareils alimentés par batterie, les caméras intelligentes, l'automatisation industrielle et d'autres applications d'IA périphérique qui nécessitent une prise de décision en temps réel.

Aperçu des modèles Ultralytics YOLO

Les modèlesYOLO (You Only Look Once) d 'Ultralytics sont conçus pour les tâches de vision artificielle en temps réel telles que la détection d'objets, la segmentation d'instances et la classification d'images. Ils sont connus pour leur rapidité, leur précision et leur efficacité, et sont largement utilisés dans des secteurs tels que l'agriculture, la fabrication, les soins de santé et les systèmes autonomes. 

Ces modèles se sont considérablement améliorés au fil du temps. Par exemple, Ultralytics YOLOv5 a facilité l'utilisation de la détection d'objets avec PyTorch. Puis, Ultralytics YOLOv8 a ajouté de nouvelles fonctionnalités telles que l'estimation de la pose et la classification des images. Aujourd'hui, YOLO11 va plus loin en augmentant la précision tout en utilisant moins de ressources. En fait, YOLO11m obtient de meilleurs résultats sur l'ensemble de données COCO tout en utilisant 22 % de paramètres en moins que YOLOv8m, ce qui le rend à la fois plus précis et plus efficace.

‍

Les modèlesYOLO d'Ultralytics prennent également en charge l'exportation vers plusieurs formats, ce qui permet un déploiement flexible sur différentes plateformes. Ces formats comprennent ONNX, TensorRT, CoreML et OpenVINO, ce qui donne aux développeurs la liberté d'optimiser les performances en fonction de leur matériel cible.

Avec la prise en charge supplémentaire de l'exportation de YOLO11 au format de modèle RKNN, YOLO11 peut désormais tirer parti des NPU de Rockchip. Le plus petit modèle, YOLO11n au format RKNN, atteint un temps d'inférence impressionnant de 99,5 ms par image, ce qui permet un traitement en temps réel même sur les appareils embarqués.

Exporter ton modèle YOLO11 au format RKNN

Actuellement, les modèles de détection d'objets de YOLO11 peuvent être exportés au format RKNN. De plus, reste à l'écoute - nous travaillons à l'ajout de la prise en charge des autres tâches de vision par ordinateur et de la quantification INT8 dans les prochaines mises à jour. 

L'exportation de YOLO11 au format RKNN est un processus simple. Tu peux charger ton modèle YOLO11 formé sur mesure, spécifier la plateforme Rockchip cible et le convertir au format RKNN en quelques lignes de code. Le format RKNN est compatible avec différents SoC Rockchip, notamment RK3588, RK3566 et RK3576, ce qui garantit une large prise en charge matérielle.

‍

Déployer YOLO11 sur des appareils basés sur Rockchip

Une fois exporté, le modèle RKNN peut être déployé sur les appareils basés sur la puce Rockchip. Pour déployer le modèle, il te suffit de charger le fichier RKNN exporté sur ton appareil Rockchip et de lancer l'inférence - le processus qui consiste à utiliser le modèle d'IA entraîné pour analyser de nouvelles images ou vidéos et détecter des objets en temps réel. Avec seulement quelques lignes de code, tu peux commencer à identifier des objets à partir d'images ou de flux vidéo.

‍

Applications d'intelligence artificielle de YOLO11 et de Rockchip

Pour avoir une meilleure idée de l'endroit où YOLO11 peut être déployé sur les appareils équipés de Rockchip dans le monde réel, parcourons quelques applications clés de l'IA de pointe.

Les processeurs Rockchip sont largement utilisés dans les tablettes Android, les cartes de développement et les systèmes d'IA industriels. Grâce à la prise en charge d'Android, de Linux et de Python, tu peux facilement créer et déployer des solutions basées sur l'IA de Vision pour une variété d'industries.

Tablettes robustes intégrées à YOLO11

Les tablettes robustes constituent une application courante qui implique l'exécution de YOLO11 sur des appareils alimentés par Rockchip. Il s'agit de tablettes durables et performantes conçues pour les environnements difficiles tels que les entrepôts, les chantiers de construction et les milieux industriels. Ces tablettes peuvent exploiter la détection d'objets pour améliorer l'efficacité et la sécurité.

Par exemple, dans la logistique des entrepôts, les travailleurs peuvent utiliser une tablette alimentée par Rockchip avec YOLO11 pour scanner et détecter automatiquement les stocks, ce qui réduit l'erreur humaine et accélère les temps de traitement. De même, sur les chantiers de construction, ces tablettes peuvent être utilisées pour détecter si les travailleurs portent l'équipement de sécurité requis, comme les casques et les gilets, ce qui aide les entreprises à faire respecter les réglementations et à prévenir les accidents.

‍

L'IA industrielle pour le contrôle de la qualité 

En ce qui concerne la fabrication et l'automatisation, les cartes industrielles alimentées par Rockchip peuvent jouer un rôle important dans le contrôle de la qualité et la surveillance des processus. Une carte industrielle est un module informatique compact et performant conçu pour les systèmes embarqués en milieu industriel. Ces cartes comprennent généralement des processeurs, de la mémoire, des interfaces E/S et des options de connectivité qui peuvent s'intégrer à des capteurs, des caméras et des machines automatisées.

L'exécution des modèles YOLO11 sur ces cartes permet d'analyser les lignes de production en temps réel, de repérer les problèmes instantanément et d'améliorer l'efficacité. Par exemple, dans la fabrication de voitures, un système d'IA utilisant le matériel Rockchip et YOLO11 peut détecter les rayures, les pièces mal alignées ou les défauts de peinture au fur et à mesure que les voitures avancent sur la chaîne de montage. En identifiant ces défauts en temps réel, les fabricants peuvent réduire le gaspillage, diminuer les coûts de production et garantir des normes de qualité plus élevées avant que les véhicules n'atteignent les clients.

Avantages de l'exécution de YOLO11 sur les appareils basés sur la puce Rockchip

Les appareils basés sur Rockchip offrent un bon équilibre entre les performances, le coût et l'efficacité, ce qui en fait un excellent choix pour déployer YOLO11 dans les applications d'IA en périphérie.

Voici quelques avantages de l'exécution de YOLO11 sur les appareils basés sur la puce Rockchip :

• Améliorée Performances de l'IA: Les appareils équipés de Rockchip traitent l'inférence de l'IA plus efficacement que les cartes CPU comme Raspberry Pi, offrant une détection d'objets plus rapide et une latence plus faible.
  ‍
• Solution rentable : Si tu expérimentes l'IA et que tu as besoin d'une option économique qui offre tout de même des performances puissantes, Rockchip est une excellente option. Elle offre un moyen abordable d'exécuter YOLO11 sans faire de compromis sur la vitesse ou l'efficacité.
  ‍
• Efficacité énergétique: L'exécution de modèles de vision par ordinateur sur des appareils alimentés par Rockchip consomme moins d'énergie que les GPU, ce qui en fait la solution idéale pour les appareils fonctionnant sur batterie et les applications d'IA embarquées.

Principaux enseignements

Ultralytics YOLO11 peut fonctionner efficacement sur les appareils basés sur Rockchip en tirant parti de l'accélération matérielle et du format RKNN. Cela permet de réduire le temps d'inférence et d'améliorer les performances, ce qui le rend idéal pour les tâches de vision par ordinateur en temps réel et les applications d'IA de pointe.

La boîte à outils RKNN fournit des outils d'optimisation clés tels que la quantification et le réglage fin, garantissant que les modèles YOLO11 fonctionnent bien sur les plateformes Rockchip. L'optimisation des modèles pour un traitement efficace sur l'appareil sera essentielle à mesure que l'adoption de l'edge AI augmentera. Avec les bons outils et le bon matériel, les développeurs peuvent débloquer de nouvelles possibilités pour les solutions de vision par ordinateur dans divers secteurs. 

Rejoins notre communauté et explore notre dépôt GitHub pour en savoir plus sur l'IA. Vois comment la vision par ordinateur dans l'agriculture et l' IA dans les soins de santé stimulent l'innovation en visitant nos pages de solutions. De plus, consulte nos options de licence pour commencer à construire tes solutions d'IA de vision dès aujourd'hui !