Implementazione di Ultralytics YOLO11 su Rockchip per un'IA edge efficiente

Una recente parola d'ordine nella comunità dell'AI è edge AI, soprattutto quando si parla di computer vision. Con la crescita delle applicazioni basate sull'IA, cresce l'esigenza di eseguire i modelli in modo efficiente su dispositivi embedded con potenza e risorse di calcolo limitate. 

Ad esempio, i droni utilizzano la Vision AI per la navigazione in tempo reale, le telecamere intelligenti rilevano gli oggetti all'istante e i sistemi di automazione industriale eseguono il controllo qualità senza affidarsi al cloud computing. Queste applicazioni richiedono un'elaborazione dell'intelligenza artificiale rapida ed efficiente direttamente sui dispositivi edge per garantire prestazioni in tempo reale e bassa latenza. Tuttavia, l'esecuzione di modelli di intelligenza artificiale sui dispositivi edge non è sempre facile. I modelli di intelligenza artificiale spesso richiedono una potenza e una memoria superiori a quelle che molti dispositivi edge sono in grado di gestire.

RKNN Toolkit di Rockchip aiuta a risolvere questo problema ottimizzando i modelli di deep learning per i dispositivi alimentati da Rockchip. Utilizza unità di elaborazione neurale (NPU) dedicate per accelerare l'inferenza, riducendo la latenza e il consumo energetico rispetto all'elaborazione CPU o GPU . 

La comunità di Vision AI è stata ansiosa di eseguire Ultralytics YOLO11 su dispositivi basati su Rockchip e noi l'abbiamo ascoltata. Abbiamo aggiunto il supporto per l'esportazione di YOLO11 in formato modello RKNN. In questo articolo scopriremo come funziona l'esportazione in RKNN e perché l'implementazione di YOLO11 su dispositivi Rockchip è un vero e proprio cambiamento.

Che cosa sono Rockchip e il Toolkit RKNN?

Rockchip è un'azienda che progetta system-on-chip (SoC), processori minuscoli ma potenti che gestiscono molti dispositivi embedded. Questi chip combinano una CPU, una GPU e un'unità di elaborazione neurale (NPU) per gestire qualsiasi cosa, dalle attività di calcolo generali alle applicazioni Vision AI che si basano sul rilevamento di oggetti e sull'elaborazione di immagini.

I SoC Rockchip sono utilizzati in una varietà di dispositivi, tra cui computer a scheda singola (SBC), schede di sviluppo, sistemi di intelligenza artificiale industriali e telecamere intelligenti. Molti noti produttori di hardware, come Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas e Banana Pi, costruiscono dispositivi alimentati da SoC Rockchip. Queste schede sono popolari per le applicazioni di intelligenza artificiale e di computer vision perché offrono un equilibrio tra prestazioni, efficienza energetica e convenienza.

‍

Per aiutare i modelli di intelligenza artificiale a funzionare in modo efficiente su questi dispositivi, Rockchip offre il Toolkit RKNN (Rockchip Neural Network). Consente agli sviluppatori di convertire e ottimizzare i modelli di deep learning per utilizzare le unità di elaborazione neurale (NPU) di Rockchip. 

I modelli RKNN sono ottimizzati per un'inferenza a bassa latenza e per un uso efficiente dell'energia. Convertendo i modelli in RKNN, gli sviluppatori possono ottenere una maggiore velocità di elaborazione, un consumo energetico ridotto e una migliore efficienza sui dispositivi alimentati da Rockchip.

I modelli RKNN sono ottimizzati

Diamo un'occhiata più da vicino a come i modelli RKNN migliorano le prestazioni dell'intelligenza artificiale sui dispositivi Rockchip. 

A differenza delle CPU e delle GPU, che gestiscono un'ampia gamma di attività di calcolo, le NPU di Rockchip sono progettate specificamente per il deep learning. Convertendo i modelli di AI in formato RKNN, gli sviluppatori possono eseguire inferenze direttamente sulla NPU. Questo rende i modelli RKNN particolarmente utili per le attività di computer vision in tempo reale, dove è essenziale un'elaborazione rapida ed efficiente.

Le NPU sono più veloci e più efficienti delle CPU e delle GPU per le attività di AI perché sono costruite per gestire i calcoli delle reti neurali in parallelo. Mentre le CPU elaborano le attività un passo alla volta e le GPU distribuiscono i carichi di lavoro su più core, le NPU sono ottimizzate per eseguire calcoli specifici per l'IA in modo più efficiente. 

Di conseguenza, i modelli RKNN funzionano più velocemente e consumano meno energia, rendendoli ideali per i dispositivi alimentati a batteria, le telecamere intelligenti, l'automazione industriale e altre applicazioni di intelligenza artificiale che richiedono un processo decisionale in tempo reale.

Panoramica dei modelli Ultralytics YOLO

I modelliYOLO (You Only Look Once)Ultralytics sono progettati per attività di computer vision in tempo reale come il rilevamento di oggetti, la segmentazione di istanze e la classificazione di immagini. Sono noti per la loro velocità, precisione ed efficienza e sono ampiamente utilizzati in settori come l'agricoltura, la produzione, la sanità e i sistemi autonomi. 

Questi modelli sono migliorati notevolmente nel tempo. Ad esempio, Ultralytics YOLOv5 ha reso il rilevamento degli oggetti più facile da usare con PyTorch. Poi, Ultralytics YOLOv8 ha aggiunto nuove funzionalità come la stima della posa e la classificazione delle immagini. Ora YOLO11 si spinge oltre, aumentando l'accuratezza e utilizzando meno risorse. Infatti, YOLO11m ha ottenuto risultati migliori sul set di dati COCO utilizzando il 22% di parametri in meno rispetto a YOLOv8m, il che lo rende più preciso ed efficiente.

‍

I modelli Ultralytics YOLO supportano anche l 'esportazione in più formati, consentendo una distribuzione flessibile su diverse piattaforme. Questi formati includono ONNX, TensorRT, CoreML e OpenVINO, dando agli sviluppatori la libertà di ottimizzare le prestazioni in base all'hardware di destinazione.

Con l'aggiunta del supporto per l'esportazione di YOLO11 in formato modello RKNN, YOLO11 può ora sfruttare le NPU di Rockchip. Il modello più piccolo, YOLO11n in formato RKNN, raggiunge un tempo di inferenza impressionante di 99,5 ms per immagine, consentendo l'elaborazione in tempo reale anche su dispositivi embedded.

Esportare il modello YOLO11 in formato RKNN

Attualmente, i modelli di rilevamento degli oggetti YOLO11 possono essere esportati nel formato RKNN. Inoltre, resta sintonizzato: stiamo lavorando per aggiungere il supporto alle altre attività di computer vision e alla quantizzazione INT8 nei prossimi aggiornamenti. 

Esportare YOLO11 in formato RKNN è un processo semplice. Puoi caricare il tuo modello YOLO11 addestrato su misura, specificare la piattaforma Rockchip di destinazione e convertirlo in formato RKNN con poche righe di codice. Il formato RKNN è compatibile con diversi SoC Rockchip, tra cui RK3588, RK3566 e RK3576, garantendo un ampio supporto hardware.

‍

Implementazione di YOLO11 su dispositivi basati su Rockchip

Una volta esportato, il modello RKNN può essere distribuito sui dispositivi Rockchip. Per distribuire il modello, devi semplicemente caricare il file RKNN esportato sul tuo dispositivo Rockchip ed eseguire l'inferenza, ovvero il processo di utilizzo del modello AI addestrato per analizzare nuove immagini o video e rilevare oggetti in tempo reale. Con poche righe di codice, puoi iniziare a identificare oggetti da immagini o flussi video.

‍

Applicazioni Edge AI di YOLO11 e Rockchip

Per avere un'idea più precisa di come YOLO11 possa essere utilizzato su dispositivi Rockchip nel mondo reale, vediamo alcune applicazioni chiave di intelligenza artificiale.

I processori Rockchip sono ampiamente utilizzati nei tablet Android, nelle schede di sviluppo e nei sistemi AI industriali. Grazie al supporto per Android, Linux e Python, puoi costruire e distribuire facilmente soluzioni Vision AI-driven per una varietà di settori.

Tablet rugged integrati con YOLO11

Un'applicazione comune che prevede l'esecuzione di YOLO11 su dispositivi alimentati da Rockchip è quella dei tablet rugged. Si tratta di tablet resistenti e ad alte prestazioni progettati per ambienti difficili come magazzini, cantieri e ambienti industriali. Questi tablet possono sfruttare il rilevamento degli oggetti per migliorare l'efficienza e la sicurezza.

Ad esempio, nella logistica di magazzino, i lavoratori possono utilizzare un tablet Rockchip con YOLO11 per scansionare e rilevare automaticamente l'inventario, riducendo gli errori umani e accelerando i tempi di elaborazione. Allo stesso modo, nei cantieri edili, questi tablet possono essere utilizzati per rilevare se i lavoratori indossano i dispositivi di sicurezza richiesti, come caschi e giubbotti, aiutando le aziende a far rispettare le normative e a prevenire gli incidenti.

‍

IA industriale per il controllo qualità 

Per quanto riguarda la produzione e l'automazione, le schede industriali alimentate da Rockchip possono svolgere un ruolo importante nel controllo della qualità e nel monitoraggio dei processi. Una scheda industriale è un modulo informatico compatto ad alte prestazioni progettato per i sistemi embedded in ambito industriale. In genere queste schede includono processori, memoria, interfacce I/O e opzioni di connettività in grado di integrarsi con sensori, telecamere e macchinari automatizzati.

L'esecuzione di modelli YOLO11 su queste schede consente di analizzare le linee di produzione in tempo reale, individuando immediatamente i problemi e migliorando l'efficienza. Ad esempio, nella produzione di automobili, un sistema di intelligenza artificiale che utilizza l'hardware Rockchip e YOLO11 può rilevare graffi, parti disallineate o difetti di verniciatura mentre le auto si muovono lungo la catena di montaggio. Identificando questi difetti in tempo reale, i produttori possono ridurre gli sprechi, i costi di produzione e garantire standard di qualità più elevati prima che i veicoli raggiungano i clienti.

Vantaggi dell'esecuzione di YOLO11 su dispositivi basati su Rockchip

I dispositivi basati su Rockchip offrono un buon equilibrio tra prestazioni, costi ed efficienza, rendendoli un'ottima scelta per l'implementazione di YOLO11 nelle applicazioni di intelligenza artificiale.

Ecco alcuni vantaggi dell'esecuzione di YOLO11 su dispositivi basati su Rockchip:

• Miglioramento Prestazioni dell'intelligenza artificiale: I dispositivi abilitati Rockchip gestiscono l'inferenza AI in modo più efficiente rispetto alle schede CPU come Raspberry Pi, garantendo un rilevamento più rapido degli oggetti e una latenza inferiore.
  ‍
• Soluzione conveniente: Se stai sperimentando l'intelligenza artificiale e hai bisogno di un'opzione economica che offra comunque prestazioni potenti, Rockchip è un'ottima opzione. Offre un modo conveniente per eseguire YOLO11 senza compromettere la velocità o l'efficienza.
  ‍
• Efficienza energetica: L'esecuzione di modelli di computer vision su dispositivi alimentati da Rockchip consuma meno energia rispetto alle GPU, il che lo rende ideale per i dispositivi alimentati a batteria e per le applicazioni AI embedded.

Punti di forza

Ultralytics YOLO11 può funzionare in modo efficiente sui dispositivi basati su Rockchip sfruttando l'accelerazione hardware e il formato RKNN. Questo riduce i tempi di inferenza e migliora le prestazioni, rendendolo ideale per le attività di computer vision in tempo reale e per le applicazioni di intelligenza artificiale.

Il Toolkit RKNN fornisce strumenti di ottimizzazione chiave come la quantizzazione e la messa a punto, assicurando che i modelli YOLO11 funzionino bene sulle piattaforme Rockchip. L'ottimizzazione dei modelli per un'elaborazione efficiente sul dispositivo sarà essenziale con l'aumento dell'adozione dell'intelligenza artificiale. Con gli strumenti e l'hardware giusti, gli sviluppatori possono aprire nuove possibilità per le soluzioni di computer vision in vari settori. 

Unisciti alla nostra comunità ed esplora il nostro repository GitHub per saperne di più sull'IA. Scopri come la visione computerizzata in agricoltura e l' IA nell'assistenza sanitaria stanno guidando l'innovazione visitando le nostre pagine dedicate alle soluzioni. Inoltre, dai un'occhiata alle nostre opzioni di licenza per iniziare a creare le tue soluzioni Vision AI oggi stesso!