Implementazione di applicazioni di computer vision su dispositivi AI edge

Grazie ai recenti progressi nel campo della computer vision e dell'intelligenza artificiale (AI), quello che un tempo era solo un campo di ricerca sta ora dando vita ad applicazioni di grande impatto in una vasta gamma di settori. Dalle auto a guida autonoma alle immagini mediche e alla sicurezza, i sistemi di computer vision stanno risolvendo problemi reali su larga scala. 

Molte di queste applicazioni prevedono l'analisi di immagini e video in tempo reale e affidarsi al cloud computing non è sempre pratico a causa di latenza, costi e problemi di privacy. L 'Edge AI è un'ottima soluzione in queste situazioni. Eseguendo i modelli di Vision AI direttamente sui dispositivi edge, le aziende possono elaborare i dati in modo più rapido, conveniente e sicuro, rendendo l'AI in tempo reale più accessibile.

Durante YOLO Vision 2024 (YV24), l'evento ibrido annuale ospitato da Ultralytics, uno dei temi centrali è stato la democratizzazione dell'IA di Vision rendendo la distribuzione più semplice ed efficiente. Guy Dahan, Senior Solutions Architect di NVIDIA, ha illustrato come le soluzioni hardware e software di NVIDIA, tra cui i dispositivi di edge computing, i server di inferenza, i framework di ottimizzazione e gli SDK per l'implementazione dell'IA, stiano aiutando gli sviluppatori a ottimizzare l'IA nell'edge.

In questo articolo analizzeremo i punti chiave del keynote di Guy Dahan all'YV24 e come le ultime innovazioni di NVIDIAstanno rendendo l'implementazione di Vision AI più veloce e scalabile.

Che cos'è l'intelligenza artificiale?

Guy Dahan ha iniziato il suo intervento esprimendo il suo entusiasmo per essersi unito virtualmente a YV24 e il suo interesse per il pacchetto Ultralytics Python e i modelliYOLO di Ultraalytics, affermando: "Uso Ultralytics dal giorno in cui è uscito. Mi piace molto Ultralytics - ho usato YOLOv5 anche prima e sono un vero appassionato di questo pacchetto".

Poi ha introdotto il concetto di Edge AI, spiegando che si tratta di eseguire calcoli di AI direttamente su dispositivi come telecamere, droni o macchine industriali, invece di inviare i dati a server cloud distanti per l'elaborazione. 

Invece di aspettare che le immagini o i video vengano caricati, analizzati e poi inviati con i risultati, Edge AI permette di analizzare i dati istantaneamente sul dispositivo stesso. Questo rende i sistemi Vision AI più veloci, più efficienti e meno dipendenti dalla connettività internet. L'Edge AI è particolarmente utile per le applicazioni decisionali in tempo reale, come le auto a guida autonoma, le telecamere di sicurezza e le fabbriche intelligenti. 

I principali vantaggi dell'intelligenza artificiale

Dopo aver presentato l'Edge AI, Guy Dahan ne ha evidenziato i principali vantaggi, concentrandosi su efficienza, risparmio economico e sicurezza dei dati. Ha spiegato che uno dei maggiori vantaggi è la bassa latenza: poiché i modelli di AI elaborano i dati direttamente sul dispositivo, non è necessario inviare le informazioni al cloud e attendere una risposta. 

L'Edge AI aiuta anche a ridurre i costi e a proteggere i dati sensibili. Inviare grandi quantità di dati al cloud, soprattutto i flussi video, può essere costoso. Tuttavia, l'elaborazione in locale riduce i costi di banda e di archiviazione. 

Un altro vantaggio fondamentale è la privacy dei dati, perché le informazioni rimangono sul dispositivo invece di essere trasferite a un server esterno. Questo è particolarmente importante per le applicazioni sanitarie, finanziarie e di sicurezza, dove mantenere i dati locali e sicuri è una priorità assoluta.

‍

Partendo da questi vantaggi, Guy Dahan ha commentato la crescente adozione dell'Edge AI. Ha sottolineato che da quando NVIDIA ha introdotto Jetson nel 2014, l'utilizzo è decuplicato. Oggi, oltre 1,2 milioni di sviluppatori lavorano con i dispositivi Jetson. 

Una panoramica di NVIDIA Jetson: un dispositivo di intelligenza artificiale di ultima generazione

Guy Dahan si è poi soffermato sui dispositiviNVIDIA Jetson, una famiglia di dispositivi di AI edge computing progettati per offrire prestazioni elevate con un basso consumo energetico. I dispositivi Jetson sono ideali per le applicazioni di computer vision in settori come la robotica, l'agricoltura, la sanità e l'automazione industriale. "I Jetson sono dispositivi Edge AI fatti su misura per l'AI. Potrei anche aggiungere che in origine erano stati progettati soprattutto per la computer vision", ha aggiunto Guy Dahan.

I dispositivi Jetson sono disponibili in tre livelli, ciascuno adatto a esigenze diverse:

• Entry-level: Questi dispositivi offrono 20-40 trilioni di operazioni al secondo (TOPS) di prestazioni AI con un consumo energetico di 10-15W, il che li rende una scelta conveniente per le applicazioni edge.
• Mainstream: Bilancia prestazioni ed efficienza, offrendo 70 - 200 TOPS con un consumo energetico di 20 - 40W, adatto a carichi di lavoro AI di fascia media.
• Prestazioni elevate: Offre fino a 275 TOPS con un consumo energetico di 60-75W, progettato per applicazioni AI esigenti come la robotica e l'automazione.

Inoltre, Guy Dahan ha parlato dell'imminente Jetson AGX Thor, che verrà lanciato quest'anno, e ha dichiarato che offrirà prestazioni della GPU (Graphics Processing Unit) otto volte superiori, una capacità di memoria doppia e prestazioni CPU (Central Processing Unit) migliorate. È stato progettato specificamente per la robotica umanoide e le applicazioni Edge AI avanzate.

Sfide legate all'utilizzo di modelli di visione computerizzata

Guy Dahan è poi passato a parlare del lato software dell'Edge AI e ha spiegato che anche con un hardware potente, distribuire i modelli in modo efficiente può essere una sfida. 

Uno degli ostacoli più grandi è la compatibilità, in quanto gli sviluppatori di IA lavorano spesso con diversi framework di IA come PyTorch e TensorFlow. Passare da un framework all'altro può essere difficile e richiede agli sviluppatori di ricreare ambienti per assicurarsi che tutto funzioni correttamente.

La scalabilità è un'altra sfida fondamentale. I modelli di IA richiedono una notevole potenza di calcolo e, come ha detto Dahan, "non c'è mai stata un'azienda di IA che abbia voluto meno calcoli". L'espansione delle applicazioni di IA su più dispositivi può diventare rapidamente costosa, rendendo essenziale l'ottimizzazione.

Inoltre, le pipeline di intelligenza artificiale sono complesse e spesso coinvolgono diversi tipi di dati, elaborazione in tempo reale e integrazione di sistemi. Gli sviluppatori si impegnano molto per far sì che i loro modelli interagiscano perfettamente con gli ecosistemi software esistenti. Superare queste sfide è una parte fondamentale per rendere le implementazioni di IA più efficienti e scalabili.

‍

Semplificazione della distribuzione con Triton Inference Server di NVIDIA

Guy Dahan ha poi rivolto la sua attenzione a Triton Inference Server di NVIDIA. Ha sottolineato che molte aziende e startup iniziano lo sviluppo dell'IA senza ottimizzare completamente i loro modelli. Riprogettare da zero un'intera pipeline di IA può essere disruptive e richiedere molto tempo, rendendo difficile una scalabilità efficiente. 

Invece di richiedere una revisione completa del sistema, Triton consente agli sviluppatori di perfezionare e ottimizzare gradualmente i loro flussi di lavoro AI, integrando componenti più efficienti senza interrompere la configurazione esistente. Grazie al supporto di diversi framework di IA, tra cui TensorFlow, PyTorch, ONNX e TensorRT, Triton consente un'implementazione senza problemi in ambienti cloud, data center e dispositivi edge con modifiche minime.

‍

Ecco alcuni dei principali vantaggi di Triton Inference Server di NVIDIA:

• Batching automatico: Triton raggruppa più richieste di AI prima di elaborarle, riducendo i ritardi (latenza) e migliorando la velocità di inferenza (il tempo necessario a un modello di AI per generare risultati).
• Integrazione con Kubernetes: Triton è cloud-native, cioè funziona perfettamente con Kubernetes (un sistema che aiuta a gestire e scalare le applicazioni AI su più computer o server cloud).
• Open-source e personalizzabile: Gli sviluppatori possono modificare Triton per adattarlo alle loro esigenze specifiche, garantendo la flessibilità necessaria per un'ampia gamma di applicazioni di intelligenza artificiale.

Massimizzare le prestazioni dell'intelligenza artificiale con NVIDIA TensorRT

Supponiamo che tu stia cercando un'accelerazione ancora maggiore; NVIDIA TensorRT è un'opzione interessante per ottimizzare i tuoi modelli AI. Guy Dahan ha spiegato che TensorRT è un ottimizzatore di deep learning ad alte prestazioni costruito per le GPU NVIDIA . I modelli di TensorFlow, PyTorch, ONNX e MXNet possono essere convertiti in file GPU ad alta efficienza grazie a TensorRT.

Ciò che rende TensorRT così affidabile è la sua ottimizzazione specifica per l'hardware. Un modello ottimizzato per i dispositivi Jetson non funzionerà in modo altrettanto efficiente su altre GPU perché TensorRT ottimizza le prestazioni in base all'hardware di destinazione. Un modello di computer vision ottimizzato può aumentare la velocità di inferenza fino a 36 volte rispetto a modelli non ottimizzati.

Guy Dahan ha anche richiamato l'attenzione sul supporto di Ultralytics per TensorRT, parlando di come questo renda l'implementazione dei modelli di AI più veloce ed efficiente. I modelliYOLO Ultralytics possono essere esportati direttamente nel formato TensorRT , consentendo agli sviluppatori di ottimizzarli per le GPU NVIDIA senza dover apportare alcuna modifica. 

DeepStream 7.0: un toolkit per l'analisi dello streaming

Per concludere in bellezza, Guy Dahan ha presentato DeepStream 7.0, un framework di intelligenza artificiale progettato per l'elaborazione in tempo reale di dati video, audio e sensori utilizzando le GPU NVIDIA . Realizzato per supportare applicazioni di computer vision ad alta velocità, consente il rilevamento, il tracciamento e l'analisi di oggetti in sistemi autonomi, sicurezza, automazione industriale e città intelligenti. Eseguendo l'AI direttamente sui dispositivi edge, DeepStream elimina la dipendenza dal cloud, riducendo la latenza e migliorando l'efficienza.

‍

In particolare, DeepStream è in grado di gestire l'elaborazione video basata sull'intelligenza artificiale dall'inizio alla fine. Supporta flussi di lavoro end-to-end, dalla decodifica e pre-elaborazione video all'inferenza dell'intelligenza artificiale e alla post-elaborazione. 

Recentemente, DeepStream ha introdotto diversi aggiornamenti per migliorare l'implementazione dell'IA, rendendola più accessibile e scalabile. I nuovi strumenti semplificano lo sviluppo, migliorano il tracking multi-camera e ottimizzano le pipeline dell'IA per ottenere prestazioni migliori. 

Gli sviluppatori hanno ora a disposizione un supporto ampliato per gli ambienti Windows, capacità di fusione dei sensori migliorate per integrare i dati provenienti da più fonti e l'accesso ad applicazioni di riferimento precostituite per accelerare l'implementazione. Questi miglioramenti rendono DeepStream una soluzione più flessibile ed efficiente per le applicazioni di AI in tempo reale, aiutando gli sviluppatori a scalare l'analisi video intelligente con facilità.

Punti di forza

Come illustrato nel keynote di Guy Dahan a YV24, l'Edge AI sta ridefinendo le applicazioni di computer vision. Grazie ai progressi dell'hardware e del software, l'elaborazione in tempo reale sta diventando sempre più veloce, efficiente ed economica.

Man mano che un numero sempre maggiore di settori industriali adotterà l'IA Edge, affrontare sfide come la frammentazione e la complessità dell'implementazione sarà la chiave per sbloccare il suo pieno potenziale. L'adozione di queste innovazioni darà vita ad applicazioni AI più intelligenti e reattive, dando forma al futuro della computer vision.

Entra a far parte della nostra comunità in crescita! Esplora il nostro repository GitHub per saperne di più sull'IA e scopri le nostre opzioni di licenza per dare il via ai tuoi progetti di Vision AI. Sei curioso di scoprire innovazioni come l'IA nella sanità e la computer vision nella produzione? Visita le nostre pagine dedicate alle soluzioni per saperne di più!