Eseguire Ultralytics YOLO Models su Intel's AI PC con OpenVino

YOLO Vision 2024 (YV24), l'evento ibrido annuale di Ultralytics, ha riunito appassionati di AI, sviluppatori ed esperti di tutto il mondo per esplorare le ultime innovazioni nel campo della computer vision. YV24 è stata una grande opportunità e una piattaforma per discutere delle nuove scoperte. L'evento ha visto protagonisti i principali attori del settore dell'IA che hanno presentato le loro ultime innovazioni. Tra questi c'era Intel, che ha partecipato all'evento presentando un keynote sul suo nuovo e rivoluzionario PC per l'IA e sull'integrazione di Intel OpenVino con Ultralytics YOLO modelli quali Ultralytics YOLO11.

L'intervento è stato condotto da Adrian Boguszewski, un Software Evangelist che è coautore del dataset LandCover.ai e che si occupa di istruire gli sviluppatori sul toolkit Intel's OpenVINO , e da Dmitriy Pastushenkov, un AI PC Evangelist con oltre 20 anni di esperienza nel campo dell'automazione industriale e dell'AI. Durante l'evento, Adrian ha condiviso il suo entusiasmo e ha detto: "Questo è un grande evento oggi, non solo perché Ultralytics ha consegnato una nuova versione di YOLO , ma anche perché siamo in grado di presentare questo nuovo modello in esecuzione sul nostro nuovo hardware, nonché una nuova versione di OpenVINO".

In questo articolo daremo un'occhiata ai punti salienti dell'intervento diIntelall'YV24, approfondendo i dettagli del loro PC AI, la serie Intel Core Ultra 200V, e il modo in cui si integrano con i modelli Ultralytics YOLO utilizzando il toolkit OpenVINO . Iniziamo!

Tecnologie AI all'avanguardia nel 2024

Dmitriy ha iniziato il keynote approfondendo le differenze principali tra l'IA tradizionale e l'IA generativa. L'attenzione si è concentrata sul modo in cui queste tecnologie e i loro casi d'uso si evolveranno nel 2024. Le tecniche tradizionali di IA, come la computer vision e l'elaborazione del linguaggio naturale, sono state essenziali per compiti come la stima della posa, il rilevamento di oggetti e il riconoscimento vocale. L'IA generativa, invece, rappresenta un'ondata più recente di tecnologie di IA che coinvolge applicazioni come i chatbot, la generazione di testo-immagine, la scrittura di codice e persino il text-to-video. 

‍

Dmitriy ha sottolineato la differenza di scala tra i due. Ha spiegato che mentre i modelli di IA tradizionali sono composti da milioni di parametri, i modelli di IA generativa operano su una scala molto più ampia. I modelli di IA generativa spesso coinvolgono miliardi o addirittura trilioni di parametri, il che li rende molto più impegnativi dal punto di vista computazionale.

Il PC AI Intel : Una nuova frontiera dell'hardware per l'intelligenza artificiale

Dmitriy ha presentato Intel AI PC, una nuova soluzione hardware progettata per affrontare le crescenti sfide legate all'esecuzione efficiente di modelli AI sia tradizionali che generativi. Il PC AI Intel è una macchina potente ed efficiente dal punto di vista energetico. È in grado di eseguire un'ampia gamma di modelli di IA in locale, senza dover ricorrere all'elaborazione in cloud. 

L'elaborazione locale aiuta a mantenere la riservatezza dei dati sensibili. Quando i modelli di intelligenza artificiale possono operare indipendentemente dalle connessioni internet, le preoccupazioni etiche delle industrie in materia di privacy e sicurezza trovano una risposta.

La forza trainante di Intel AI PC è il processore Intel Core Ultra 200V Series. Questo processore incorpora tre componenti chiave: l'unità di elaborazione centrale (CPU), l'unità di elaborazione grafica (GPU) e l'unità di elaborazione neurale (NPU). Ognuno di essi svolge un ruolo specifico nella gestione di diversi tipi di carichi di lavoro AI. L'unità CPU è ideale per le attività più piccole e a bassa latenza che richiedono risposte rapide, mentre l'unità GPU è ottimizzata per operazioni ad alto rendimento come l'esecuzione di modelli di intelligenza artificiale. La NPU, progettata per l'efficienza energetica, è adatta a compiti di lunga durata come il rilevamento di oggetti in tempo reale con modelli come YOLO11. 

È stato evidenziato che CPU può fornire fino a 5 TOPS (trilioni di operazioni al secondo), GPU fino a 67 TOPS e la NPU offre un modo efficiente dal punto di vista energetico per eseguire continuamente attività di intelligenza artificiale senza esaurire le risorse del sistema.

IntelI progressi dell'intelligenza artificiale: Intel Serie Core Ultra 200V

Il processore Intel Core Ultra 200V Series integra tutti e tre i motori AI - NPU, CPU e GPU - in un unico piccolo chip. Il suo design è perfettamente adatto a dispositivi compatti come i notebook, senza sacrificare le prestazioni.

Il processore include anche la RAM integrata, riducendo la necessità di schede grafiche separate. Questo aiuta a ridurre il consumo energetico e a mantenere il dispositivo compatto. Dmitriy ha anche sottolineato la flessibilità del processore. Gli utenti possono decidere se eseguire i modelli di intelligenza artificiale su CPU, GPU o NPU, a seconda dell'attività da svolgere. Ad esempio, il rilevamento di oggetti con i modelli di YOLO11 può essere eseguito su uno qualsiasi di questi motori, mentre le attività più complesse, come la generazione di testi da un'immagine all'altra, possono utilizzare sia GPU che la NPU allo stesso tempo per ottenere prestazioni migliori.

Durante la presentazione, Dmitriy ha tirato fuori il chip dalla tasca, dando a tutti una chiara idea di quanto sia piccolo, nonostante la sua capacità di gestire compiti di intelligenza artificiale così avanzati. È stato un modo divertente e memorabile per mostrare come Intel stia portando potenti capacità di intelligenza artificiale su dispositivi più portatili e pratici.

‍

Ottimizzare i modelli di intelligenza artificiale con Intel OpenVino

Dopo aver mostrato le ultime novità hardware di Intel, Dmitriy è passato allo stack software di Intel che supporta l'IA. Ha presentato OpenVINO, il framework open-source di Intelprogettato per ottimizzare e distribuire in modo efficiente i modelli di IA su diversi dispositivi. OpenVINO va oltre le attività visive, estendendo il suo supporto ai modelli di IA utilizzati per l'elaborazione del linguaggio naturale, l'elaborazione audio, i trasformatori, ecc.

OpenVINO è compatibile con piattaforme popolari come PyTorch, TensorFlow, e ONNXe gli sviluppatori possono incorporarlo facilmente nei loro flussi di lavoro. Una caratteristica fondamentale su cui ha puntato l'attenzione è la quantizzazione. La quantizzazione comprime i pesi dei modelli per ridurne le dimensioni, in modo che i modelli di grandi dimensioni possano essere eseguiti senza problemi su dispositivi locali senza dover ricorrere al cloud. OpenVINO funziona su diversi framework, funzionando su CPU, GPU, NPU, FPGA o persino dispositivi ARM e supporta Windows, Linux e macOS. Dmitriy ha anche illustrato al pubblico quanto sia facile iniziare a lavorare con OpenVINO. 

‍

Integrare Ultralytics con Intel OpenVino

Nella seconda parte dell'intervento, il microfono è passato ad Adrian, che ha spiegato la perfetta integrazione tra i modelli Ultralytics YOLO e il toolkit Intel OpenVINO , semplificando il processo di distribuzione dei modelliYOLO . Ha spiegato passo dopo passo come esportare un modello YOLO utilizzando il pacchettoUltralytics Python nel formato OpenVINO sia semplice e veloce. Questa integrazione rende molto più facile per gli sviluppatori ottimizzare i loro modelli per l'hardware di Intel e ottenere il massimo da entrambe le piattaforme.

‍

Adrian ha dimostrato che una volta addestrato un modello Ultralytics YOLO , gli utenti possono esportarlo utilizzando alcuni semplici flag da riga di comando. Ad esempio, gli utenti possono specificare se vogliono esportare il modello in una versione in virgola mobile per la massima precisione o in una versione quantizzata per una maggiore velocità ed efficienza. Ha inoltre evidenziato come gli sviluppatori possano gestire questo processo direttamente attraverso il codice, utilizzando opzioni come la quantizzazione INT8 per migliorare le prestazioni senza sacrificare troppo la precisione. 

Dimostrazioni di intelligenza artificiale in tempo reale su Intel AI PC

Mettendo in pratica tutta questa teoria, il team di Intel ha presentato una dimostrazione in tempo reale del rilevamento di oggetti eseguendo YOLO11 sul PC Intel AI. Adrian ha mostrato come il sistema gestisce il modello su diversi processori, ottenendo 36 fotogrammi al secondo (FPS) su CPU con un modello a virgola mobile, oltre 100 FPS su GPU integrato e 70 FPS con la versione quantizzata INT8. Sono riusciti a dimostrare l'efficienza con cui il PC AI Intel può gestire compiti complessi di intelligenza artificiale.

Ha inoltre sottolineato che il sistema può eseguire modelli in parallelo, utilizzando insieme CPU, GPU e NPU per attività in cui tutti i dati o i fotogrammi video sono disponibili in anticipo. Questo è utile quando si elaborano carichi pesanti come i video. Il sistema può suddividere il carico di lavoro su diversi processori, rendendolo più veloce ed efficiente.

Per concludere, Adrian ha accennato alla possibilità per gli utenti di provare le demo a casa, tra cui soluzioni come il conteggio delle persone e la gestione intelligente delle code. Ha poi mostrato una demo bonus in cui gli utenti potevano inserire delle richieste per generare immagini oniriche in tempo reale sul sito GPU, dimostrando la versatilità del PC Intel AI sia per attività di AI tradizionali che per progetti di AI creativa e generativa.

Rilevamento di oggetti in tempo reale con Intel OpenVINO

All'evento, Intel aveva uno stand in cui ha mostrato una demo di rilevamento di oggetti in tempo reale utilizzando YOLO11, in esecuzione sul suo PC AI Intel . I partecipanti hanno potuto vedere il modello in azione, ottimizzato con OpenVINO e distribuito sul processore Intel Core Ultra 200V. 

‍

Allo stand di Intel , Dmitry ha dichiarato: "È la prima volta che partecipo a YOLO Vision e sono felice di essere a Madrid. Stiamo presentando il modello YOLO11 di Ultralytics, che gira sul processore Intel Core Ultra 200V. Le prestazioni sono eccellenti e utilizziamo OpenVINO per ottimizzare e distribuire il modello. È stato molto semplice collaborare con Ultralytics ed eseguire il modello sull'hardware più recente di Intel , utilizzando CPU, GPU e NPU". Lo stand aveva anche dei simpatici omaggi, come magliette e notebook che i partecipanti potevano portare a casa.

Punti di forza

IntelL'intervento tecnico di Intel all'YV24, con i processori della serie Core Ultra 200V, ha mostrato come il toolkit OpenVINO ottimizzi i modelli AI come Ultralytics YOLO11 . Questa integrazione consente agli utenti di eseguire i modelli di YOLO direttamente sui loro dispositivi, offrendo ottime prestazioni per attività di computer vision come il rilevamento di oggetti. Il vantaggio principale è che gli utenti non devono affidarsi a servizi cloud.

Gli sviluppatori e gli appassionati di AI possono eseguire e mettere a punto i modelli di YOLO senza alcuno sforzo, sfruttando appieno l'hardware come CPU, GPU e NPU per le applicazioni in tempo reale. Intel OpenVINO toolkit, in combinazione con i modelli di Ultralytics YOLO , apre nuove possibilità di portare le capacità avanzate di AI direttamente sui dispositivi personali, rendendolo un'opzione ideale per gli sviluppatori desiderosi di promuovere le innovazioni dell'AI in vari settori.

Collaboriamo e innoviamo! Visita il nostro repository su GitHub per esplorare i nostri contributi e per collaborare con la nostra comunità. Scopri come stiamo usando l'IA per avere un impatto in settori come quello manifatturiero e sanitario.