L'Edge AI consente ai modelli di intelligenza artificiale (AI) di operare direttamente su dispositivi come smartphone, fotocamere e droni. Il suo vantaggio principale è quello di supportare un processo decisionale più rapido e in tempo reale senza dover ricorrere al cloud. In effetti, alcuni studi dimostrano che l'utilizzo dell 'AI su piattaforme edge può aumentare l'efficienza operativa fino al 40%. 

I recenti progressi nell'IA di frontiera, in particolare nella computer vision, ne hanno fatto un argomento centrale a YOLO Vision 2024 (YV24), l'evento ibrido annuale di Ultralytics che riunisce appassionati ed esperti di IA per esplorare le ultime novità nel campo della Vision AI. Uno dei momenti salienti dell'evento è stato il keynote di Sony, in cui sono state presentate le nuove soluzioni hardware e software di AI all'avanguardia. Il sensore IMX500 e la piattaforma AITRIOS sono stati presentati e Sony ha dimostrato come queste innovazioni rendano più semplice ed efficiente l'implementazione di modelliUltralytics YOLO quali Ultralytics YOLO11 e Ultralytics YOLOv8 on edge.

La sessione è stata condotta da Wei Tang, Business Development Manager che si occupa delle soluzioni di imaging di Sony, e da Amir Servi, Edge Deep Learning Product Manager esperto nell'implementazione di modelli di deep learning su dispositivi edge. 

In questo articolo ripercorreremo l'intervento di Sony all'YV24 ed esploreremo come il sensore IMX500 e la piattaforma AITRIOS ottimizzino l'uso dei modelli YOLO per un'elaborazione AI più veloce e in tempo reale. Iniziamo!

La visione di Sony: Democratizzare l'intelligenza artificiale sui dispositivi edge

Wei Tang ha aperto la sessione parlando dell'obiettivo di Sony di rendere l'AI edge accessibile come ha fatto con la fotografia anni fa. Ha sottolineato come Sony sia ora impegnata a portare l'IA avanzata di visione a un maggior numero di persone attraverso l'edge computing. Uno dei fattori trainanti è l'impatto positivo che l'intelligenza artificiale può avere sull'ambiente. Elaborando i dati direttamente sui dispositivi invece di affidarsi a enormi centri dati, l'edge computing aiuta a ridurre il consumo di energia e le emissioni di carbonio. Si tratta di un approccio più intelligente ed ecologico che si sposa perfettamente con l'impegno di Sony a costruire una tecnologia che non solo funzioni meglio, ma che contribuisca anche a creare un futuro più sostenibile.

Wei ha poi spiegato come Sony Semiconductor Solutions, la divisione di Sony specializzata in tecnologie di imaging e rilevamento, crea sensori di immagine avanzati. Questi sensori sono utilizzati in un'ampia gamma di dispositivi e convertono la luce in segnali elettronici per catturare le immagini. Con oltre 1,2 miliardi di sensori spediti ogni anno, sono presenti in quasi la metà dei telefoni cellulari del mondo e fanno di Sony uno dei principali protagonisti del settore dell 'imaging. 

‍

Partendo da questa esperienza, Sony sta ora facendo un ulteriore passo avanti trasformando questi sensori da dispositivi per l'acquisizione di immagini in strumenti intelligenti in grado di elaborare i dati in tempo reale, consentendo approfondimenti basati sull'AI direttamente sui dispositivi. Prima di parlare delle soluzioni hardware e software che Sony sta utilizzando per supportare questo cambiamento, cerchiamo di capire quali sono le sfide dell'intelligenza artificiale che queste innovazioni mirano a risolvere.

Sfide relative all'elaborazione di immagini AI su dispositivi edge

Lo sviluppo di soluzioni di IA di frontiera comporta alcune sfide fondamentali, soprattutto quando si lavora con dispositivi come fotocamere e sensori. Molti di questi dispositivi hanno una potenza e una capacità di elaborazione limitate, il che rende difficile l'esecuzione efficiente di modelli di IA avanzati.

Ecco alcune delle altre limitazioni principali:

• Complessità del software: Adattare i modelli di intelligenza artificiale per farli funzionare su vari dispositivi edge con diverse configurazioni hardware può essere complesso e richiedere aggiustamenti e ottimizzazioni.
• Colli di bottiglia nella post-elaborazione: Spesso si verifica un ritardo nel trasferimento di grandi quantità di dati dal dispositivo all'host per la post-elaborazione. Spesso consuma più tempo dell'effettiva inferenza del modello di intelligenza artificiale.
• Esplosione dei dati: Con molti dispositivi IoT che generano costantemente dati, il volume di dati da gestire localmente può essere schiacciante, mettendo ulteriormente a dura prova i dispositivi edge.

Conoscere il sensore di visione intelligente IMX500 di Sony

Il sensore di visione intelligente IMX500 di Sony è un hardware rivoluzionario per l'elaborazione dell'intelligenza artificiale. È il primo sensore di visione intelligente al mondo con funzionalità AI on-chip. Questo sensore aiuta a superare molte sfide dell'IA edge, tra cui i colli di bottiglia dell'elaborazione dei dati, i problemi di privacy e le limitazioni delle prestazioni.

Mentre altri sensori si limitano a trasmettere immagini e fotogrammi, IMX500 racconta un'intera storia. Elabora i dati direttamente sul sensore, consentendo ai dispositivi di generare approfondimenti in tempo reale. Durante la sessione, Wei Tang ha dichiarato: "Sfruttando la nostra tecnologia avanzata per i sensori di immagine, puntiamo a creare una nuova generazione di applicazioni in grado di migliorare la vita quotidiana". L'IMX500 è stato progettato per raggiungere questo obiettivo, trasformando il modo in cui i dispositivi gestiscono i dati direttamente sul sensore, senza doverli inviare al cloud per l'elaborazione.

Ecco alcune delle sue caratteristiche principali:

• Uscita dei metadati: Invece di inviare le immagini complete, invia i metadati, riducendo in modo significativo le dimensioni dei dati e quindi l'utilizzo della larghezza di banda e i costi.
• Maggiore privacy: Elaborando i dati sul dispositivo, l'IMX500 migliora la privacy, soprattutto in situazioni in cui sono coinvolte informazioni sensibili, come le attività di computer vision legate all'uomo, come il conteggio delle persone.
• Elaborazione in tempo reale: La capacità del sensore di gestire i dati in modo rapido significa che supporta un processo decisionale veloce e in tempo reale che consente di realizzare applicazioni di intelligenza artificiale come i sistemi autonomi.

L'IMX500 non è solo un sensore per fotocamere: è un potente strumento di rilevamento che trasforma il modo in cui i dispositivi percepiscono e interagiscono con il mondo circostante. Incorporando l'intelligenza artificiale direttamente nel sensore, Sony rende l'intelligenza artificiale più accessibile a settori come quello automobilistico, sanitario e delle città intelligenti. Nelle sezioni successive, approfondiremo come IMX500 lavora con i modelli di Ultralytics YOLO per migliorare il rilevamento degli oggetti e l'elaborazione dei dati sui dispositivi edge.

‍

La piattaforma AITRIOS di Sony: Semplificare l'intelligenza artificiale dei bordi

Dopo aver presentato il sensore IMX500, Wei Tang ha affermato che, sebbene l 'hardware sia fondamentale, non è sufficiente da solo per affrontare tutte le sfide legate all'implementazione dell'IA in ambito edge. Ha parlato di come l'integrazione dell'IA in dispositivi come fotocamere e sensori richieda più di un semplice hardware avanzato, ma anche un software intelligente per gestirlo. È qui che entra in gioco la piattaforma AITRIOS di Sony, che offre una soluzione software affidabile progettata per rendere più semplice ed efficiente l'implementazione dell 'IA sui dispositivi edge.

AITRIOS funge da ponte tra i complessi modelli di intelligenza artificiale e le limitazioni dei dispositivi edge. Offre agli sviluppatori una serie di strumenti per distribuire rapidamente modelli di intelligenza artificiale pre-addestrati. Ma soprattutto, supporta la riqualificazione continua in modo che i modelli di intelligenza artificiale possano adattarsi ai cambiamenti del mondo reale. 

Wei ha anche sottolineato come AITRIOS semplifichi il processo per coloro che non hanno una profonda esperienza di IA, offrendo la flessibilità necessaria per personalizzare i modelli di IA per specifici casi d'uso dell'IA per l'edge. Inoltre, affronta sfide comuni come i limiti di memoria e i cali di prestazioni, rendendo più facile l'integrazione dell 'IA nei dispositivi più piccoli senza sacrificare l'accuratezza o la velocità. 

‍

Ottimizzazione dei modelli YOLO su IMX500

Nella seconda parte dell'intervento, il microfono è passato ad Amir, che ha approfondito l'aspetto tecnico di come Sony ha ottimizzato i modelliYOLO sul sensore IMX500. 

Amir ha esordito dicendo: "I modelli diYOLO sono abilitanti per i bordi e sono abbastanza facili da ottimizzare, grazie a Glenn e al team. Ti convincerò di questo, non preoccuparti". Amir ha poi spiegato che, mentre in genere ci si concentra molto sull'ottimizzazione del modello di intelligenza artificiale in sé, questo approccio spesso trascura un aspetto cruciale: i colli di bottiglia della post-elaborazione.

Amir ha sottolineato che in molti casi, una volta che il modello AI ha completato il suo compito, il processo di trasferimento dei dati e di gestione della post-elaborazione su un dispositivo host può causare ritardi significativi. Questo trasferimento di dati tra il dispositivo e l'host introduce una latenza che può essere un ostacolo importante per ottenere le migliori prestazioni.

‍

Per affrontare questo problema, Amir ha sottolineato l'importanza di considerare l'intero sistema end-to-end, piuttosto che concentrarsi solo sul modello AI. Con il sensore IMX500, hanno scoperto che la post-elaborazione era il principale collo di bottiglia che rallentava tutto. Ha aggiunto che il vero passo avanti è stato sbloccare la soppressione non massima (NMS) sul chip. 

Ha permesso di effettuare la post-elaborazione direttamente sul sensore, eliminando la necessità di trasferire grandi quantità di dati a un dispositivo host. Eseguendo l'NMS direttamente sull'IMX500, Sony ha superato quello che Amir ha definito il "soffitto di vetro della post-elaborazione", ottenendo prestazioni di gran lunga migliori e una riduzione della latenza.

‍

Daremo poi un'occhiata a come questa innovazione ha aiutato i modelli YOLO , in particolare il modello YOLOv8 Nano, a funzionare in modo più efficiente sui dispositivi edge, creando nuove opportunità per l'elaborazione dell'intelligenza artificiale in tempo reale su hardware più piccoli e con risorse limitate.

YOLOv8 I modelli ottengono un aumento di velocità di 4 volte con l'IMX500 di Sony

Per concludere il discorso con una nota positiva, Amir ha dimostrato come sono riusciti a quadruplicare le prestazioni del modello YOLOv8 Nano eseguendo NMS on edge. Lo ha mostrato su un Raspberry Pi 5, integrato con il sensore IMX500 AI. Amir ha confrontato le prestazioni quando la post-elaborazione veniva gestita su un dispositivo host rispetto al chip IMX500. 

I risultati hanno mostrato un notevole miglioramento dei fotogrammi al secondo (FPS) e dell'efficienza complessiva quando l'elaborazione è stata eseguita su chip. L'ottimizzazione ha reso il rilevamento degli oggetti più veloce e più fluido e ha anche dimostrato la praticità dell'elaborazione AI in tempo reale su dispositivi più piccoli e con risorse limitate come il Raspberry Pi.

Punti di forza

Il sensore IMX500 di Sony, la piattaforma AITRIOS e i modelli Ultralytics YOLO stanno rivoluzionando lo sviluppo dell'intelligenza artificiale. L'elaborazione dell'IA on-chip riduce il trasferimento dei dati e la latenza, migliorando al contempo la privacy, la sicurezza e l'efficienza. Concentrandosi sull'intero sistema, e non solo sul modello di IA, queste innovazioni rendono l'IA edge più accessibile agli sviluppatori e a chi non ha una profonda esperienza di IA. Con l'avanzare della tecnologia dell'IA edge, è probabile che essa renda possibili dispositivi più intelligenti, processi decisionali più rapidi e una maggiore protezione della privacy in un'ampia gamma di settori e applicazioni.

Resta in contatto con la nostra comunità per continuare a imparare sull'IA! Dai un'occhiata al nostro repository GitHub per scoprire come possiamo utilizzare l'IA per creare soluzioni innovative in vari settori come l'agricoltura e la produzione. 🚀