Distribuzione dei modelli quantizzati di Ultralytics YOLOv8 sui dispositivi Edge con DeGirum

Benvenuto nel riepilogo di un'altra interessante conferenza del nostro evento YOLO VISION 2023 (YV23), tenutosi presso il vivace Campus Google for Startups di Madrid. Questo intervento è stato tenuto da Shashi Chilappagar, Chief Architect e Co-Founder di DeGirum. Si è addentrato nell'affascinante mondo della quantizzazione e dell'implementazione di modelli quantizzati, esplorando le sfide principali, le soluzioni e le possibilità future.

Introduzione alla quantizzazione e alla distribuzione dei modelli quantizzati

Shashi ha fornito una panoramica completa sulla quantizzazione, sottolineando la sua importanza nell'ottimizzazione dei modelli per l'implementazione sui dispositivi edge. Ultralytics YOLO modelli per l'implementazione sui dispositivi edge. Dalla discussione delle basi all'esplorazione degli approcci per migliorare la quantizzazione, i partecipanti hanno acquisito preziose conoscenze sulle complessità del porting e della distribuzione dei modelli.

Sfide nella quantizzazione dei modelli di YOLO

La quantizzazione pone spesso delle sfide, in particolare con i modelli YOLO in TFLite. Il nostro pubblico ha appreso il significativo calo di accuratezza osservato quando tutti gli output sono quantizzati con la stessa scala/punto zero, facendo luce sulla complessità di mantenere l'accuratezza del modello durante il processo di quantizzazione.

Migliorare la quantizzazione dei modelli di YOLO

Fortunatamente esistono delle soluzioni per affrontare queste sfide. L'introduzione della forcella DigiRAM offre un approccio che favorisce la quantizzazione, separando le uscite e ottimizzando la decodifica della bounding box. Grazie a questi miglioramenti, l'accuratezza dei modelli quantizzati vede un miglioramento significativo rispetto ai livelli di base.

Architetture di modelli più facili da quantizzare

Esplorare nuove architetture di modelli è fondamentale per ridurre al minimo la perdita di quantizzazione. I partecipanti hanno scoperto come la sostituzione di CILU con l'attivazione vincolata di Relu6 porti a una perdita di quantizzazione minima, offrendo risultati promettenti per mantenere l'accuratezza dei modelli quantizzati.

Distribuzione di modelli quantizzati

L'implementazione di modelli quantizzati non è mai stata così semplice: bastano cinque righe di codice per eseguire qualsiasi modello sulla piattaforma cloud di Digitim. Una demo dal vivo ha mostrato la semplicità del rilevamento di oggetti con un modello quantizzato, evidenziando la perfetta integrazione dei modelli quantizzati nelle applicazioni reali. Ultralytics YOLOv5 e ha messo in evidenza la perfetta integrazione dei modelli quantizzati nelle applicazioni del mondo reale. 

A tal fine, Ultralytics offre una serie di opzioni di distribuzione dei modelli, consentendo agli utenti finali di distribuire efficacemente le loro applicazioni su dispositivi embedded ed edge. I diversi formati di esportazione includono OpenVINO, TorchScript, TensorRT, CoreML, TFlite e TFlite EDGE TPU, che offrono versatilità e compatibilità. 

L'integrazione con applicazioni di terze parti permette agli utenti di valutare le prestazioni dei nostri modelli in scenari reali.

Utilizzo di modelli diversi su hardware diversi

I partecipanti hanno anche avuto modo di capire la versatilità dell'implementazione di diversi modelli su varie piattaforme hardware, mostrando come un'unica base di codice possa supportare più modelli su diversi acceleratori. Gli esempi di esecuzione di diverse attività di rilevamento su diverse piattaforme hardware hanno dimostrato la flessibilità e la scalabilità del nostro approccio.

Risorse e documentazione

Per dare ai partecipanti maggiori possibilità, abbiamo introdotto una sezione completa di risorse, che fornisce l'accesso alla nostra piattaforma cloud, a esempi, alla documentazione e ad altro ancora. Il nostro obiettivo è quello di garantire che tutti abbiano gli strumenti e il supporto necessari per avere successo nell'implementazione di modelli quantizzati in modo efficace.

Conclusione

Con l'evoluzione del campo della quantizzazione, è essenziale rimanere informati e impegnati. Ci impegniamo a fornire un supporto continuo e risorse per aiutarti a percorrere questo entusiasmante viaggio. Guarda il discorso completo qui! 

Unisciti a noi per continuare a esplorare le ultime tendenze e innovazioni nel campo dell'apprendimento automatico e dell'intelligenza artificiale. Insieme, stiamo plasmando il futuro della tecnologia e guidando un cambiamento positivo nel mondo.

‍