Facendo clic su "Accetta tutti i cookie", acconsenti alla memorizzazione dei cookie sul tuo dispositivo per migliorare la navigazione del sito, analizzare l'utilizzo del sito e contribuire alle nostre iniziative di marketing. Per saperne di più
Impostazioni dei cookie
Facendo clic su "Accetta tutti i cookie", acconsenti alla memorizzazione dei cookie sul tuo dispositivo per migliorare la navigazione del sito, analizzare l'utilizzo del sito e contribuire alle nostre iniziative di marketing. Per saperne di più
Implementare Ultralytics YOLOv5 Con Neural Magic's DeepSparse per GPU- Prestazioni di classe sulle CPU
Potenzia Ultralytics YOLOv5 l'addestramento e la distribuzione dei modelli con Neural Magic DeepSparse per GPU prestazioni di classe sulle CPU. Ottieni distribuzioni YOLOv5 più veloci e scalabili.
Vuoi accelerare la formazione e l'implementazione dei tuoi modelli? YOLOv5 modelli? Ci pensiamo noi! Ti presentiamo il nostro nuovo partner, Neural Magic. Poiché Neural Magic fornisce strumenti software che enfatizzano le massime prestazioni dei modelli e la semplicità del flusso di lavoro, è naturale che ci siamo uniti per offrire una soluzione che renda il processo di distribuzione diYOLOv5 ancora migliore.
CPU DeepSparse è il runtime di inferenza di Neural Magic, che sfrutta la sparsità e l'aritmetica a bassa precisione delle reti neurali per offrire prestazioni eccezionali su hardware commodity. Ad esempio, rispetto al runtime di base di ONNX , DeepSparse offre una velocità di 5,8 volte superiore per YOLOv5 in esecuzione sulla stessa macchina!
Per la prima volta, i tuoi carichi di lavoro di deep learning possono soddisfare le prestazioni richieste dalla produzione senza la complessità e i costi degli acceleratori hardware. In parole povere, DeepSparse ti offre le prestazioni delle GPU e la semplicità del software:
Distribuzioni flessibili: Esegui in modo coerente su cloud, data center ed edge con qualsiasi fornitore di hardware
Scalabilità infinita: Scalabilità con Kubernetes standard, verticale fino a 100 core o completamente astratta con serverless.
Facile integrazione: Usa API pulite per integrare il tuo modello in un'applicazione e monitorarlo in produzione.
Raggiungi le prestazioni di classe GPU con le CPU Commodity
DeepSparse sfrutta la sparsità del modello per aumentare le prestazioni.
La sparsificazione attraverso la potatura e la quantizzazione consente di ridurre di un ordine di grandezza le dimensioni e i calcoli necessari per eseguire una rete mantenendo un'elevata precisione. DeepSparse è sparsity-aware, salta le aggiunte di moltiplicazione per zero e riduce la quantità di calcolo in un passaggio in avanti. Poiché il calcolo rado è legato alla memoria, DeepSparse esegue la rete in profondità, suddividendo il problema in Tensor Columns, strisce verticali di calcolo che possono essere inserite nella cache.
Le reti sparse con calcolo compresso, eseguite in profondità nella cache, consentono a DeepSparse di fornire prestazioni di classe GPU sulle CPU!
Creare una versione sparsa di YOLOv5 addestrata su dati personalizzati
Neural MagicIl repository di modelli open-source, SparseZoo, contiene checkpoint pre-sparsificati di ogni modello YOLOv5 . Utilizzando SparseML, che è integrato con Ultralytics, puoi mettere a punto un checkpoint sparse sui tuoi dati con un unico comando CLI .
Le pipeline avvolgono la pre-elaborazione e la post-elaborazione dell'output attorno al runtime, fornendo un'interfaccia pulita per aggiungere DeepSparse a un'applicazione. L'integrazione DeepSparse-Ultralytics include una Pipeline pronta all'uso che accetta le immagini grezze e produce i riquadri di delimitazione.
Crea una pipeline ed esegui l'inferenza:
da deepsparse importa Pipeline
# elenco di immagini nel filesystem locale images = ["basilica.jpg"]
# Esegui l'inferenza sulle immagini, ricevi le bounding box + le classi pipeline_outputs = yolo_pipeline(images=immagini, iou_thres=0.6, conf_thres=0.001) print(pipeline_outputs)
Se stai eseguendo nel cloud, potresti ricevere un errore che indica che open-cv non riesce a trovare libGL.so.1. Eseguendo la seguente procedura su Ubuntu, viene installata:
apt-get installa libgl1-mesa-glx
Server HTTP
DeepSparse Server si basa sul famoso framework web FastAPI e sul server web Uvicorn. Con un solo comando CLI , puoi configurare facilmente un endpoint di servizio modello con DeepSparse. Il server supporta qualsiasi pipeline di DeepSparse, compreso il rilevamento degli oggetti con YOLOv5, consentendoti di inviare immagini grezze all'endpoint e di ricevere i bounding box.
Fai girare il Server con gli YOLOv5 potati e quantificati:
Un esempio di richiesta, utilizzando il pacchetto requests di Python:
importare richieste, json
# elenco di immagini per l'inferenza (file locali sul lato client) path = ['basilica.jpg'] files = [('request', open(img, 'rb')] for img in path]
# invia la richiesta via HTTP all'endpoint /predict/from_files url = 'http://0.0.0.0:5543/predict/from_files' resp = requests.post(url=url, files=files)
# la risposta viene restituita in JSON annotations = json.loads(resp.text) # dizionario dei risultati delle annotazioni bounding_boxes = annotations["boxes"] labels = annotations["labels"]
Annota CLI
Puoi anche utilizzare il comando annota per far sì che il motore salvi una foto annotata su disco. Prova --source 0 per annotare il feed della tua webcam in diretta!
> Percorso del modello originale: zoo:cv/detection/yolov5-s/pytorch/ultralytics/coco/pruned65_quant-none > Dimensione del lotto: 1 > Scenario: sync > Throughput (elementi/sec): 134.9468
Dato che le istanze c6i.8xlarge hanno istruzioni VNNI, il throughput di DeepSparse può essere ulteriormente spinto se i pesi vengono potati in blocchi di 4.
Al batch 1, DeepSparse raggiunge 180 item/sec con un YOLOv5 pruned-quantized a 4 blocchi, unguadagno di prestazioni di 3,7 volte rispetto a ONNX Runtime!
Su Ultralytics, collaboriamo commercialmente con altre startup per aiutarci a finanziare la ricerca e lo sviluppo dei nostri fantastici strumenti open-source, come YOLOv5, per mantenerli gratuiti per tutti. Questo articolo può contenere link di affiliazione a questi partner.
