Kompilieren und Quantisieren Ultralytics YOLOv5 Für bessere Leistung mit Deci

Auf Ultralytics gehen wir kommerzielle Partnerschaften mit anderen Start-ups ein, die uns dabei helfen, die Forschung und Entwicklung unserer großartigen Open-Source-Tools wie YOLOv5 zu finanzieren, damit sie für alle kostenlos bleiben. Dieser Artikel kann Affiliate-Links zu diesen Partnern enthalten.

Die Deci-Plattform enthält kostenlose Tools für die einfache Verwaltung, Optimierung und den Einsatz deiner YOLOv5 Modelle in jeder Produktionsumgebung. Deci unterstützt alle gängigen DL-Frameworks, wie TensorFlow, PyTorch, Keras und ONNX. Alles, was du brauchst, ist unsere webbasierte Plattform oder unser Python Client, um sie von deinem Code aus auszuführen.

Warum Deci?

Du kannst Deci nicht nur zum Exportieren, sondern auch zum Beschneiden und Quantisieren des Modells verwenden!

Deci bietet eine schöne Schnittstelle für den Export in ein beliebiges Format und den Leistungsvergleich zwischen dem Original und den konvertierten Modellen. Die Nutzer können ihre Modelle durch Quantisierung weiter optimieren.

Mit Deci kannst du:

Verbessern Sie die Inferenzleistung um bis zu 10x

Kompiliere und quantisiere deine Modelle automatischund bewerte verschiedene Produktionseinstellungen, um eine bessere Latenzzeit zu erreichen und die Modellgröße und den Speicherbedarf auf deiner Hardware zu reduzieren.

‍Findedie beste Inferenz-Hardware für deine Anwendung

Testedie Leistung deines Modells auf verschiedenen Geräten (einschließlich Edge-Geräten) mit einem Knopfdruck. Es ist nicht mehr nötig, mehrere Hardware- und Produktionseinstellungen manuell einzurichten und zu testen.

Verteilenmit ein paar Zeilen Code

Nutzedie auf python basierende Inferenzmaschine von Deci. Kompatibel mit verschiedenen Frameworks und Hardwaretypen.

Weitere Informationen über die Deci-Plattform findest du auf der Website von Deci.

Erstmalige Einrichtung

Schritt 1

Eröffne dein kostenloses Konto.

Schritt 2

Um mit der Optimierung deines vortrainierten YOLOv5 Modells zu beginnen, musst du es in das ONNX Format konvertieren. Unter YOLOv5 Export Tutorial erfährst du, wie du dein Modell in das ONNX Format konvertieren kannst.

Schritt 3

Gehe auf die Registerkarte "Labor" und klicke auf die Schaltfläche "Neues Modell" oben rechts im Bildschirm, um dein YOLOv5 ONNX Modell hochzuladen.

Folge den Schritten des Modell-Upload-Assistenten, um deine Zielhardware sowie die gewünschte Losgröße und Quantisierungsstufe für die Modellkompilierung auszuwählen.

Nachdem du die relevanten Informationen eingegeben hast, klicke auf "Start". Die Deci-Plattform führt automatisch eine Laufzeitoptimierung deines YOLOv5 Modells für die von dir ausgewählte Hardware durch und testet dein Modell auf verschiedenen Hardwaretypen. Dieser Vorgang dauert etwa 10 Minuten.

Sobald du das getan hast, erscheint eine neue Zeile auf deinem Bildschirm unterhalb des zuvor hochgeladenen Basismodells. Hier siehst du die optimierte Version deines vortrainierten YOLOv5 Modells.

Was kommt als Nächstes?

Du kannst dein optimiertes Modell dann herunterladen, indem du auf die Schaltfläche "Bereitstellen" klickst.

Du wirst dann aufgefordert, dein Modell herunterzuladen und erhältst Anweisungen zur Installation und Nutzung von Infery - der Runtime Inference Engine von Deci.

Die Verwendung von Infery ist optional. Du kannst die python Rohdateien erhalten und sie mit jeder anderen Inferenzmaschine deiner Wahl verwenden.

Erkunde die Optimierungs- und Benchmark-Ergebnisse auf der Registerkarte "Einblicke".

Bist du bereit anzufangen?

Bevor wir zum Schluss kommen, lass uns noch einige der Vorteile von Deci besprechen:

• Optimiere den Inferenzdurchsatz und die Latenz deines Modells, ohne die Genauigkeit zu beeinträchtigen
• Ermöglicht es dir, Modelle aus allen gängigen Frameworks zu optimieren
• Unterstützt Modelle für jede Deep-Learning-Aufgabe
• Unterstützt den Einsatz auf gängigen CPU und GPU Maschinen
• Benchmarking der Eignung deines Modells auf verschiedenen Hardware-Hosts und Cloud-Anbietern
• Bereitet hochgeladene Modelle für das Serving, die Inferenz und den Einsatz vor

Wie du gerade gesehen hast, kannst du die Leistung eines YOLOv5 Modells in insgesamt 15 Minuten verdoppeln. Die Deci-Plattform ist super einfach und intuitiv zu bedienen.

Hast du Fragen? Tritt unserer Community bei und hinterlasse deine Frage noch heute!

‍