Einsatz von quantisierten Ultralytics YOLOv8 Modellen auf Edge Devices mit DeGirum

Willkommen zur Zusammenfassung eines weiteren aufschlussreichen Vortrags von unserer YOLO VISION 2023 (YV23) Veranstaltung, die auf dem lebhaften Google for Startups Campus in Madrid stattfand. Dieser Vortrag wurde von Shashi Chilappagar, Chefarchitekt und Mitbegründer von DeGirum, gehalten. Er tauchte in die faszinierende Welt der Quantisierung und des Einsatzes von quantisierten Modellen ein und beleuchtete die wichtigsten Herausforderungen, Lösungen und zukünftigen Möglichkeiten.

Einführung in die Quantisierung und Einsatz von quantisierten Modellen

Shashi gab einen umfassenden Überblick über die Quantisierung und betonte ihre Bedeutung für die Optimierung von Ultralytics YOLO Modelle für den Einsatz auf Edge-Geräten zu optimieren. Von der Erörterung der Grundlagen bis hin zu Ansätzen zur Verbesserung der Quantisierung erhielten die Teilnehmer/innen wertvolle Einblicke in die Feinheiten der Modellportierung und des Einsatzes.

Herausforderungen bei der Quantisierung von YOLO Modellen

Die Quantisierung stellt oft eine Herausforderung dar, insbesondere bei YOLO Modellen in TFLite. Unsere Zuhörer erfuhren, dass die Genauigkeit deutlich abnimmt, wenn alle Ausgaben mit demselben Skalen-/Nullpunkt quantisiert werden, und erfuhren, wie komplex es ist, die Modellgenauigkeit während des Quantisierungsprozesses zu erhalten.

Verbesserte Quantisierung von YOLO Modellen

Zum Glück gibt es Lösungen, um diese Herausforderungen zu meistern. Die Einführung der DigiRAM-Gabel bietet einen quantisierungsfreundlichen Ansatz, indem sie die Ausgänge trennt und die Bounding-Box-Dekodierung optimiert. Mit diesen Verbesserungen wird die Genauigkeit der quantisierten Modelle im Vergleich zum Ausgangsniveau deutlich verbessert.

Quantisierungsfreundlichere Modellarchitekturen

Die Erforschung neuer Modellarchitekturen ist der Schlüssel zur Minimierung von Quantisierungsverlusten. Die Teilnehmer/innen erfuhren, wie das Ersetzen von CILU durch eine begrenzte Relu6-Aktivierung zu einem minimalen Quantisierungsverlust führt und vielversprechende Ergebnisse für die Beibehaltung der Genauigkeit in quantisierten Modellen liefert.

Einsatz von quantisierten Modellen

Der Einsatz von quantisierten Modellen war noch nie so einfach: Nur fünf Zeilen Code sind nötig, um ein beliebiges Modell auf der Digitim-Cloud-Plattform auszuführen. Eine Live-Code-Demo zeigte, wie einfach es ist, Objekte mit einem quantisierten Modell zu erkennen. Ultralytics YOLOv5 Modells und verdeutlichte die nahtlose Integration von quantisierten Modellen in reale Anwendungen. 

Zu diesem Zweck bietet Ultralytics eine Vielzahl von Optionen für die Modellbereitstellung, die es den Endnutzern ermöglichen, ihre Anwendungen effektiv auf Embedded- und Edge-Geräten einzusetzen. Zu den verschiedenen Exportformaten gehören OpenVINO, TorchScript, TensorRT, CoreML, TFlite und TFlite EDGE TPU, die Vielseitigkeit und Kompatibilität bieten. 

Diese Integration mit Anwendungen von Drittanbietern für den Einsatz ermöglicht es den Nutzern, die Leistung unserer Modelle in realen Szenarien zu bewerten.

Verwendung unterschiedlicher Modelle auf unterschiedlicher Hardware

Die Teilnehmer erhielten auch Einblicke in die Vielseitigkeit des Einsatzes verschiedener Modelle auf unterschiedlichen Hardware-Plattformen und erfuhren, wie eine einzige Codebasis mehrere Modelle auf unterschiedlichen Beschleunigern unterstützen kann. Beispiele für die Ausführung verschiedener Erkennungsaufgaben auf unterschiedlichen Hardware-Plattformen zeigten die Flexibilität und Skalierbarkeit unseres Ansatzes.

Ressourcen und Dokumentation

Um die Teilnehmer/innen noch besser zu unterstützen, haben wir einen umfassenden Ressourcenbereich eingeführt, der Zugang zu unserer Cloud-Plattform, Beispielen, Dokumentationen und vielem mehr bietet. Unser Ziel ist es, sicherzustellen, dass jeder die Werkzeuge und Unterstützung hat, die er braucht, um quantisierte Modelle erfolgreich einzusetzen.

Einpacken

Da sich das Feld der Quantisierung weiterentwickelt, ist es wichtig, dass du informiert und engagiert bleibst. Wir wollen dich auf dieser spannenden Reise unterstützen und dir Ressourcen zur Verfügung stellen, die dir dabei helfen. Schau dir den ganzen Vortrag hier an! 

Sei dabei, wenn wir die neuesten Trends und Innovationen in den Bereichen maschinelles Lernen und künstliche Intelligenz erforschen. Gemeinsam gestalten wir die Zukunft der Technologie und treiben den positiven Wandel in der Welt voran.

‍