Wenn du auf "Alle Cookies akzeptieren" klickst, stimmst du der Speicherung von Cookies auf deinem Gerät zu, um die Navigation auf der Website zu verbessern, die Nutzung der Website zu analysieren und unsere Marketingmaßnahmen zu unterstützen. Mehr Infos
Cookie-Einstellungen
Wenn du auf "Alle Cookies akzeptieren" klickst, stimmst du der Speicherung von Cookies auf deinem Gerät zu, um die Navigation auf der Website zu verbessern, die Nutzung der Website zu analysieren und unsere Marketingmaßnahmen zu unterstützen. Mehr Infos
Einsatz von Ultralytics YOLO11 auf Rockchip für effiziente Edge AI
Erfahre, wie du Ultralytics YOLO11 auf dem Rockchip mit dem RKNN Toolkit für effiziente Edge AI, AI-Beschleunigung und Echtzeit-Objekterkennung einsetzen kannst.
Ein neues Schlagwort in der KI-Gemeinschaft ist "Edge AI", vor allem wenn es um Computer Vision geht. Mit der Zunahme von KI-gesteuerten Anwendungen steigt der Bedarf, Modelle effizient auf eingebetteten Geräten mit begrenzter Leistung und Rechenressourcen auszuführen.
Drohnen nutzen zum Beispiel Vision AI für die Echtzeitnavigation, intelligente Kameras erkennen Objekte sofort und industrielle Automatisierungssysteme führen Qualitätskontrollen durch, ohne sich auf Cloud Computing zu verlassen. Diese Anwendungen erfordern eine schnelle, effiziente KI-Verarbeitung direkt auf Edge-Geräten, um Echtzeitleistung und geringe Latenzzeiten zu gewährleisten. Allerdings ist es nicht immer einfach, KI-Modelle auf Edge-Geräten auszuführen. KI-Modelle benötigen oft mehr Leistung und Speicher, als viele Edge-Geräte bewältigen können.
Das RKNN Toolkit von Rockchip hilft dabei, dieses Problem zu lösen, indem es Deep-Learning-Modelle für Rockchip-betriebene Geräte optimiert. Es nutzt dedizierte Neural Processing Units (NPUs), um die Inferenz zu beschleunigen und die Latenzzeit und den Stromverbrauch im Vergleich zur CPU oder GPU zu reduzieren.
Die Vision-KI-Gemeinschaft hat eifrig daran gearbeitet, die Ultralytics YOLO11 auf Rockchip-basierten Geräten laufen zu lassen, und wir haben euch gehört. Wir haben Unterstützung für den Export von YOLO11 in das RKNN-Modellformat hinzugefügt. In diesem Artikel erfahren wir, wie der Export in das RKNN-Format funktioniert und warum der Einsatz von YOLO11 auf Rockchip-basierten Geräten eine große Veränderung darstellt.
Was ist Rockchip und das RKNN Toolkit?
Rockchip ist ein Unternehmen, das System-on-Chips (SoCs) entwickelt - winzige, aber leistungsstarke Prozessoren, die viele eingebettete Geräte betreiben. Diese Chips kombinieren eine CPU, eine GPU und eine Neural Processing Unit (NPU), um alles zu bewältigen - von allgemeinen Rechenaufgaben bis hin zu KI-Anwendungen, die auf Objekterkennung und Bildverarbeitung angewiesen sind.
Rockchip SoCs werden in einer Vielzahl von Geräten eingesetzt, darunter Single-Board-Computer (SBCs), Entwicklungsboards, industrielle KI-Systeme und intelligente Kameras. Viele bekannte Hardwarehersteller wie Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas und Banana Pi bauen Geräte mit SoCs von Rockchip. Diese Boards sind für KI- und Computer-Vision-Anwendungen sehr beliebt, da sie ein ausgewogenes Verhältnis von Leistung, Energieeffizienz und Erschwinglichkeit bieten.
Abb. 1. Ein Beispiel für ein Rockchip-betriebenes Gerät.
Damit KI-Modelle auf diesen Geräten effizient laufen, bietet Rockchip das RKNN (Rockchip Neural Network) Toolkit an. Mit diesem Toolkit können Entwickler Deep-Learning-Modelle für die Verwendung der Neural Processing Units (NPUs) von Rockchip konvertieren und optimieren.
RKNN-Modelle sind für eine niedrige Latenzzeit und eine effiziente Energienutzung optimiert. Durch die Umwandlung von Modellen in RKNN können Entwickler schnellere Verarbeitungsgeschwindigkeiten, einen geringeren Stromverbrauch und eine verbesserte Effizienz auf Rockchip-Geräten erreichen.
RKNN-Modelle werden optimiert
Schauen wir uns genauer an, wie RKNN-Modelle die KI-Leistung auf Rockchip-fähigen Geräten verbessern.
Im Gegensatz zu CPUs und GPUs, die ein breites Spektrum an Rechenaufgaben bewältigen, sind die NPUs von Rockchip speziell für Deep Learning konzipiert. Durch die Konvertierung von KI-Modellen in das RKNN-Format können Entwickler/innen Schlussfolgerungen direkt auf der NPU ausführen. Das macht RKNN-Modelle besonders nützlich für Echtzeit-Computer-Vision-Aufgaben, bei denen eine schnelle und effiziente Verarbeitung wichtig ist.
NPUs sind für KI-Aufgaben schneller und effizienter als CPUs und GPUs, weil sie für die parallele Verarbeitung von Berechnungen in neuronalen Netzen ausgelegt sind. Während CPUs Aufgaben Schritt für Schritt abarbeiten und GPUs die Arbeitslast auf mehrere Kerne verteilen, sind NPUs dafür optimiert, KI-spezifische Berechnungen effizienter durchzuführen.
Dadurch laufen RKNN-Modelle schneller und verbrauchen weniger Strom, was sie ideal für batteriebetriebene Geräte, intelligente Kameras, Industrieautomatisierung und andere KI-Anwendungen macht, die Entscheidungen in Echtzeit erfordern.
Überblick über die Ultralytics YOLO Modelle
Ultralytics YOLO (You Only Look Once) sind für Echtzeit-Computer-Vision-Aufgaben wie Objekterkennung, Instanzsegmentierung und Bildklassifizierung konzipiert. Sie sind für ihre Schnelligkeit, Genauigkeit und Effizienz bekannt und werden in vielen Branchen eingesetzt, z. B. in der Landwirtschaft, der Fertigung, dem Gesundheitswesen und bei autonomen Systemen.
Diese Modelle haben sich im Laufe der Zeit erheblich verbessert. Zum Beispiel, Ultralytics YOLOv5 die Objekterkennung mit PyTorch einfacher gemacht. Dann, Ultralytics YOLOv8 neue Funktionen wie Posenschätzung und Bildklassifizierung hinzu. Jetzt geht YOLO11 noch einen Schritt weiter, indem es die Genauigkeit erhöht und gleichzeitig weniger Ressourcen verbraucht. Tatsächlich schneidet YOLO11m im COCO-Datensatz besser ab und benötigt dabei 22 % weniger Parameter als YOLOv8m, was es sowohl präziser als auch effizienter macht.
Abb. 2. Erkennen von Objekten mit YOLO11.
DieYOLO Ultralytics unterstützen auch den Export in mehrere Formate, was einen flexiblen Einsatz auf verschiedenen Plattformen ermöglicht. Zu diesen Formaten gehören ONNX, TensorRT, CoreML und OpenVINO, so dass Entwickler die Freiheit haben, die Leistung je nach Zielhardware zu optimieren.
Mit der zusätzlichen Unterstützung für den Export von YOLO11 in das RKNN-Modellformat kann YOLO11 jetzt auch die Vorteile der NPUs von Rockchip nutzen. Das kleinste Modell, YOLO11n im RKNN-Format, erreicht eine beeindruckende Inferenzzeit von 99,5 ms pro Bild und ermöglicht so eine Echtzeitverarbeitung auch auf eingebetteten Geräten.
Exportiere dein YOLO11 ins RKNN-Format
Derzeit können YOLO11 in das RKNN-Format exportiert werden. Bleib dran - wir arbeiten daran, in zukünftigen Updates Unterstützung für andere Computer Vision Aufgaben und INT8-Quantisierung hinzuzufügen.
Der Export von YOLO11 ins RKNN-Format ist ein unkomplizierter Prozess. Du kannst dein individuell trainiertes YOLO11 laden, die Rockchip-Zielplattform angeben und es mit ein paar Zeilen Code ins RKNN-Format konvertieren. Das RKNN-Format ist mit verschiedenen Rockchip-SoCs kompatibel, darunter RK3588, RK3566 und RK3576, sodass eine breite Hardware-Unterstützung gewährleistet ist.
Abb. 3. Exportieren von YOLO11 in das RKNN-Modellformat.
Einsatz von YOLO11 auf Rockchip-basierten Geräten
Sobald das RKNN-Modell exportiert wurde, kann es auf Rockchip-basierten Geräten eingesetzt werden. Um das Modell einzusetzen, lädst du einfach die exportierte RKNN-Datei auf dein Rockchip-Gerät und startest die Inferenz - den Prozess, bei dem das trainierte KI-Modell neue Bilder oder Videos analysiert und Objekte in Echtzeit erkennt. Mit nur wenigen Zeilen Code kannst du beginnen, Objekte aus Bildern oder Videostreams zu identifizieren.
Abb. 4. Durchführung einer Inferenz mit dem exportierten RKNN-Modell.
Edge AI-Anwendungen von YOLO11 und Rockchip
Um eine bessere Vorstellung davon zu bekommen, wo YOLO11 auf Rockchip-fähigen Geräten in der realen Welt eingesetzt werden kann, wollen wir einige wichtige KI-Anwendungen durchgehen.
Rockchip Prozessoren werden häufig in Android Tablets, Entwicklungsboards und industriellen KI-Systemen eingesetzt. Dank der Unterstützung von Android, Linux und Python kannst du ganz einfach Vision-KI-gesteuerte Lösungen für eine Vielzahl von Branchen entwickeln und einsetzen.
Robuste Tablets integriert mit YOLO11
Eine häufige Anwendung, bei der YOLO11 auf Rockchip-betriebenen Geräten läuft, sind robuste Tablets. Dabei handelt es sich um robuste, leistungsstarke Tablets, die für raue Umgebungen wie Lagerhallen, Baustellen und industrielle Umgebungen entwickelt wurden. Diese Tablets können die Objekterkennung nutzen, um die Effizienz und Sicherheit zu verbessern.
In der Lagerlogistik können Arbeiter/innen zum Beispiel ein Rockchip-betriebenes Tablet mit YOLO11 verwenden, um Inventar automatisch zu scannen und zu erkennen, was menschliche Fehler reduziert und die Bearbeitungszeiten beschleunigt. Auch auf Baustellen können diese Tablets eingesetzt werden, um zu erkennen, ob die Arbeiter die vorgeschriebene Sicherheitsausrüstung wie Helme und Westen tragen, was den Unternehmen hilft, Vorschriften durchzusetzen und Unfälle zu vermeiden.
Abb. 5. Erkennen von Fangvorrichtungen mit YOLO11.
Industrielle KI für die Qualitätskontrolle
In der Fertigung und Automatisierung können Rockchip-gesteuerte Industrieboards eine große Rolle bei der Qualitätskontrolle und Prozessüberwachung spielen. Ein industrielles Board ist ein kompaktes, leistungsstarkes Computermodul, das für eingebettete Systeme in industriellen Umgebungen entwickelt wurde. Diese Boards enthalten in der Regel Prozessoren, Speicher, E/A-Schnittstellen und Konnektivitätsoptionen, die mit Sensoren, Kameras und automatischen Maschinen verbunden werden können.
Wenn YOLO11 auf diesen Boards laufen, können Produktionslinien in Echtzeit analysiert werden, um Probleme sofort zu erkennen und die Effizienz zu verbessern. In der Automobilproduktion zum Beispiel kann ein KI-System mit Rockchip-Hardware und YOLO11 Kratzer, falsch ausgerichtete Teile oder Lackfehler erkennen, während die Autos das Fließband durchlaufen. Indem sie diese Mängel in Echtzeit erkennen, können die Hersteller den Ausschuss reduzieren, die Produktionskosten senken und höhere Qualitätsstandards sicherstellen, bevor die Fahrzeuge die Kunden erreichen.
Vorteile der Ausführung von YOLO11 auf Rockchip-basierten Geräten
Rockchip-basierte Geräte bieten ein gutes Gleichgewicht zwischen Leistung, Kosten und Effizienz, was sie zu einer guten Wahl für den Einsatz von YOLO11 in Edge-KI-Anwendungen macht.
Hier sind ein paar Vorteile von YOLO11 auf Rockchip-basierten Geräten:
Verbesserte KI-Leistung: Rockchip-fähige Geräte verarbeiten KI-Inferenz effizienter als CPU Boards wie der Raspberry Pi und bieten eine schnellere Objekterkennung und geringere Latenz.
Kostengünstige Lösung: Wenn du mit künstlicher Intelligenz experimentierst und eine preisgünstige Lösung suchst, die trotzdem leistungsstark ist, ist der Rockchip eine gute Wahl. Er bietet eine erschwingliche Möglichkeit, YOLO11 zu betreiben, ohne Kompromisse bei Geschwindigkeit oder Effizienz einzugehen.
Energieeffizienz: Die Ausführung von Computer-Vision-Modellen auf Rockchip-betriebenen Geräten verbraucht weniger Strom als GPUs, was sie ideal für batteriebetriebene Geräte und eingebettete KI-Anwendungen macht.
Die wichtigsten Erkenntnisse
Ultralytics YOLO11 kann effizient auf Rockchip-basierten Geräten laufen, indem es die Hardwarebeschleunigung und das RKNN-Format nutzt. Dies verkürzt die Inferenzzeit und verbessert die Leistung, was es ideal für Echtzeit-Computer-Vision-Aufgaben und Edge-KI-Anwendungen macht.
Das RKNN Toolkit bietet wichtige Optimierungswerkzeuge wie Quantisierung und Feinabstimmung, damit die YOLO11 auf Rockchip-Plattformen gut funktionieren. Die Optimierung von Modellen für eine effiziente Verarbeitung auf dem Gerät wird mit der zunehmenden Verbreitung von Edge AI von entscheidender Bedeutung sein. Mit den richtigen Tools und der richtigen Hardware können Entwickler/innen neue Möglichkeiten für Computer-Vision-Lösungen in verschiedenen Branchen erschließen.
