Laufen Ultralytics YOLO Modelle auf Intel's AI PC mit OpenVino

YOLO Vision 2024 (YV24), die jährliche Hybrid-Veranstaltung von Ultralytics, brachte KI-Enthusiasten, Entwickler und Experten aus der ganzen Welt zusammen, um die neuesten Innovationen im Bereich Computer Vision zu erkunden. YV24 war eine großartige Gelegenheit und Plattform, um neue Durchbrüche zu diskutieren. Auf der Veranstaltung stellten wichtige Akteure der KI-Branche ihre neuesten Innovationen vor. Darunter war auch Intel, das an der Veranstaltung teilnahm und eine Keynote über seinen neuen bahnbrechenden KI-PC und Intel OpenVinodie Integration mit Ultralytics YOLO Modellen wie Ultralytics YOLO11.

Der Vortrag wurde von Adrian Boguszewski, einem Software Evangelist, der den LandCover. ai-Datensatz mitverfasst hat und Entwickler über das OpenVINO Toolkit von Intelinformiert, und Dmitriy Pastushenkov, einem AI PC Evangelist mit über 20 Jahren Erfahrung in der industriellen Automatisierung und KI, gehalten. Während der Veranstaltung teilte Adrian seine Begeisterung und sagte: "Das ist heute ein großartiges Ereignis, nicht nur weil Ultralytics eine neue YOLO Version geliefert hat, sondern auch weil wir dieses neue Modell auf unserer neuen Hardware sowie eine neue Version von OpenVINO präsentieren können."

In diesem Artikel werfen wir einen Blick auf die wichtigsten Highlights des Vortrags vonIntelauf der YV24. Dabei gehen wir auf die KI-PCs der Intel Core Ultra 200V Serie ein und erläutern, wie sie mit Hilfe des OpenVINO Toolkits in Ultralytics YOLO Modelle integriert werden. Lasst uns loslegen!

Zukunftsweisende KI-Technologien im Jahr 2024

Zu Beginn seiner Keynote ging Dmitriy auf die wichtigsten Unterschiede zwischen traditioneller und generativer KI ein. Dabei ging es darum, wie sich diese Technologien und ihre Anwendungsfälle im Jahr 2024 entwickeln werden. Traditionelle KI-Techniken wie Computer Vision und die Verarbeitung natürlicher Sprache sind für Aufgaben wie Posenschätzung, Objekterkennung und Spracherkennung unerlässlich. Die generative KI hingegen stellt eine neuere Welle von KI-Technologien dar, die Anwendungen wie Chatbots, Text-zu-Bild-Generierung, Codeschreiben und sogar Text-zu-Video umfasst. 

‍

Dmitriy wies auf den Größenunterschied zwischen den beiden Modellen hin. Er erklärte, dass traditionelle KI-Modelle aus Millionen von Parametern bestehen, während generative KI-Modelle in einem viel größeren Maßstab arbeiten. Generative KI-Modelle umfassen oft Milliarden oder sogar Billionen von Parametern, was sie rechenintensiver macht.

Der Intel AI PC: Eine neue KI-Hardware-Grenze

Dmitriy stellte mit dem Intel AI PC eine neue Hardwarelösung vor, die die wachsenden Herausforderungen bei der effizienten Ausführung sowohl traditioneller als auch generativer KI-Modelle bewältigen soll. Der Intel AI PC ist eine leistungsstarke und energieeffiziente Maschine. Er ist in der Lage, eine breite Palette von KI-Modellen lokal auszuführen, ohne dass eine Cloud-basierte Verarbeitung erforderlich ist. 

Die lokale Verarbeitung hilft, sensible Daten geheim zu halten. Wenn KI-Modelle unabhängig von Internetverbindungen arbeiten können, werden die ethischen Bedenken der Industrie hinsichtlich Datenschutz und Sicherheit ausgeräumt.

Die treibende Kraft hinter dem Intel AI PC ist der Prozessor der Intel Core Ultra 200V Serie. Dieser Prozessor besteht aus drei Schlüsselkomponenten: der Central Processing Unit (CPU), der Graphics Processing Unit (GPU) und der Neural Processing Unit (NPU). Jede dieser Komponenten spielt eine bestimmte Rolle bei der Bewältigung verschiedener Arten von KI-Arbeitslasten. Die CPU ist ideal für kleinere Aufgaben mit geringer Latenz, die schnelle Antworten erfordern, während die GPU für Operationen mit hohem Durchsatz, wie die Ausführung von KI-Modellen, optimiert ist. Die NPU, die auf Energieeffizienz ausgelegt ist, eignet sich gut für langlaufende Aufgaben wie die Objekterkennung in Echtzeit mit Modellen wie YOLO11. 

Es wurde hervorgehoben, dass CPU bis zu 5 TOPS (Trillionen von Operationen pro Sekunde) und GPU bis zu 67 TOPS liefern kann und die NPU eine energieeffiziente Möglichkeit bietet, KI-Aufgaben kontinuierlich auszuführen, ohne die Systemressourcen zu belasten.

IntelKI-Fortschritte: Intel Core Ultra 200V Serie

Der Prozessor der Intel Core Ultra 200V Serie integriert alle drei KI-Engines - NPU, CPU und GPU - in einem einzigen kleinen Chip. Sein Design ist perfekt für kompakte Geräte wie Notebooks geeignet, ohne dass die Leistung darunter leidet.

Der Prozessor hat auch einen eingebauten Arbeitsspeicher, so dass keine separate Grafikkarte benötigt wird. Das hilft, den Stromverbrauch zu senken und das Gerät kompakt zu halten. Dmitriy betonte auch die Flexibilität des Prozessors. Die Nutzer/innen können je nach Aufgabe entscheiden, ob die KI-Modelle auf der CPU, GPU oder der NPU laufen sollen. Zum Beispiel kann die Objekterkennung mit den Modellen von YOLO11 auf einem dieser Prozessoren ausgeführt werden, während komplexere Aufgaben wie die Text-zu-Bild-Erzeugung sowohl die GPU als auch die NPU gleichzeitig nutzen können, um eine bessere Leistung zu erzielen.

Während der Präsentation zog Dmitriy den Chip aus seiner Tasche und vermittelte allen einen Eindruck davon, wie klein er wirklich ist - trotz seiner Fähigkeit, so fortschrittliche KI-Aufgaben zu bewältigen. Es war eine lustige und einprägsame Art zu zeigen, wie Intel leistungsstarke KI-Funktionen in tragbare und praktische Geräte bringt.

‍

Optimierung von KI-Modellen mit Intel OpenVino

Nachdem Dmitriy die neuesten Hardware-Entwicklungen von Intel vorgestellt hatte, ging er auf den Software-Stack von Intel ein, der KI unterstützt. Er stellte OpenVINO vor, das Open-Source-Framework von Intel, mit dem KI-Modelle optimiert und effizient auf verschiedenen Geräten eingesetzt werden können. OpenVINO unterstützt nicht nur visuelle Aufgaben, sondern auch KI-Modelle für die Verarbeitung natürlicher Sprache, Audioverarbeitung, Transformatoren usw.

OpenVINO ist kompatibel mit gängigen Plattformen wie PyTorch, TensorFlow, und ONNXund Entwickler können es leicht in ihre Arbeitsabläufe einbinden. Eine wichtige Funktion, auf die er aufmerksam machte, war die Quantisierung. Die Quantisierung komprimiert die Modellgewichte, um ihre Größe zu verringern, so dass große Modelle problemlos auf lokalen Geräten ausgeführt werden können, ohne dass die Cloud benötigt wird. OpenVINO funktioniert mit mehreren Frameworks, läuft auf CPU, GPU, NPU, FPGA oder sogar ARM-Geräten und unterstützt Windows, Linux und macOS. Dmitriy erläuterte den Zuhörern auch, wie einfach der Einstieg in OpenVINO ist. 

‍

Die Integration von Ultralytics mit Intel OpenVino

Im zweiten Teil des Vortrags übergab er das Mikrofon an Adrian, der die nahtlose Integration zwischen Ultralytics YOLO Modellen und Intel's OpenVINO Toolkit erklärte, was den Prozess der YOLO Modellbereitstellung vereinfacht. Er erklärte Schritt für Schritt, wie der Export eines YOLO Modells mit dem Ultralytics Python Paket in das OpenVINO Format schnell und einfach ist. Diese Integration macht es für Entwickler/innen viel einfacher, ihre Modelle für Intel Hardware zu optimieren und das Beste aus beiden Plattformen herauszuholen.

‍

Adrian zeigte, dass ein Ultralytics YOLO Modell mit ein paar einfachen Befehlszeilenflags exportiert werden kann, sobald es trainiert ist. So können sie zum Beispiel angeben, ob sie das Modell als Fließkommaversion für maximale Genauigkeit oder als quantisierte Version für mehr Geschwindigkeit und Effizienz exportieren möchten. Er wies auch darauf hin, wie Entwickler diesen Prozess direkt über den Code steuern können, indem sie Optionen wie die INT8-Quantisierung verwenden, um die Leistung zu verbessern, ohne dabei zu viele Genauigkeitseinbußen hinzunehmen. 

KI-Demos in Echtzeit auf dem Intel AI PC

Um all diese Theorie in die Praxis umzusetzen, präsentierte das Team von Intel eine Echtzeit-Demo der Objekterkennung, die YOLO11 auf dem Intel AI PC. Adrian zeigte, wie das System das Modell auf verschiedenen Prozessoren handhabte und erreichte 36 Bilder pro Sekunde (FPS) auf dem CPU mit einem Fließkommamodell, über 100 FPS auf dem integrierten GPU und 70 FPS mit der quantisierten INT8-Version. Damit konnten sie zeigen, wie effizient der Intel AI PC komplexe KI-Aufgaben bewältigen kann.

Er wies auch darauf hin, dass das System Modelle parallel ausführen kann, indem es die CPU, GPU und NPU zusammen für Aufgaben nutzt, bei denen alle Daten oder Videobilder im Voraus verfügbar sind. Das ist nützlich, wenn große Datenmengen wie Videos verarbeitet werden. Das System kann die Arbeitslast auf verschiedene Prozessoren aufteilen, wodurch es schneller und effizienter wird.

Zum Abschluss erwähnte Adrian, dass die Nutzer Demos zu Hause ausprobieren können, darunter Lösungen wie Personenzählung und intelligentes Warteschlangenmanagement. Dann zeigte er eine Bonus-Demo, bei der die Nutzer/innen Aufforderungen eingeben konnten, um in Echtzeit traumähnliche Bilder auf GPU zu erzeugen. Sie demonstrierte die Vielseitigkeit des Intel AI PC sowohl für traditionelle KI-Aufgaben als auch für kreative, generative KI-Projekte.

Objektdetektion in Echtzeit mit Intel OpenVINO

Auf der Veranstaltung war Intel mit einem Stand vertreten, an dem sie eine Echtzeit-Demo zur Objekterkennung mit YOLO11 zeigten, die auf ihrem Intel AI PC lief. Die Besucher konnten das Modell in Aktion sehen, das mit OpenVINO optimiert und auf dem Intel Core Ultra 200V Prozessor eingesetzt wurde. 

‍

Am Stand von Intel erzählte Dmitry: "Ich bin zum ersten Mal auf der YOLO Vision und ich freue mich, in Madrid zu sein. Wir stellen das YOLO11 Modell von Ultralytics vor, das auf dem Intel Core Ultra 200V Prozessor läuft. Es zeigt eine hervorragende Leistung, und wir nutzen OpenVINO , um das Modell zu optimieren und einzusetzen. Es war sehr einfach, mit Ultralytics zusammenzuarbeiten und das Modell auf der neuesten Intel Hardware laufen zu lassen, die CPU, GPU und NPU nutzt." Am Stand gab es auch tolle Give-aways wie T-Shirts und Notebooks, die die Teilnehmer/innen mit nach Hause nehmen konnten.

Die wichtigsten Erkenntnisse

IntelDer Tech-Talk auf der YV24, bei dem die Prozessoren der Intel Core Ultra 200V Serie vorgestellt wurden, zeigte, wie das OpenVINO Toolkit KI-Modelle wie Ultralytics YOLO11 optimiert. Diese Integration ermöglicht es den Nutzern, die Modelle von YOLO direkt auf ihren Geräten auszuführen und so eine hervorragende Leistung für Computer Vision-Aufgaben wie die Objekterkennung zu erzielen. Der entscheidende Vorteil ist, dass die Nutzer/innen nicht auf Cloud-Dienste angewiesen sind.

Entwickler und KI-Enthusiasten können YOLO Modelle mühelos ausführen und feinabstimmen und dabei Hardware wie CPUs, GPUs und NPUs für Echtzeitanwendungen voll ausnutzen. Intel OpenVINO Toolkit eröffnet in Kombination mit Ultralytics YOLO Modellen neue Möglichkeiten, fortschrittliche KI-Funktionen direkt auf persönliche Geräte zu bringen, und ist damit eine ideale Option für Entwickler, die KI-Innovationen in verschiedenen Branchen vorantreiben wollen.

Lass uns zusammenarbeiten und innovativ sein! Besuche unser GitHub-Repository, um unsere Beiträge zu entdecken und dich mit unserer Community auszutauschen. Sieh dir an, wie wir KI einsetzen, um in Branchen wie der Fertigung und dem Gesundheitswesen etwas zu bewirken.