Einsatz von Computer Vision Anwendungen auf Edge AI Geräten

Dank der jüngsten Fortschritte im Bereich der Computer Vision und der künstlichen Intelligenz (KI) wird das, was früher nur ein Forschungsgebiet war, heute in einer Reihe von Branchen eingesetzt. Von selbstfahrenden Autos bis hin zu medizinischer Bildgebung und Sicherheit lösen Bildverarbeitungssysteme echte Probleme in großem Maßstab. 

Viele dieser Anwendungen beinhalten die Analyse von Bildern und Videos in Echtzeit. Sich auf Cloud-Computing zu verlassen, ist aufgrund von Latenzzeiten, Kosten und Datenschutzbedenken nicht immer sinnvoll. Edge AI ist in diesen Situationen eine großartige Lösung. Indem Vision AI-Modelle direkt auf Edge-Geräten ausgeführt werden, können Unternehmen Daten schneller, kostengünstiger und sicherer verarbeiten und so die Echtzeit-KI zugänglicher machen.

Während der YOLO Vision 2024 (YV24), der jährlichen Hybrid-Veranstaltung von Ultralytics, war eines der zentralen Themen die Demokratisierung von Vision AI durch eine benutzerfreundlichere und effizientere Bereitstellung. Guy Dahan, Senior Solutions Architect bei NVIDIA, erläuterte, wie NVIDIAHardware- und Softwarelösungen, darunter Edge-Computing-Geräte, Inferenz-Server, Optimierungs-Frameworks und KI-Implementierungs-SDKs, Entwicklern bei der Optimierung von KI im Edge-Bereich helfen.

In diesem Artikel erfahren wir die wichtigsten Erkenntnisse aus Guy Dahans YV24-Keynote und wie die neuesten Innovationen von NVIDIAden Einsatz von Vision AI schneller und skalierbarer machen.

Was ist Edge AI?

Guy Dahan begann seinen Vortrag mit seiner Begeisterung für die Teilnahme an YV24 und seinem Interesse am Ultralytics Python und den Ultralytics YOLO : "Ich benutze Ultralytics seit dem Tag, an dem es herauskam. Ich mag Ultralytics wirklich sehr - ich habe YOLOv5 schon vorher benutzt und bin ein echter Enthusiast für dieses Paket."

Dann stellte er das Konzept der Edge AI vor und erklärte, dass dabei KI-Berechnungen direkt auf Geräten wie Kameras, Drohnen oder Industriemaschinen ausgeführt werden, anstatt Daten zur Verarbeitung an entfernte Cloud-Server zu senden. 

Anstatt darauf zu warten, dass Bilder oder Videos hochgeladen, analysiert und dann mit den Ergebnissen zurückgeschickt werden, ermöglicht Edge AI die sofortige Analyse der Daten auf dem Gerät selbst. Das macht Vision AI-Systeme schneller, effizienter und weniger abhängig von der Internetverbindung. Edge AI ist besonders nützlich für Anwendungen zur Entscheidungsfindung in Echtzeit, z. B. für selbstfahrende Autos, Sicherheitskameras und intelligente Fabriken. 

Die wichtigsten Vorteile von Edge AI

Guy Dahan stellte die wichtigsten Vorteile von Edge AI vor und ging dabei auf Effizienz, Kosteneinsparungen und Datensicherheit ein. Er erklärte, dass einer der größten Vorteile die geringe Latenzzeit ist - da die KI-Modelle Daten direkt auf dem Gerät verarbeiten, müssen keine Informationen an die Cloud gesendet und auf eine Antwort gewartet werden. 

Edge AI hilft auch, Kosten zu senken und sensible Daten zu schützen. Das Senden großer Datenmengen in die Cloud, insbesondere von Videostreams, kann teuer sein. Die lokale Verarbeitung hingegen reduziert die Kosten für Bandbreite und Speicherplatz. 

Ein weiterer wichtiger Vorteil ist der Datenschutz, da die Informationen auf dem Gerät bleiben und nicht auf einen externen Server übertragen werden. Das ist besonders wichtig für Anwendungen in den Bereichen Gesundheit, Finanzen und Sicherheit, bei denen es besonders wichtig ist, die Daten lokal und sicher zu halten.

‍

Auf der Grundlage dieser Vorteile kommentierte Guy Dahan die zunehmende Verbreitung von Edge AI. Er stellte fest, dass sich die Nutzung seit der Einführung von Jetson NVIDIA im Jahr 2014 verzehnfacht hat. Heute arbeiten über 1,2 Millionen Entwickler/innen mit Jetson-Geräten. 

Ein Überblick über den NVIDIA Jetson: ein Edge AI Gerät

Anschließend stellte Guy Dahan die NVIDIA Jetson-Geräte vor, eine Familie von KI-Edge-Computing-Geräten, die hohe Leistung bei geringem Stromverbrauch bieten. Jetson-Geräte sind ideal für Computer-Vision-Anwendungen in Bereichen wie Robotik, Landwirtschaft, Gesundheitswesen und industrielle Automatisierung. "Jetsons sind Edge-Computer, die speziell für KI entwickelt wurden. Ich möchte sogar hinzufügen, dass sie ursprünglich vor allem für Computer Vision entwickelt wurden", fügt Guy Dahan hinzu.

Jetson-Geräte gibt es in drei Stufen, die jeweils für unterschiedliche Bedürfnisse geeignet sind:

• Einstiegsklasse: Diese Geräte bieten eine KI-Leistung von 20 - 40 Billionen Operationen pro Sekunde (TOPS) bei einem Stromverbrauch von 10 - 15 W, was sie zu einer erschwinglichen Wahl für Edge-Anwendungen macht.
• Mainstream: Ein Gleichgewicht zwischen Leistung und Effizienz, das 70 - 200 TOPS bei 20 - 40 W Stromverbrauch bietet und für mittlere KI-Workloads geeignet ist.
• Leistungsstark: Liefert bis zu 275 TOPS bei einem Stromverbrauch von 60 - 75 W, entwickelt für anspruchsvolle KI-Anwendungen wie Robotik und Automatisierung.

Guy Dahan sprach auch über den kommenden Jetson AGX Thor, der noch in diesem Jahr auf den Markt kommt, und sagte, dass er die achtfache GPU (Graphics Processing Unit), die doppelte Speicherkapazität und eine verbesserte CPU (Central Processing Unit) bieten wird. Er wurde speziell für die humanoide Robotik und fortschrittliche Edge AI-Anwendungen entwickelt.

Herausforderungen im Zusammenhang mit dem Einsatz von Computer Vision Modellen

Guy Dahan ging dann auf die Softwareseite von Edge AI ein und erklärte, dass es selbst mit leistungsstarker Hardware eine Herausforderung sein kann, Modelle effizient einzusetzen. 

Eine der größten Hürden ist die Kompatibilität, da KI-Entwickler oft mit verschiedenen KI-Frameworks wie PyTorch und TensorFlow arbeiten. Der Wechsel zwischen diesen Frameworks kann schwierig sein und erfordert, dass die Entwickler/innen neue Umgebungen erstellen, um sicherzustellen, dass alles korrekt läuft.

Skalierbarkeit ist eine weitere zentrale Herausforderung. KI-Modelle benötigen viel Rechenleistung, und wie Dahan es ausdrückt: "Es hat noch nie ein KI-Unternehmen gegeben, das weniger Rechenleistung benötigt." Die Ausweitung von KI-Anwendungen auf mehrere Geräte kann schnell teuer werden, weshalb eine Optimierung unerlässlich ist.

Außerdem sind KI-Pipelines komplex und umfassen oft verschiedene Arten von Daten, Echtzeitverarbeitung und Systemintegration. Die Entwickler geben sich viel Mühe, um sicherzustellen, dass ihre Modelle nahtlos mit bestehenden Software-Ökosystemen zusammenarbeiten. Die Bewältigung dieser Herausforderungen ist ein entscheidender Faktor, um den KI-Einsatz effizienter und skalierbarer zu machen.

‍

Vereinfachte Bereitstellung mit NVIDIA Triton Inference Server

Als Nächstes widmete Guy Dahan seine Aufmerksamkeit dem Triton Inference Server von NVIDIA. Er wies darauf hin, dass viele Unternehmen und Start-ups mit der KI-Entwicklung beginnen, ohne ihre Modelle vollständig zu optimieren. Eine komplette KI-Pipeline von Grund auf neu zu entwerfen, kann störend und zeitaufwändig sein, was eine effiziente Skalierung erschwert. 

Anstatt ein komplettes System zu überholen, ermöglicht Triton es Entwicklern, ihre KI-Workflows schrittweise zu verfeinern und zu optimieren und effizientere Komponenten zu integrieren, ohne ihr bestehendes Setup zu zerstören. Durch die Unterstützung mehrerer KI-Frameworks, darunter TensorFlow, PyTorch, ONNX und TensorRT, ermöglicht Triton einen nahtlosen Einsatz in Cloud-Umgebungen, Rechenzentren und Edge-Geräten mit minimalen Anpassungen.

‍

Hier sind einige der wichtigsten Vorteile von NVIDIA Triton Inference Server:

• Automatisches Batching: Triton fasst mehrere KI-Anfragen zusammen, bevor sie verarbeitet werden. Dadurch werden Verzögerungen (Latenz) reduziert und die Inferenzgeschwindigkeit (die Zeit, die ein KI-Modell benötigt, um Ergebnisse zu generieren) verbessert.
• Kubernetes-Integration: Triton ist Cloud-nativ, d.h. es arbeitet nahtlos mit Kubernetes zusammen (ein System, das die Verwaltung und Skalierung von KI-Anwendungen über mehrere Computer oder Cloud-Server hinweg unterstützt).
• Open-Source und anpassbar: Entwickler können Triton an ihre spezifischen Bedürfnisse anpassen, um die Flexibilität für eine Vielzahl von KI-Anwendungen zu gewährleisten.

Maximierung der KI-Leistung mit NVIDIA TensorRT

Nehmen wir an, du suchst nach noch mehr Beschleunigung; NVIDIA TensorRT ist eine interessante Option, um deine KI-Modelle zu optimieren. Guy Dahan erklärt, dass TensorRT ein hochleistungsfähiger Optimierer für Deep Learning ist, der für NVIDIA entwickelt wurde. Modelle aus TensorFlow, PyTorch, ONNX und MXNet können mit TensorRT in hocheffiziente GPU Dateien umgewandelt werden.

Was TensorRT so zuverlässig macht, sind seine hardwarespezifischen Optimierungen. Ein für Jetson-Geräte optimiertes Modell wird auf anderen GPUs nicht so effizient arbeiten, weil TensorRT die Leistung auf die Zielhardware abstimmt. Ein fein abgestimmtes Computer-Vision-Modell kann die Inferenzgeschwindigkeit im Vergleich zu nicht optimierten Modellen um das 36-fache erhöhen.

Guy Dahan wies auch auf die Unterstützung Ultralytics für TensorRT hin und erläuterte, wie dies die Bereitstellung von KI-Modellen schneller und effizienter macht. DieYOLO Ultralytics können direkt in das TensorRT exportiert werden, sodass Entwickler sie für NVIDIA optimieren können, ohne Änderungen vornehmen zu müssen. 

DeepStream 7.0: ein Toolkit für Streaming-Analysen

Zum Abschluss seines Vortrags stellte Guy Dahan DeepStream 7.0 vor - ein KI-Framework, das für die Echtzeitverarbeitung von Video-, Audio- und Sensordaten mit NVIDIA entwickelt wurde. Es wurde zur Unterstützung von High-Speed-Computer-Vision-Anwendungen entwickelt und ermöglicht die Erkennung, Verfolgung und Analyse von Objekten in autonomen Systemen, Sicherheit, industrieller Automatisierung und intelligenten Städten. Da DeepStream KI direkt auf Edge-Geräten ausführt, entfällt die Abhängigkeit von der Cloud, was die Latenzzeit verringert und die Effizienz erhöht.

‍

DeepStream kann die KI-gestützte Videoverarbeitung von Anfang bis Ende übernehmen. Es unterstützt End-to-End-Workflows, von der Videodekodierung und Vorverarbeitung bis zur KI-Inferenz und Nachverarbeitung. 

Kürzlich hat DeepStream mehrere Updates eingeführt, um den KI-Einsatz zu verbessern und ihn zugänglicher und skalierbarer zu machen. Neue Tools vereinfachen die Entwicklung, verbessern das Tracking mit mehreren Kameras und optimieren die KI-Pipelines für mehr Leistung. 

Entwickler haben jetzt eine erweiterte Unterstützung für Windows-Umgebungen, verbesserte Sensorfusionsfunktionen zur Integration von Daten aus verschiedenen Quellen und Zugang zu vorgefertigten Referenzanwendungen, um die Bereitstellung zu beschleunigen. Diese Verbesserungen machen DeepStream zu einer flexibleren und effizienteren Lösung für Echtzeit-KI-Anwendungen und helfen Entwicklern, intelligente Videoanalysen einfach zu skalieren.

Die wichtigsten Erkenntnisse

Wie Guy Dahan in seiner Keynote bei YV24 erläuterte, definiert Edge AI die Computer Vision Anwendungen neu. Mit Fortschritten bei Hardware und Software wird die Echtzeitverarbeitung schneller, effizienter und kostengünstiger.

Da immer mehr Branchen Edge-KI einsetzen, ist die Bewältigung von Herausforderungen wie Fragmentierung und Komplexität des Einsatzes der Schlüssel, um ihr volles Potenzial zu erschließen. Die Umsetzung dieser Innovationen wird zu intelligenteren, reaktionsschnelleren KI-Anwendungen führen und die Zukunft der Computer Vision prägen.

Werde ein Teil unserer wachsenden Community! Erkunde unser GitHub-Repository, um mehr über KI zu erfahren, und sieh dir unsere Lizenzierungsoptionen an, um deine Vision-KI-Projekte zu starten. Bist du neugierig auf Innovationen wie KI im Gesundheitswesen und Computer Vision in der Produktion? Besuche unsere Lösungsseiten, um mehr zu erfahren!