Edge AI ermöglicht es, Modelle der künstlichen Intelligenz (KI) direkt auf Geräten wie Smartphones, Kameras und Drohnen einzusetzen. Ihr Hauptvorteil ist, dass sie eine schnellere Entscheidungsfindung in Echtzeit ermöglicht, ohne sich auf die Cloud zu verlassen. Studien zeigen, dass der Einsatz von KI auf Edge-Plattformen die betriebliche Effizienz um bis zu 40 % steigern kann. 

Die jüngsten Fortschritte in der KI, insbesondere in der Computer Vision, waren ein zentrales Thema auf der YOLO Vision 2024 (YV24), der jährlichen Hybrid-Veranstaltung von Ultralytics, die KI-Enthusiasten und Experten zusammenbringt, um die neuesten Entwicklungen in der KI zu erkunden. Einer der Höhepunkte der Veranstaltung war die Keynote von Sony, bei der das Unternehmen seine neuen, innovativen KI-Hardware- und Softwarelösungen vorstellte. Der IMX500-Sensor und die AITRIOS-Plattform wurden vorgestellt und Sony demonstrierte, wie diese Innovationen den Einsatz von Ultralytics einfacher und effizienter machen. YOLO Modelle wie Ultralytics YOLO11 und Ultralytics YOLOv8 on edge.

Die Sitzung wurde von Wei Tang, einem Business Development Manager, der sich auf die Bildgebungslösungen von Sony konzentriert, und Amir Servi, einem Edge Deep Learning Product Manager mit Erfahrung im Einsatz von Deep Learning Modellen auf Edge-Geräten, geleitet. 

In diesem Artikel greifen wir den Vortrag von Sony auf der YV24 wieder auf und untersuchen, wie der IMX500-Sensor und die AITRIOS-Plattform die Verwendung von YOLO Modellen für eine schnellere KI-Verarbeitung in Echtzeit optimieren. Los geht's!

Die Vision von Sony: KI auf Edge-Geräten demokratisieren

Wei Tang eröffnete die Sitzung, indem sie über das Ziel von Sony sprach, Edge AI so zugänglich zu machen, wie sie es vor Jahren mit der Fotografie getan haben. Sie betonte, dass Sony sich jetzt darauf konzentriert, fortschrittliche Vision AI durch Edge Computing mehr Menschen zugänglich zu machen. Einer der treibenden Faktoren dahinter ist der positive Einfluss, den Edge AI auf die Umwelt haben kann. Da die Daten direkt auf den Geräten verarbeitet werden, statt in riesigen Rechenzentren, trägt Edge Computing dazu bei, den Energieverbrauch und die Kohlenstoffemissionen zu senken. Das ist ein intelligenter, umweltfreundlicher Ansatz, der perfekt zu Sonys Engagement passt, Technologien zu entwickeln, die nicht nur besser funktionieren, sondern auch zu einer nachhaltigeren Zukunft beitragen.

Wei erklärte weiter, wie Sony Semiconductor Solutions, der auf Bildgebungs- und Sensortechnologien spezialisierte Geschäftsbereich von Sony, fortschrittliche Bildsensoren herstellt. Diese Sensoren werden in einer Vielzahl von Geräten eingesetzt und wandeln Licht in elektronische Signale um, um Bilder aufzunehmen. Mit über 1,2 Milliarden Sensoren , die jedes Jahr ausgeliefert werden und die in fast der Hälfte aller Mobiltelefone weltweit zu finden sind, ist Sony ein wichtiger Akteur in der Bildgebungsbranche. 

‍

Auf dieser Erfahrung aufbauend, geht Sony nun einen Schritt weiter und verwandelt diese Sensoren von Bildaufnahmegeräten in intelligente Werkzeuge, die Daten in Echtzeit verarbeiten können und so KI-gestützte Erkenntnisse direkt auf den Geräten ermöglichen. Bevor wir uns mit den Hardware- und Softwarelösungen befassen, mit denen Sony diesen Wandel unterstützt, wollen wir zunächst die KI-Herausforderungen verstehen, die diese Innovationen lösen sollen.

Herausforderungen im Zusammenhang mit der KI-Bildverarbeitung auf Edge Devices

Die Entwicklung von KI-Lösungen ist mit einigen Herausforderungen verbunden, vor allem bei der Arbeit mit Geräten wie Kameras und Sensoren. Viele dieser Geräte haben eine begrenzte Leistung und Verarbeitungsfähigkeit, was es schwierig macht, fortschrittliche KI-Modelle effizient auszuführen.

Hier sind einige der anderen wichtigen Einschränkungen:

• Software-Komplexität: Die Anpassung von KI-Modellen an verschiedene Edge-Geräte mit unterschiedlichen Hardware-Konfigurationen kann komplex sein und erfordert Anpassungen und Optimierungen.
• Engpässe bei der Nachbearbeitung: Bei der Übertragung großer Datenmengen vom Gerät zum Host für die Nachbearbeitung gibt es oft eine Verzögerung. Das nimmt oft mehr Zeit in Anspruch als die eigentliche KI-Modellinferenz.
• Datenexplosion: Da viele IoT-Geräte ständig Daten erzeugen, kann die Datenmenge, die lokal verarbeitet werden muss, überwältigend sein und die Edge-Geräte zusätzlich belasten.

Den Sony IMX500 Intelligent Vision Sensor kennenlernen

Der Sony IMX500 Intelligent Vision Sensor ist ein bahnbrechendes Stück Hardware für die KI-Verarbeitung. Er ist der weltweit erste intelligente Bildsensor mit KI-Funktionen auf dem Chip. Dieser Sensor hilft dabei, viele Herausforderungen bei der Edge-KI zu überwinden, darunter Engpässe bei der Datenverarbeitung, Datenschutzbedenken und Leistungseinschränkungen.

Während andere Sensoren nur Bilder und Frames weitergeben, erzählt der IMX500 eine ganze Geschichte. Er verarbeitet die Daten direkt auf dem Sensor und ermöglicht es den Geräten, Erkenntnisse in Echtzeit zu gewinnen. Wei Tang sagte auf der Konferenz: "Mit unserer fortschrittlichen Bildsensortechnologie wollen wir eine neue Generation von Anwendungen ermöglichen, die das tägliche Leben verbessern können. Der IMX500 wurde entwickelt, um dieses Ziel zu erreichen, indem er die Art und Weise verändert, wie Geräte Daten direkt auf dem Sensor verarbeiten, ohne dass sie zur Verarbeitung in die Cloud geschickt werden müssen.

Hier sind einige der wichtigsten Funktionen:

• Ausgabe von Metadaten: Anstatt vollständige Bilder zu senden, werden Metadaten ausgegeben, wodurch die Datengröße erheblich reduziert wird, was die Bandbreitennutzung und die Kosten senkt.
• Verbesserter Datenschutz: Durch die Verarbeitung der Daten auf dem Gerät verbessert der IMX500 den Datenschutz, insbesondere in Situationen, in denen es um sensible Informationen geht, wie z. B. bei menschenbezogenen Computer-Vision-Aufgaben wie der Personenzählung.
• Verarbeitung in Echtzeit: Die Fähigkeit des Sensors, Daten schnell zu verarbeiten, bedeutet, dass er schnelle Entscheidungen in Echtzeit unterstützt, die KI-Anwendungen wie autonome Systeme ermöglichen.

Der IMX500 ist nicht einfach nur ein Kamerasensor - er ist ein leistungsstarkes Sensorwerkzeug, das die Art und Weise verändert, wie Geräte die Welt um sie herum wahrnehmen und mit ihr interagieren. Durch die Integration von KI direkt in den Sensor macht Sony KI für Branchen wie die Automobilindustrie, das Gesundheitswesen und intelligente Städte zugänglicher. In den folgenden Abschnitten werden wir näher darauf eingehen, wie der IMX500 mit Ultralytics YOLO Modellen arbeitet, um die Objekterkennung und Datenverarbeitung auf Edge-Geräten zu verbessern.

‍

Die AITRIOS-Plattform von Sony: Vereinfachung von Edge AI

Nach der Vorstellung des IMX500-Sensors erklärte Wei Tang, dass Hardware zwar wichtig ist, aber allein nicht ausreicht, um alle Herausforderungen beim Einsatz von Edge-KI zu meistern. Sie sprach darüber, dass die Integration von KI in Geräte wie Kameras und Sensoren nicht nur fortschrittliche Hardware erfordert, sondern auch eine intelligente Software, um sie zu verwalten. Hier kommt die AITRIOS-Plattform von Sony ins Spiel, die eine zuverlässige Softwarelösung bietet, die den Einsatz von KI auf Edge-Geräten einfacher und effizienter macht.

AITRIOS fungiert als Brücke zwischen komplexen KI-Modellen und den Einschränkungen von Edge-Geräten. Es stellt Entwicklern eine Reihe von Tools zur Verfügung, mit denen sie vortrainierte KI-Modelle schnell einsetzen können. Aber noch wichtiger ist, dass es kontinuierliches Neutraining unterstützt, damit KI-Modelle an Veränderungen in der realen Welt angepasst werden können. 

Wei hob auch hervor, wie AITRIOS den Prozess für diejenigen vereinfacht, die nicht über tiefgreifende KI-Kenntnisse verfügen, und bietet die Flexibilität, KI-Modelle für bestimmte Edge-KI-Anwendungsfälle anzupassen. Außerdem werden gängige Herausforderungen wie Speicherbeschränkungen und Leistungseinbußen bewältigt, so dass KI leichter in kleinere Geräte integriert werden kann, ohne dass die Genauigkeit oder Geschwindigkeit darunter leidet. 

‍

Optimierung der YOLO Modelle auf dem IMX500

Im zweiten Teil des Vortrags wurde das Mikrofon an Amir weitergegeben, der sich mit der technischen Seite der Optimierung der YOLO Modelle auf dem IMX500 Sensor von Sony beschäftigte. 

Amir begann mit den Worten: "Die Modelle vonYOLO sind kantenfähig und dank Glenn und dem Team ziemlich einfach zu optimieren. Ich werde dich davon überzeugen, keine Sorge." Amir erklärte dann, dass zwar viel Wert auf die Optimierung des KI-Modells selbst gelegt wird, dabei aber oft ein wichtiges Problem übersehen wird: Engpässe bei der Nachbearbeitung.

Amir wies darauf hin, dass in vielen Fällen, sobald das KI-Modell seine Aufgabe erfüllt hat, der Prozess der Datenübertragung und der Nachbearbeitung auf einem Host-Gerät zu erheblichen Verzögerungen führen kann. Diese Hin- und Her-Übertragung von Daten zwischen dem Gerät und dem Host-Gerät führt zu Latenzzeiten, die ein großes Hindernis für die Erzielung der besten Leistung darstellen können.

‍

Um dieses Problem zu lösen, betonte Amir, wie wichtig es ist, das gesamte End-to-End-System zu betrachten, anstatt sich nur auf das KI-Modell zu konzentrieren. Beim IMX500-Sensor haben sie herausgefunden, dass die Nachbearbeitung der größte Engpass war, der alles verlangsamt hat. Der eigentliche Durchbruch war die Freischaltung der Nicht-Maximum-Unterdrückung (NMS) auf dem Chip. 

Es ermöglichte die Nachbearbeitung direkt auf dem Sensor und machte die Übertragung großer Datenmengen an ein Host-Gerät überflüssig. Durch den Einsatz von NMS direkt auf dem IMX500 durchbrach Sony die "gläserne Decke der Nachbearbeitung", wie Amir es nannte, und erzielte eine deutlich bessere Leistung und geringere Latenzzeiten.

‍

Als Nächstes werfen wir einen Blick darauf, wie diese Innovation den YOLO Modellen, insbesondere YOLOv8 Nano, effizienter auf Edge-Geräten laufen und neue Möglichkeiten für die Echtzeit-KI-Verarbeitung auf kleinerer, ressourcenbeschränkter Hardware schaffen.

YOLOv8 Modelle erreichen mit Sonys IMX500 einen 4-fachen Geschwindigkeitsschub

Zum Abschluss seines Vortrags demonstrierte Amir, wie sie die Leistung des Modells YOLOv8 Nano vervierfachen konnten, indem sie NMS auf dem Edge laufen ließen. Er demonstrierte dies an einem Raspberry Pi 5, in den der IMX500 AI-Sensor integriert war. Amir verglich die Leistung, wenn die Nachbearbeitung auf einem Host-Gerät und auf dem IMX500-Chip durchgeführt wurde. 

Die Ergebnisse zeigten eine deutliche Verbesserung der Bilder pro Sekunde (FPS) und der Gesamteffizienz, wenn die Verarbeitung auf dem Chip stattfand. Die Optimierung führte zu einer schnelleren und flüssigeren Objekterkennung und zeigte, dass die KI-Verarbeitung in Echtzeit auch auf kleineren, ressourcenbeschränkten Geräten wie dem Raspberry Pi möglich ist.

Die wichtigsten Erkenntnisse

Der IMX500-Sensor von Sony, die AITRIOS-Plattform und Ultralytics YOLO Modelle verändern die KI-Entwicklung. Die KI-Verarbeitung auf dem Chip reduziert die Datenübertragung und die Latenzzeit und verbessert gleichzeitig den Datenschutz, die Sicherheit und die Effizienz. Da der Fokus auf dem gesamten System und nicht nur auf dem KI-Modell liegt, machen diese Innovationen die Edge-KI auch für Entwickler/innen ohne tiefgreifende KI-Kenntnisse zugänglich. Die Weiterentwicklung der Edge-KI-Technologie wird wahrscheinlich intelligentere Geräte, schnellere Entscheidungen und einen stärkeren Schutz der Privatsphäre in einer Vielzahl von Branchen und Anwendungen ermöglichen.

Bleib mit unserer Community in Verbindung, um mehr über KI zu erfahren! In unserem GitHub-Repository erfährst du, wie wir KI nutzen können, um innovative Lösungen in verschiedenen Branchen wie der Landwirtschaft und der Produktion zu entwickeln. 🚀