Ultralytics YOLO11 auf NVIDIA Jetson Orin Nano Super: schnell und effizient

Das NVIDIA Jetson Orin Nano Super Developer Kit, das am 17. Dezember 2024 auf den Markt kommt, ist ein kompakter, aber leistungsstarker generativer KI-Supercomputer, der fortschrittliche Fähigkeiten für das Edge-Computing bietet. Er ermöglicht Echtzeitverarbeitung und macht Cloud-Computing überflüssig. Mit dem NVIDIA Jetson Orin Nano Super können Entwickler erschwingliche intelligente Systeme bauen, die in lokalen Umgebungen effizient arbeiten.

In Kombination mit Ultralytics YOLO Modellen wie Ultralytics YOLO11kann der Jetson Orin Nano Super eine breite Palette von KI-Anwendungen auf dem Edge bewältigen. YOLO11 ist ein Computer Vision Modell, das für seine Geschwindigkeit und Genauigkeit bei Aufgaben wie Objekterkennung, Objektverfolgung und Instanzsegmentierung bekannt ist. 

Die Kombination der Fähigkeiten von YOLO11mit der robusten GPU (Graphics Processing Unit) des Kits und der Unterstützung von Frameworks wie PyTorch, ONNX und NVIDIA TensorRT ermöglicht leistungsstarke Implementierungen. Diese Kombination bietet Entwicklern eine effiziente Lösung für die Erstellung von KI-Anwendungen, von der Objekterkennung in der Robotik bis zur Objektverfolgung in Echtzeit in intelligenten Räumen und Einzelhandelssystemen.

In diesem Artikel schauen wir uns das NVIDIA Jetson Orin Nano Super Developer Kit an, wie es mit Ultralytics YOLO11 für Edge AI funktioniert, seine Leistungsbenchmarks, reale Anwendungen und wie es Entwicklern helfen kann, Vision AI Projekte zu entwickeln. Lasst uns loslegen!

Was ist das NVIDIA Jetson Orin Nano Super Developer Kit?

Das NVIDIA Jetson Orin Nano Super Developer Kit ist ein kompakter, aber leistungsstarker Computer, der generative KI für kleine Geräte neu definiert. Er liefert eine KI-Leistung von bis zu 67 TOPS (Billionen von Operationen pro Sekunde) und ist damit ideal für Entwickler/innen, Schüler/innen und Bastler/innen, die an fortgeschrittenen KI-Projekten arbeiten.

‍

Hier sind einige der wichtigsten Funktionen:

• GPU Leistung: Das Gerät basiert auf der NVIDIA Ampere-Architektur GPU, die 1.024 CUDA Kerne und 32 Tensor Kerne umfasst. CUDA Kerne verarbeiten viele Aufgaben gleichzeitig und beschleunigen so komplexe Berechnungen, während Tensor Kerne für KI-Aufgaben wie Deep Learning spezialisiert sind. 
• Leistungsstark CPU: Das Gerät verfügt über einen 6-Kern-Arm-Cortex-A78AE-Prozessor, der für ein ausgewogenes Verhältnis zwischen Geschwindigkeit und Effizienz sorgt. Das Gerät kann mehrere Aufgaben reibungslos bewältigen und gleichzeitig den Energieverbrauch niedrig halten. Das ist wichtig für Systeme, die lokal betrieben werden und keinen Zugang zu großen Stromquellen haben.
• Effizienter Speicher: Das Kit ist mit 8 GB LPDDR5 (Low Power Double Data Rate 5) Speicher ausgestattet. LPDDR5 ist ein RAM-Typ (Random Access Memory), der auf Geschwindigkeit und Energieeffizienz optimiert ist und es dem Gerät ermöglicht, große Datensätze und Echtzeitverarbeitung zu verarbeiten, ohne übermäßig viel Strom zu verbrauchen.
• Konnektivitätsoptionen: Er verfügt über USB 3.2-Anschlüsse für schnelle Datenübertragungen, einen Gigabit-Ethernet-Anschluss für starke Netzwerkverbindungen und Kamera-Schnittstellen zur Integration von Sensoren oder Kameras. 
• KI-Entwicklungstools: Der Jetson Orin Nano Super arbeitet mit dem NVIDIA JetPack SDK, das Tools wie CUDA für schnellere Berechnungen und TensorRT für die Optimierung von KI-Modellen. Diese Tools erleichtern es Entwicklern, KI-Anwendungen schnell und effizient zu entwickeln und einzusetzen.

Leistungsvergleiche: Jetson Orin Nano Super vs. Orin NX 16GB

Wenn du mit der Arbeit von NVIDIAvertraut bist, fragst du dich vielleicht, wie diese neue Version im Vergleich zum bestehenden NVIDIA Jetson Orin NX 16GB (ohne Supermodus) abschneidet. Während der Jetson Orin NX eine höhere Gesamtleistung bietet, liefert das Jetson Orin Nano Super Developer Kit eine beeindruckende Leistung zu einem Bruchteil des Preises. 

‍

Hier ist ein kurzer Überblick:

• KI-Leistung: Der Jetson Orin Nano Super liefert bis zu 67 TOPS, was für die meisten KI-Aufgaben ausreicht, während der Jetson Orin NX bis zu 100 TOPS für anspruchsvollere Anwendungen bietet.
• Speicher: Der Jetson Orin Nano Super verfügt über 8 GB LPDDR5, genug für Echtzeitaufgaben, während der Orin NX die Kapazität auf 16 GB verdoppelt, um größere Arbeitslasten zu bewältigen.
• Leistungseffizienz: Der Jetson Orin Nano Super ist energieeffizienter und kann zwischen 7W und 25W konfiguriert werden, während der Jetson Orin NX einen höheren Energiebedarf hat.
• GPU: Beide nutzen die NVIDIA Ampere-Architektur mit 1.024 CUDA Kernen und 32 Tensor Kernen für robuste GPU Leistung.

YOLO11 mit Jetson Orin Nano Super: KI an den Rand bringen

Nachdem wir nun ein besseres Verständnis des Jetson Orin Nano Super haben, wollen wir uns ansehen, wie YOLO11 die Vision-KI-Fähigkeiten auf die Spitze treiben kann. Ultralytics YOLO Modelle, einschließlich YOLO11, verfügen über vielseitige Modi wie Trainieren, Vorhersagen und Exportieren, wodurch sie sich an eine Vielzahl von KI-Workflows anpassen lassen. 

Im Trainingsmodus können die Modelle von Ultralytics YOLO beispielsweise fein abgestimmt und auf benutzerdefinierten Datensätzen für bestimmte Anwendungen trainiert werden, z. B. für die Erkennung einzigartiger Objekte oder die Optimierung für bestimmte Umgebungen. Auch der Vorhersagemodus ist für Schlussfolgerungen konzipiert und ermöglicht Computer Vision Aufgaben in Echtzeit. Mit dem Exportmodus schließlich können Modelle in Formate konvertiert werden, die für den Einsatz optimiert sind.

‍

YOLO11 im Exportmodus unterstützt eine Reihe von Optionen für die Modellentwicklung, unter anderem:

• NVIDIA TensorRT: Dieses Format ist für NVIDIA GPUs optimiert und bietet leistungsstarke und latenzarme Inferenzen auf dem Jetson Orin Nano Super.
• ONNX (Open Neural Network Exchange): Es stellt die Kompatibilität über verschiedene Plattformen hinweg sicher und ist damit vielseitig für unterschiedliche Hardware- und Software-Ökosysteme einsetzbar.
• TorchScript: Dieses Format ist ideal für PyTorch-basierte Anwendungen und hilft bei der nahtlosen Integration in PyTorch Arbeitsabläufe.
• TFLite (TensorFlow Lite): Ein Format, das für leichtgewichtige KI-Einsätze entwickelt wurde und sich daher perfekt für mobile und eingebettete Systeme eignet.

Mit diesen Bereitstellungsformaten können Entwickler die Hardware des Jetson Orin Nano Super in vollem Umfang nutzen, um YOLO11 für Echtzeitanwendungen wie intelligente Räume, Robotik und Einzelhandelsautomatisierung auszuführen. 

Benchmarking YOLO11 auf dem NVIDIA Jetson Orin Nano Super

Um eine bessere Vorstellung davon zu bekommen, wie schnell YOLO11 auf dem NVIDIA Jetson Orin Nano Super laufen kann, wollen wir seine beeindruckende Leistung und Benchmarks mit GPU-beschleunigten Exportformaten wie PyTorch, ONNX und TensorRT untersuchen. Diese Tests zeigen, dass der Jetson Orin Nano Super mit YOLO11 Modellen Inferenzzeiten erreicht, die mit denen des Jetson Orin NX 16GB (ohne Supermodus) vergleichbar sind und diese sogar übertreffen.

‍

Was das Ganze noch bemerkenswerter macht, ist die Erschwinglichkeit des Jetson Orin Nano Super. Mit einer solchen Leistung für weniger als die Hälfte des Preises des Jetson Orin NX 16GB bietet er einen außergewöhnlichen Wert für Entwickler, die leistungsstarke YOLO11 Anwendungen entwickeln. Diese Kombination aus Kosten und Leistung macht den Jetson Orin Nano Super zu einer ausgezeichneten Wahl für Echtzeit-Vision-KI-Aufgaben im Edge-Bereich.

‍

Erfahre mehr über YOLO11 und den NVIDIA Jetson Orin Nano Super

Wenn du dich schon darauf freust, YOLO11 auf dem Jetson Orin Nano Super zu installieren, gibt es gute Nachrichten - es ist ein unkomplizierter Prozess. Nachdem du dein Gerät mit dem NVIDIA JetPack SDK geflasht hast, kannst du entweder ein vorgefertigtes Docker-Image für eine schnelle Einrichtung verwenden oder die notwendigen Pakete manuell installieren. 

Für diejenigen, die eine schnellere und nahtlosere Integration wünschen, ist der aktualisierte JetPack 6 Docker-Container die ideale Lösung. Ein Docker-Container ist eine leichtgewichtige, portable Umgebung, die alle notwendigen Werkzeuge und Abhängigkeiten enthält, um eine bestimmte Software auszuführen. 

Der Ultralytics Container, der für JetPack 6.1 optimiert ist, wird mit CUDA 12.6, TensorRT 10.3 und wichtigen Tools wie PyTorch und TorchVision vorinstalliert, die alle auf die ARM64-Architektur des Jetson zugeschnitten sind. Durch die Verwendung dieses Containers können Entwickler Zeit bei der Einrichtung sparen und sich auf die Erstellung und Optimierung ihrer Vision AI-Anwendungen mit YOLO11 konzentrieren.

Anwendungen von YOLO11 auf dem NVIDIA Jetson Orin Nano Super

Für alle, die nach Inspiration für ihr nächstes KI-Projekt suchen: Das Potenzial für kantenbasierte Computer-Vision-Anwendungen ist allgegenwärtig. 

Im alltäglichen Leben definiert Edge AI intelligente Räume neu, indem sie Systeme in die Lage versetzt, Objekte in Echtzeit zu erkennen und zu verfolgen, ohne dabei auf die Verarbeitung in der Cloud angewiesen zu sein. Ob es darum geht, den Verkehr in einer belebten Stadt zu überwachen oder ungewöhnliche Aktivitäten auf öffentlichen Plätzen zu erkennen, Edge Vision AI erhöht die Sicherheit und Effizienz.

Einzelhändler nutzen auch KI und Computer Vision. Von automatisierten Bestandskontrollen bis hin zur Diebstahlprävention- Modelle wie YOLO11 ermöglichen es den Unternehmen, Echtzeitlösungen direkt in den Geschäften einzusetzen. 

Ähnlich verhält es sich bei der KI im Gesundheitswesen: Die Edge-basierte Überwachung gewährleistet die Sicherheit der Patienten, erkennt Anomalien und sorgt für die Einhaltung von Vorschriften - und das alles ohne Verzögerungen durch die Abhängigkeit von der Cloud. Mit Tools wie dem Jetson Orin Nano Super und YOLO11 entfaltet sich die Zukunft der Vision AI genau dort, wo sie am dringendsten gebraucht wird.

Die wichtigsten Erkenntnisse

Der Einsatz von Ultralytics YOLO Modellen wie YOLO11 auf dem NVIDIA Jetson Orin Nano Super Developer Kit bietet eine zuverlässige und effiziente Lösung für Edge AI-Anwendungen. Mit der robusten Leistung von GPU , der nahtlosen Unterstützung von PyTorch, ONNX und TensorRT und beeindruckenden Benchmarks ist es bestens für Echtzeit-Computer-Vision-Aufgaben wie Objekterkennung und -verfolgung geeignet. 

Innovationen und Kooperationen im Bereich der Spitzentechnologien wie Vision AI und Hardwarebeschleunigung verändern unsere Arbeitsweise und ermöglichen es Entwicklern, skalierbare und leistungsstarke Lösungen für den Edge-Bereich zu entwickeln. Mit den Fortschritten der KI machen es Tools wie YOLO11 und der Jetson Orin Nano Super einfacher denn je, intelligente Echtzeitlösungen zum Leben zu erwecken.

Neugierig auf KI? Besuche unser GitHub-Repository, um unsere Beiträge zu erkunden und dich mit unserer Community auszutauschen. Sieh dir an, wie wir KI einsetzen, um in Branchen wie der Landwirtschaft und dem Gesundheitswesen etwas zu bewirken.