Wenn du auf "Alle Cookies akzeptieren" klickst, stimmst du der Speicherung von Cookies auf deinem Gerät zu, um die Navigation auf der Website zu verbessern, die Nutzung der Website zu analysieren und unsere Marketingmaßnahmen zu unterstützen. Mehr Infos
Cookie-Einstellungen
Wenn du auf "Alle Cookies akzeptieren" klickst, stimmst du der Speicherung von Cookies auf deinem Gerät zu, um die Navigation auf der Website zu verbessern, die Nutzung der Website zu analysieren und unsere Marketingmaßnahmen zu unterstützen. Mehr Infos
Verbesserte Schätzung der Hand-Keypoints mit Ultralytics YOLO11
Erforsche die KI-gesteuerte Schätzung von Hand-Tastenpunkten mit Ultralytics YOLO11 Unterstützung für die Posenschätzung in Anwendungen wie der Echtzeit-Gestenerkennung.
In letzter Zeit haben die Gebärdensprachdolmetscher beim Super Bowl viel Aufmerksamkeit erregt. Wenn du sie im Fernsehen das Lied deines Lieblingskünstlers singen siehst, kannst du sie verstehen, wenn du die Gebärdensprache beherrschst, weil dein Gehirn ihre Handbewegungen verarbeitet. Aber was wäre, wenn ein Computer dasselbe tun könnte? Dank KI-gestützter Handtracking-Lösungen können Maschinen Handbewegungen mit beeindruckender Genauigkeit verfolgen und interpretieren.
Das Herzstück dieser Lösungen ist Computer Vision, ein Teilbereich der KI, der es Maschinen ermöglicht, visuelle Informationen zu verarbeiten und zu verstehen. Durch die Analyse von Bildern und Videos hilft Vision AI ihnen, Objekte zu erkennen, Bewegungen zu verfolgen und komplexe Gesten mit bemerkenswerter Genauigkeit zu erkennen.
Zum Beispiel können Computer Vision Modelle wie Ultralytics YOLO11 können so trainiert werden, dass sie die Tastenpunkte der Hand in Echtzeit erkennen und analysieren, indem sie eine Posenschätzung vornehmen. Auf diese Weise können diese Modelle für Anwendungen wie Gestenerkennung, Gebärdensprachübersetzung und AR/VR-Interaktionen genutzt werden.
In diesem Artikel erfahren wir, wie YOLO11 die KI-basierte Handverfolgung ermöglicht, welche Datensätze für das Training verwendet werden und wie man ein Modell für die Handposenschätzung trainiert. Außerdem werfen wir einen Blick auf reale Anwendungen. Los geht's!
KI-basierte Erkennung von Hand-Tastenpunkten verstehen
KI kann eingesetzt werden, um Handbewegungen in visuellen Daten zu erkennen und zu verfolgen, indem Schlüsselpunkte wie das Handgelenk, die Fingerspitzen und die Fingergelenke identifiziert werden. Ein Ansatz, der als Pose Estimation bekannt ist, hilft Computern dabei, menschliche Bewegungen zu verstehen, indem sie Schlüsselpunkte abbilden und analysieren, wie sie sich im Laufe der Zeit verändern. So können KI-Systeme Körperhaltung, Gesten und Bewegungsmuster mit hoher Genauigkeit interpretieren.
Computer-Vision-Modelle machen dies möglich, indem sie Bilder oder Videos analysieren, um Schlüsselpunkte auf der Hand zu identifizieren und ihre Bewegung zu verfolgen. Sobald diese Punkte kartiert sind, kann die KI Gesten erkennen, indem sie die räumlichen Beziehungen zwischen den Schlüsselpunkten und deren Veränderung im Laufe der Zeit analysiert.
Wenn sich zum Beispiel der Abstand zwischen Daumen und Zeigefinger verringert, kann die KI dies als Kneifbewegung interpretieren. Wenn du verfolgst, wie sich die Tasten in Sequenzen bewegen, kannst du komplexe Handgesten erkennen und sogar zukünftige Bewegungen vorhersagen.
Abb. 1. Ein Beispiel für die Erkennung von Schlüsselpunkten in einer Hand mithilfe von Computer Vision.
Interessanterweise hat die Posenschätzung für die Handverfolgung aufregende Möglichkeiten eröffnet, von der freihändigen Steuerung intelligenter Geräte bis hin zu verbesserter Roboterpräzision und Unterstützung bei Anwendungen im Gesundheitswesen. Mit der Weiterentwicklung von KI und Computer Vision wird die Handverfolgung wahrscheinlich eine größere Rolle dabei spielen, Technologien im Alltag interaktiver, zugänglicher und intuitiver zu machen.
Erkundung von YOLO11 für die Posenschätzung
Bevor wir uns mit der Entwicklung einer Lösung für die KI-basierte Handverfolgung befassen, werfen wir einen genaueren Blick auf die Pose Estimation und darauf, wie YOLO11 diese Computer Vision Aufgabe unterstützt. Im Gegensatz zur normalen Objekterkennung, bei der ganze Objekte identifiziert werden, konzentriert sich die Posenschätzung auf die Erkennung wichtiger Orientierungspunkte - wie Gelenke, Gliedmaßen oder Kanten - um Bewegung und Haltung zu analysieren.
Ultralytics YOLO11 wurde speziell für die Posenschätzung in Echtzeit entwickelt. Durch den Einsatz von Top-Down- und Bottom-Up-Methoden erkennt es Personen effizient und schätzt die Keypoints in einem Schritt, wodurch es bisherige Modelle in puncto Geschwindigkeit und Genauigkeit übertrifft.
YOLO11 ist bereits mit dem COCO-Pose-Datensatz trainiert und kann Schlüsselpunkte am menschlichen Körper erkennen, darunter Kopf, Schultern, Ellbogen, Handgelenke, Hüften, Knie und Knöchel.
Abb. 2. Verwendung von YOLO11 für die Schätzung der menschlichen Pose.
Neben der Schätzung der menschlichen Pose kann YOLO11 auch so trainiert werden, dass es Schlüsselpunkte auf einer Vielzahl von belebten und unbelebten Objekten erkennt. Diese Flexibilität macht YOLO11 zu einer großartigen Option für eine breite Palette von Anwendungen.
Ein Überblick über den Hand Keypoints-Datensatz
Der erste Schritt beim individuellen Training eines Modells besteht darin, Daten zu sammeln und zu beschriften oder einen bestehenden Datensatz zu finden, der den Anforderungen des Projekts entspricht. Der Hand Keypoints-Datensatz ist zum Beispiel ein guter Ausgangspunkt für das Training von Vision AI-Modellen zur Handverfolgung und Posenschätzung. Mit seinen 26.768 beschrifteten Bildern macht er die manuelle Beschriftung überflüssig.
Mit ihm können Modelle wie Ultralytics YOLO11 trainiert werden, um schnell zu lernen, wie man Handbewegungen erkennt und verfolgt. Der Datensatz enthält 21 Keypoints pro Hand, die das Handgelenk, die Finger und die Gelenke abdecken. Die Anmerkungen des Datensatzes wurden mit Google MediaPipe erstellt, einem Tool zur Entwicklung von KI-gestützten Lösungen für die Medienverarbeitung in Echtzeit, das eine präzise und zuverlässige Erkennung von Keypoints gewährleistet.
Abb. 3. Die 21 Keypoints, die im Hand Keypoints-Datensatz enthalten sind.
Die Verwendung eines strukturierten Datensatzes wie diesem spart Zeit und ermöglicht es den Entwicklern, sich auf das Training und die Feinabstimmung ihrer Modelle zu konzentrieren, anstatt Daten zu sammeln und zu beschriften. Der Datensatz ist bereits in einen Trainings- (18.776 Bilder) und einen Validierungsdatensatz (7.992 Bilder) unterteilt, so dass sich die Leistung des Modells leicht bewerten lässt.
So trainierst du YOLO11 für die Schätzung der Handhaltung
Das Training von YOLO11 für die Schätzung der Handhaltung ist ein unkomplizierter Prozess, insbesondere mit dem Ultralytics Python , das die Einrichtung und das Training des Modells erleichtert. Da der Hand Keypoints-Datensatz bereits in der Trainingspipeline unterstützt wird, kann er ohne zusätzliche Formatierung sofort verwendet werden, was Zeit und Mühe spart.
So funktioniert der Ausbildungsprozess:
Richte die Umgebung ein: Der erste Schritt ist die Installation des Ultralytics Python .
Lade den Hand Keypoints-Datensatz: YOLO11 unterstützt diesen Datensatz von Haus aus, so dass er automatisch heruntergeladen und vorbereitet werden kann.
Verwende ein vorher trainiertes Modell: Du kannst mit einem vortrainierten YOLO11 beginnen, das die Genauigkeit verbessert und den Trainingsprozess beschleunigt.
Trainiere das Modell: Das Modell lernt durch mehrere Trainingszyklen, die Tastenpunkte der Hand zu erkennen und zu verfolgen.
Leistung überwachen: Das Ultralytics bietet auch integrierte Tools, um wichtige Kennzahlen wie Genauigkeit und Verlust zu verfolgen und so sicherzustellen, dass sich das Modell im Laufe der Zeit verbessert.
Speichern und einsetzen: Sobald das Modell trainiert ist, kann es exportiert und für Echtzeitanwendungen zur Handverfolgung verwendet werden.
Bewertung deines individuell trainierten Modells
Wenn du die Schritte zur Erstellung eines benutzerdefinierten Modells durchgehst, wirst du feststellen, dass die Überwachung der Leistung entscheidend ist. Neben der Verfolgung des Fortschritts während des Trainings ist auch die Bewertung des Modells nach dem Training wichtig, um sicherzustellen, dass es die Keypoints der Hand richtig erkennt und verfolgt.
Wichtige Leistungskennzahlen wie Genauigkeit, Verlustwerte und durchschnittliche Genauigkeit (mAP) helfen dabei, die Leistung des Modells zu beurteilen. DasPython von Ultralytics bietet integrierte Tools zur Visualisierung der Ergebnisse und zum Vergleich der Vorhersagen mit echten Anmerkungen, sodass es einfacher ist, Bereiche mit Verbesserungsbedarf zu erkennen.
Um die Leistung des Modells besser zu verstehen, kannst du Auswertungsgrafiken wie Verlustkurven, Precision-Recall-Plots und Konfusionsmatrizen prüfen, die automatisch in den Trainingsprotokollen erstellt werden.
Diese Diagramme helfen dabei, Probleme wie Überanpassung (wenn sich das Modell Trainingsdaten merkt, aber mit neuen Daten Schwierigkeiten hat) oder Unteranpassung (wenn das Modell Muster nicht gut genug lernt, um genau zu arbeiten) zu erkennen und Anpassungen vorzunehmen, um die Genauigkeit zu verbessern. Außerdem ist es wichtig, das Modell an neuen Bildern oder Videos zu testen, um zu sehen, wie gut es in realen Situationen funktioniert.
Anwendungen von KI-gesteuerten Hand-Tracking-Lösungen
Stell dir vor, du könntest die Lautstärke deines Fernsehers durch einfaches Winken mit der Hand regeln oder ein Smart-Home-System mit einer einfachen Wischbewegung in der Luft steuern. Die Echtzeit-Gestenerkennung von YOLO11 macht diese berührungslosen Interaktionen möglich, indem sie Handbewegungen in Echtzeit genau erkennt.
Das funktioniert mit Hilfe von KI-Kameras, die Schlüsselpunkte auf deiner Hand verfolgen und Gesten als Befehle interpretieren. Tiefenerkennungskameras, Infrarotsensoren oder sogar normale Webcams erfassen die Handbewegungen und YOLO11 kann die Daten verarbeiten, um verschiedene Gesten zu erkennen. So kann das System z. B. zwischen einem Wischen zum Wechseln eines Liedes, einem Auf- und Zuziehen zum Heranzoomen oder einer kreisenden Bewegung zum Einstellen der Lautstärke unterscheiden.
KI-basierte Erkennung von Handtasten für die Erkennung von Gebärdensprache
KI-Lösungen für das Hand-Tracking können die nahtlose Kommunikation zwischen einer gehörlosen Person und jemandem, der die Gebärdensprache nicht beherrscht, unterstützen. So können z. B. Smart Devices mit integrierten Kameras und YOLO11 verwendet werden, um Gebärdensprache sofort in Text oder Sprache zu übersetzen.
Dank Fortschritten wie YOLO11 werden Übersetzungswerkzeuge für Gebärdensprache immer genauer und zugänglicher. Dies wirkt sich auf Anwendungen wie Hilfsmittel, Live-Übersetzungsdienste und Bildungsplattformen aus. KI kann helfen, Kommunikationslücken zu schließen und die Inklusion am Arbeitsplatz, in Schulen und im öffentlichen Raum zu fördern.
Computer Vision für Hand-Tracking: Verbesserung von AR- und VR-Erlebnissen
Hast du jemals ein Virtual Reality (VR)-Spiel gespielt, in dem du Objekte greifen konntest, ohne einen Controller zu benutzen? Hand-Tracking mit Hilfe von Computer Vision macht dies möglich, indem es den Nutzern eine natürliche Interaktion in Augmented Reality (AR) und VR-Umgebungen ermöglicht.
Abb. 4. Die Handverfolgung ist ein wichtiger Bestandteil von AR- und VR-Anwendungen.
Mit Modellen wie Ultralytics YOLO11 kann die KI die Bewegungen der Hand in Echtzeit erfassen und Gesten wie Kneifen, Greifen und Streichen ermöglichen. Dies verbessert Spiele, virtuelle Trainings und die Zusammenarbeit aus der Ferne und macht Interaktionen intuitiver. Mit der Verbesserung der Hand-Tracking-Technologie werden sich AR und VR noch immersiver und lebensechter anfühlen.
Die wichtigsten Erkenntnisse
Die Schätzung der Hand-Tastenpunkte mit Ultralytics YOLO11 macht KI-gesteuerte Hand-Tracking-Lösungen zugänglicher und zuverlässiger. Von der Gestenerkennung in Echtzeit über die Interpretation von Gebärdensprache bis hin zu AR/VR-Anwendungen eröffnet die Computer Vision neue Möglichkeiten der Mensch-Computer-Interaktion.
Außerdem helfen optimierte Trainings- und Feinabstimmungsprozesse den Entwicklern, effiziente Modelle für verschiedene reale Anwendungen zu erstellen. Mit der Weiterentwicklung der Computer Vision Technologie können wir noch mehr Innovationen in Bereichen wie Gesundheitswesen, Robotik, Spiele und Sicherheit erwarten.
