Bildsegmentierung

Wie die Bildsegmentierung funktioniert

Bildsegmentierungsalgorithmen untersuchen ein Bild Pixel für Pixel und gruppieren Pixel, die bestimmte Merkmale - wie Farbe, Intensität, Textur oder räumliche Lage - gemeinsam haben, zu Segmenten. Frühe Methoden stützten sich auf Techniken wie Schwellenwertbildung, Regionsbildung und Clustering(K-Means, DBSCAN). Moderne Ansätze nutzen jedoch in hohem Maße Deep Learning (DL), insbesondere Convolutional Neural Networks (CNNs). Diese neuronalen Netze lernen komplexe hierarchische Merkmale direkt aus den Trainingsdaten, um eine pixelgenaue Klassifizierung durchzuführen. Das Ergebnis ist in der Regel eine Segmentierungsmaske, ein Bild, in dem der Wert jedes Pixels dem Klassenlabel entspricht, zu dem es gehört, und das die genauen Grenzen von Objekten oder Regionen visuell hervorhebt. Frameworks wie PyTorch und TensorFlow werden häufig verwendet, um diese Modelle zu erstellen und zu trainieren.

Arten der Bildsegmentierung

Bildsegmentierungsaufgaben können sich je nach Art der Objekte und Klassen unterscheiden:

• Semantische Segmentierung: Ordnet jedes Pixel einer vordefinierten Kategorie zu (z. B. "Auto", "Straße", "Himmel"). Dabei wird nicht zwischen verschiedenen Instanzen derselben Objektklasse unterschieden. Alle Autos würden zum Beispiel das gleiche Label erhalten.
• Instanz Segmentierung: Geht einen Schritt weiter als die semantische Segmentierung, indem sie jedes einzelne Objekt in einem Bild identifiziert und abgrenzt. Jedes einzelne Auto erhält eine eigene Kennung oder Maske, auch wenn es zur selben Klasse gehört. Dies ist besonders nützlich, wenn einzelne Objekte gezählt oder verfolgt werden müssen.
• Panoptische Segmentierung: Kombiniert semantische und instanzielle Segmentierung. Sie ordnet jedem Pixel eine Klassenbezeichnung zu (wie die semantische Segmentierung) und identifiziert jedes Objekt eindeutig (wie die Instanzsegmentierung). Sie liefert ein umfassendes, einheitliches Verständnis der Szene.

Abgrenzung der Bildsegmentierung von verwandten Begriffen

• Bildsegmentierung vs. Objekterkennung: Bei der Objekterkennung werden Begrenzungsrahmen (Bounding Boxes) um die Objekte gezogen, die ihre Position und Klasse angeben. Die Bildsegmentierung liefert eine Maske auf Pixelebene, die die genaue Form jedes Objekts oder Bereichs beschreibt und mehr Details bietet als ein einfacher Rahmen.
• Bildsegmentierung vs. Bildklassifizierung: Bei der Bildklassifizierung wird dem gesamten Bild ein einziges Label zugewiesen (z. B. "enthält eine Katze"). Bei der Bildsegmentierung wird jedem Pixel des Bildes ein Etikett zugewiesen, das mehrere Objekte oder Regionen und deren Formen identifiziert.
• Bildsegmentierung vs. Bilderkennung: Bilderkennung ist ein breiterer Begriff für Aufgaben, bei denen KI Objekte, Personen, Orte usw. in Bildern identifiziert. Die Bildsegmentierung ist eine spezielle Art der Bilderkennung, die sich auf die Aufteilung auf Pixelebene konzentriert.

Anwendungen in der realen Welt

Die detaillierte Analyse durch die Bildsegmentierung ermöglicht zahlreiche Anwendungen:

• Medizinische Bildanalyse: Die Segmentierung ist entscheidend, um Tumore, Organe oder Anomalien in CT-Scans, MRTs und Röntgenbildern zu erkennen und zu umreißen. Die YOLO Ultralytics können zum Beispiel Tumore präzise segmentieren und Radiologen bei der Diagnose und Behandlungsplanung unterstützen, indem sie die genaue Größe und Form der betroffenen Bereiche quantifizieren, was oft aussagekräftiger ist als die bloße Erkennung mit einer Bounding Box. Verschiedene medizinische Bildgebungsverfahren profitieren erheblich von diesem Detailgrad.
• Autonome Fahrzeuge: Selbstfahrende Autos verlassen sich stark auf die Segmentierung, um ihre Umgebung auf einer granularen Ebene zu verstehen. Die Segmentierung von Straße, Fahrbahnmarkierungen, Fußgängern, anderen Fahrzeugen und Hindernissen ermöglicht es dem Auto, sicher zu navigieren. Die genaue Kenntnis des befahrbaren Bereichs (Straßensegmentierung) im Vergleich zu nicht befahrbaren Bereichen (Gehwege, Barrieren) ist entscheidend für die Wegplanung und das Erreichen eines höheren Automatisierungsgrads beim Fahren.
• Satellitenbild-Analyse: Wird für die Klassifizierung der Bodenbedeckung (Identifizierung von Wäldern, Gewässern, städtischen Gebieten), die Überwachung der Entwaldung und für landwirtschaftliche Anwendungen wie die Überwachung der Ernte(KI in der Landwirtschaft) verwendet.
• Fertigung: Erkennen von Fehlern oder Durchführen von Qualitätsprüfungen an Montagelinien.
• Einzelhandel: Analysiere die Regalaufteilung oder überwache den Bestand.

Bildsegmentierung und Ultralytics YOLO

Ultralytics YOLO Modelle, wie zum Beispiel YOLOv8 und YOLO11bieten modernste Leistung bei der Segmentierung von Beispielen und sorgen für ein ausgewogenes Verhältnis zwischen Geschwindigkeit und Genauigkeit für Echtzeit-Inferenzen. Das Ultralytics vereinfacht das Training von benutzerdefinierten Segmentierungsmodellen auf Datensätzen wie COCO oder spezialisierten Datensätzen wie Autoteile oder Risssegmentierung. Tools wie Ultralytics HUB bieten eine optimierte Plattform für die Verwaltung von Datensätzen, das Training von Modellen(Cloud-Training möglich) und deren Einsatz. In der Dokumentation zu den Segmentierungsaufgaben findest du Details zur Implementierung oder du kannst Anleitungen wie die Segmentierung mit vortrainierten YOLOv8 oder die Bildsegmentierung mit YOLO11 auf Google Colab folgen.