Instanz-Segmentierung

So funktioniert die Instanzsegmentierung

Modelle zur Segmentierung von Instanzen analysieren ein Bild, um zunächst potenzielle Objekte zu lokalisieren und dann für jedes erkannte Objekt vorherzusagen, welche Pixel zu dieser spezifischen Instanz gehören. Herkömmliche Ansätze, wie die einflussreiche Mask R-CNN-Architektur, verwenden oft einen zweistufigen Prozess: Zuerst führen sie eine Objekterkennung durch, um Vorschläge für Bounding Boxes zu erstellen, und dann erzeugen sie eine Segmentierungsmaske innerhalb jeder vorgeschlagenen Box. Diese Methoden sind zwar effektiv, aber auch sehr rechenintensiv.

Neuere Ansätze, darunter Modelle wie Ultralytics YOLOverwenden oft einstufige Pipelines. Diese Modelle sagen in einem einzigen Durchgang durch das neuronale Netzwerk (NN) gleichzeitig Bounding Boxes, Klassenbezeichnungen und Instanzmasken voraus, was zu erheblichen Geschwindigkeitsverbesserungen führt und sie für Echtzeit-Inferenzen geeignet macht. Zum Trainieren dieser Modelle werden große Datensätze mit Anmerkungen auf Pixelebene benötigt, wie z. B. der weit verbreitete COCO-Datensatz, insbesondere die Segmentierungsannotationen. Dabei kommen in der Regel Deep Learning (DL)-Techniken zum Einsatz, bei denen Convolutional Neural Networks (CNNs) zum Erlernen komplexer visueller Merkmale genutzt werden.

Instanzsegmentierung vs. verwandte Aufgaben

Es ist wichtig, die Instanzsegmentierung von anderen Bildsegmentierungsaufgaben zu unterscheiden:

• Objekterkennung: Identifiziert das Vorhandensein und die Position von Objekten mithilfe von Begrenzungsrahmen (Bounding Boxes), liefert aber keine Forminformationen. Die Instanzensegmentierung geht noch weiter, indem sie die genauen Pixel jedes Objekts umreißt.
• Semantische Segmentierung: Ordnet jedem Pixel eines Bildes eine Klassenbezeichnung zu (z. B. "Auto", "Person", "Straße"). Dabei wird jedoch nicht zwischen verschiedenen Instanzen der gleichen Klasse unterschieden. Alle Autos würden z. B. zum gleichen Segment "Auto" gehören. Mehr dazu erfährst du in diesem Leitfaden zur Instanzsegmentierung und semantischen Segmentierung.
• Panoptische Segmentierung: Kombiniert semantische und instanzielle Segmentierung. Sie ordnet jedem Pixel ein Klassenlabel zu (wie die semantische Segmentierung) und identifiziert außerdem jedes Objekt eindeutig (wie die Instanzsegmentierung).

Die Instanzsegmentierung konzentriert sich auf die Erkennung und Abgrenzung einzelner Objektinstanzen und bietet eine hohe Genauigkeit hinsichtlich der Objektgrenzen und -trennung.

Anwendungen der Instanzensegmentierung

Die Fähigkeit, einzelne Objekte genau zu identifizieren und zu isolieren, macht die Instanzsegmentierung in vielen Bereichen unschätzbar wertvoll:

• Autonomes Fahren: Selbstfahrende Autos sind auf die Segmentierung von Instanzen angewiesen, um ihre Umgebung genau wahrnehmen zu können. Die Unterscheidung zwischen einzelnen Fahrzeugen, Fußgängern, Radfahrern und Hindernissen, selbst in unübersichtlichen oder sich überschneidenden Szenen, ist entscheidend für eine sichere Navigation und Entscheidungsfindung. Unternehmen wie Waymo setzen solche Techniken ausgiebig ein.
• Medizinische Bildanalyse: In der Radiologie und Pathologie hilft die Instanzsegmentierung dabei, bestimmte Strukturen wie Tumore, Organe oder Zellen in Scans(CT, MRT usw.) zu umreißen. Diese Präzision auf Pixelebene hilft bei der Diagnose, der Messung der Tumorgröße, der Planung von Operationen und der Verfolgung des Krankheitsverlaufs. Der Einsatz von YOLO11 bei der Tumorerkennung zeigt diese Anwendung im weiteren Kontext der KI im Gesundheitswesen.
• Robotik: Roboter, die Aufgaben wie Greifen oder Manipulation in unstrukturierten Umgebungen ausführen, müssen einzelne Objekte genau identifizieren und lokalisieren. Die Segmentierung von Objekten ermöglicht es Robotern, die genaue Form und die Grenzen von Gegenständen zu erkennen, um erfolgreich zu interagieren, was in KI in der Robotik näher untersucht wird.
• Satellitenbildanalyse: Für die detaillierte Kartierung der Bodenbedeckung, die Überwachung der Zersiedelung durch Identifizierung einzelner Gebäude oder die Verfolgung bestimmter Objekte wie Schiffe oder Fahrzeuge. Diese Detailgenauigkeit unterstützt die Umweltüberwachung, das Ressourcenmanagement und das Sammeln von Informationen. Erforsche allgemeine Techniken zur Analyse von Satellitenbildern.
• Landwirtschaftliche Überwachung: Hilft beim Zählen einzelner Pflanzen oder Früchte, bei der Beurteilung des Gesundheitszustands von Pflanzen oder bei der Identifizierung bestimmter Unkrautarten für gezielte Maßnahmen und trägt so zur Präzisionslandwirtschaft bei.

Instanz-Segmentierung mit Ultralytics YOLO

Ultralytics bietet hochmoderne Modelle, die eine effiziente Instanzsegmentierung durchführen können. Modelle wie YOLOv8 und YOLO11 sind so konzipiert, dass sie bei verschiedenen Bildverarbeitungsaufgaben, einschließlich der Segmentierung von Instanzen, eine hohe Leistung erbringen(siehe Details zur Segmentierungsaufgabe). Nutzer/innen können vortrainierte Modelle nutzen oder mit Hilfe von Tools wie der Ultralytics HUB-Plattform, die den Workflow des maschinellen Lernens (ML) von der Datenverwaltung bis zur Modellbereitstellung vereinfacht, Feinabstimmungen an benutzerdefinierten Datensätzen vornehmen. Für die praktische Umsetzung stehen Ressourcen wie Tutorials zur Segmentierung mit vortrainierten Ultralytics YOLOv8 Modellen oder Anleitungen zur Isolierung von Segmentierungsobjekten zur Verfügung. Du kannst auch lernen, wie du Ultralytics YOLO11 für die Segmentierung von Instanzen verwendest. Beliebte Frameworks wie PyTorch und TensorFlow werden häufig für die Entwicklung und den Einsatz dieser Modelle verwendet.