Anwendungen von Meta AIs Segment Anything Model 2 (SAM 2)

Am 29. Juli 2024 veröffentlichte Meta AI die zweite Version ihres Segment Anything Model, SAM 2. Das neue Modell kann sowohl in Bildern als auch in Videos genau bestimmen, welche Pixel zu einem Zielobjekt gehören! Das Beste daran ist, dass das Modell in der Lage ist, ein Objekt über alle Bilder eines Videos hinweg in Echtzeit zu verfolgen. SAM 2 eröffnet aufregende Möglichkeiten für die Videobearbeitung, Mixed-Reality-Erlebnisse und eine schnellere Beschriftung visueller Daten für das Training von Computer Vision Systemen.

Aufbauend auf dem Erfolg des Originals SAM, das in Bereichen wie Meereswissenschaft, Satellitenbilder und Medizin eingesetzt wurde, stellt sich SAM 2 Herausforderungen wie sich schnell bewegenden Objekten und Veränderungen im Aussehen. Seine verbesserte Genauigkeit und Effizienz machen es zu einem vielseitigen Werkzeug für eine breite Palette von Anwendungen. In diesem Artikel werden wir uns darauf konzentrieren, wo SAM 2 eingesetzt werden kann und warum es für die KI-Gemeinschaft wichtig ist.

Was ist SAM 2?

Das Segment Anything Model 2 ist ein fortschrittliches Basismodell, das promptable visual segmentation (PVS) in Bildern und Videos unterstützt. PVS ist eine Technik, bei der ein Modell verschiedene Teile eines Bildes oder Videos auf der Grundlage bestimmter Aufforderungen oder Eingaben des Nutzers segmentieren oder identifizieren kann. Diese Aufforderungen können in Form von Klicks, Kästchen oder Masken erfolgen, die den Bereich von Interesse hervorheben. Das Modell erstellt dann eine Segmentierungsmaske, die den angegebenen Bereich umreißt.

Die Architektur von SAM 2 baut auf dem Original SAM auf, indem sie die Bildsegmentierung auf die Videosegmentierung ausweitet. Sie verfügt über einen leichtgewichtigen Maskendecoder, der Bilddaten und Eingabeaufforderungen zur Erstellung von Segmentierungsmasken verwendet. Für Videos führt SAM 2 ein Speichersystem ein, mit dem es sich Informationen aus früheren Bildern merken kann, um eine genaue Verfolgung über die Zeit zu gewährleisten. Das Speichersystem umfasst Komponenten, die Details über die zu segmentierenden Objekte speichern und abrufen. SAM 2 kann auch mit Verdeckungen umgehen, Objekte über mehrere Frames hinweg verfolgen und mit mehrdeutigen Aufforderungen umgehen, indem es mehrere mögliche Masken erzeugt. SAM Die fortschrittliche Architektur von 2 macht ihn sowohl in statischen als auch in dynamischen visuellen Umgebungen äußerst leistungsfähig.

Insbesondere bei der Videosegmentierung erreicht SAM 2 eine höhere Genauigkeit bei dreimal weniger Benutzerinteraktionen im Vergleich zu früheren Methoden. Bei der Segmentierung von Bildern übertrifft SAM 2 das ursprüngliche Segment Anything Model (SAM), indem es sechsmal schneller und genauer ist. Diese Verbesserung wurde in der Forschungsarbeit SAM 2 anhand von 37 verschiedenen Datensätzen gezeigt, darunter 23, an denen SAM zuvor getestet wurde. 

‍

Interessanterweise wurde SAM 2 von Meta AI durch die Erstellung des bisher größten Datensatzes zur Videosegmentierung, dem SA-V-Datensatz, entwickelt. Der umfangreiche Datensatz umfasst über 50.000 Videos und 35,5 Millionen Segmentierungsmasken und wurde durch interaktive Nutzerbeiträge gesammelt. Die Kommentatoren gaben Hinweise und Korrekturen, damit das Modell aus einer Vielzahl von Szenarien und Objekttypen lernen konnte.

Anwendungen von Segment Anything Model 2

Dank seiner fortschrittlichen Fähigkeiten bei der Bild- und Videosegmentierung kann SAM 2 in verschiedenen Branchen eingesetzt werden. Sehen wir uns einige dieser Anwendungen an.

SAM 2 Ermöglicht Augmented Reality (AR) und Virtual Reality (VR)

Das neue Segmentierungsmodell von Meta AI kann für Augmented Reality (AR)- und Virtual Reality (VR)-Anwendungen genutzt werden. So kann SAM 2 zum Beispiel reale Objekte genau identifizieren und segmentieren und die Interaktion mit virtuellen Objekten realistischer erscheinen lassen. Dies kann in verschiedenen Bereichen wie Gaming, Bildung und Training nützlich sein, wo eine realistische Interaktion zwischen virtuellen und realen Elementen wichtig ist.

Da Geräte wie AR-Brillen immer fortschrittlicher werden, könnten die Fähigkeiten von SAM 2 bald in sie integriert werden. Stell dir vor, du setzt die Brille auf und schaust dich in deinem Wohnzimmer um. Wenn die Brille den Wassernapf deines Hundes erkennt, könnte sie dich daran erinnern, ihn nachzufüllen, wie auf dem Bild unten zu sehen. Oder wenn du ein neues Rezept kochst, könnte die Brille die Zutaten auf deiner Arbeitsplatte erkennen und dir Schritt-für-Schritt-Anweisungen und Tipps geben, um dein Kocherlebnis zu verbessern und sicherzustellen, dass du alle notwendigen Zutaten zur Hand hast.

‍

Sonarabbildung mit Segment Anything Model 2

Die Forschung mit dem Modell SAM hat gezeigt, dass es in speziellen Bereichen wie der Sonarbildgebung angewendet werden kann. Sonaraufnahmen sind aufgrund der geringen Auflösung, des hohen Rauschpegels und der komplexen Formen der Objekte auf den Bildern mit besonderen Herausforderungen verbunden. Durch die Feinabstimmung von SAM für Sonarbilder haben Forscherinnen und Forscher gezeigt, dass sie verschiedene Unterwasserobjekte wie Meeresmüll, geologische Formationen und andere interessante Objekte genau segmentieren können. Präzise und zuverlässige Unterwasserbilder können in der Meeresforschung, der Unterwasserarchäologie, dem Fischereimanagement und der Überwachung für Aufgaben wie die Kartierung von Lebensräumen, die Entdeckung von Artefakten und die Erkennung von Gefahren eingesetzt werden.

‍

Da SAM 2 viele der Herausforderungen von SAM aufgreift und verbessert, hat es das Potenzial, die Analyse von Sonaraufnahmen weiter zu verbessern. Seine präzisen Segmentierungsfähigkeiten können bei verschiedenen maritimen Anwendungen helfen, z. B. in der wissenschaftlichen Forschung und Fischerei. So kann SAM 2 zum Beispiel Unterwasserstrukturen effektiv umreißen, Meeresmüll erkennen und Objekte in vorwärtsgerichteten Sonarbildern identifizieren und so zu einer genaueren und effizienteren Unterwasserforschung und -überwachung beitragen.

Hier sind die potenziellen Vorteile der Verwendung von SAM 2 zur Analyse von Sonaraufnahmen:

• Effizienz: Der Zeit- und Arbeitsaufwand für die manuelle Segmentierung wird reduziert, sodass sich die Fachkräfte mehr auf Analysen und Entscheidungen konzentrieren können.
• Konsistenz: Liefert konsistente und reproduzierbare Segmentierungsergebnisse, die für die groß angelegte Meeresforschung und -überwachung unerlässlich sind.
• Vielseitigkeit: Er kann eine breite Palette von Sonarbildern verarbeiten und ist daher für verschiedene Anwendungen in der Meeresforschung und Industrie geeignet.

Durch die Integration von SAM 2 in Sonarbildgebungsverfahren kann die Meeresindustrie eine höhere Effizienz, Genauigkeit und Zuverlässigkeit bei der Unterwasserforschung und -analyse erreichen, was letztendlich zu besseren Ergebnissen in der Meeresforschung führt.

Verwendung von SAM 2 in autonomen Fahrzeugen

Eine weitere Anwendung von SAM 2 ist in autonomen Fahrzeugen. SAM 2 kann Objekte wie Fußgänger, andere Fahrzeuge, Straßenschilder und Hindernisse in Echtzeit genau erkennen. Der Detailgrad, den SAM 2 liefern kann, ist für sichere Navigations- und Kollisionsvermeidungsentscheidungen unerlässlich. Durch die präzise Verarbeitung visueller Daten trägt SAM 2 dazu bei, eine detaillierte und zuverlässige Karte der Umgebung zu erstellen, was zu einer besseren Entscheidungsfindung führt.

‍

SAM Die Fähigkeit von 2, bei unterschiedlichen Lichtverhältnissen, Wetterveränderungen und dynamischen Umgebungen gut zu funktionieren, macht es für autonome Fahrzeuge zuverlässig. Egal, ob es sich um eine belebte Straße in der Stadt oder eine neblige Autobahn handelt, SAM 2 kann Objekte stets genau erkennen und segmentieren, sodass das Fahrzeug in verschiedenen Situationen richtig reagieren kann. 

Es gibt jedoch einige Einschränkungen, die du beachten musst. Bei komplexen, sich schnell bewegenden Objekten kann SAM 2 manchmal feine Details übersehen, und seine Vorhersagen können über mehrere Bilder hinweg instabil werden. Außerdem kann SAM 2 manchmal mehrere ähnlich aussehende Objekte in überfüllten Szenen verwechseln. Diese Herausforderungen sind der Grund, warum die Integration zusätzlicher Sensoren und Technologien beim autonomen Fahren von zentraler Bedeutung ist.

Umweltüberwachung mit Hilfe von SAM 2

Die Umweltüberwachung mit Hilfe von Computer Vision kann schwierig sein, vor allem, wenn es an kommentierten Daten mangelt. Aber genau das macht sie zu einer interessanten Anwendung für SAM 2. SAM 2 kann verwendet werden, um Veränderungen in natürlichen Landschaften zu verfolgen und zu analysieren, indem verschiedene Umweltmerkmale wie Wälder, Gewässer, städtische Gebiete und landwirtschaftliche Flächen aus Satelliten- oder Drohnenbildern genau segmentiert und identifiziert werden. Die präzise Segmentierung hilft insbesondere bei der Überwachung von Abholzung, Verstädterung und Änderungen der Landnutzung im Laufe der Zeit und liefert wertvolle Daten für den Umweltschutz und die Planung.

‍

Hier sind einige der Vorteile, die ein Modell wie SAM 2 bietet, um Umweltveränderungen im Laufe der Zeit zu analysieren:

• Frühzeitige Erkennung: Identifiziert frühe Anzeichen von Umweltschäden und ermöglicht so rechtzeitiges Eingreifen, um weitere Schäden zu verhindern.
• Ressourcenmanagement: Hilft bei der effizienten Bewirtschaftung natürlicher Ressourcen, indem es detaillierte Einblicke in den Zustand der verschiedenen Umweltmerkmale liefert.
• Schutz der Biodiversität: Hilft beim Aufspüren von Wildtieren und bei der Überwachung der Artenvielfalt und trägt so zu den Erhaltungsbemühungen und dem Schutz bedrohter Arten bei.
• Katastrophenschutz: Hilft bei der Einschätzung der Auswirkungen von Naturkatastrophen wie Überschwemmungen, Waldbränden und Wirbelstürmen und ermöglicht so eine schnelle und effektive Katastrophenhilfe und Wiederherstellungsplanung.

Videobearbeitung mit SAM 2: Versuche es selbst

Die Segment Anything 2 Demo ist eine gute Möglichkeit, das Modell an einem Video auszuprobieren. Mithilfe der PVS-Funktionen von SAM 2 haben wir ein altes Ultralytics YouTube-Video genommen und konnten drei Objekte oder Personen im Video segmentieren und verpixeln. Normalerweise wäre es zeitaufwändig und mühsam, drei Personen aus einem solchen Video herauszuschneiden, und man müsste Bild für Bild manuell maskieren. SAM 2 vereinfacht diesen Prozess jedoch. Mit ein paar Klicks in der Demo kannst du die Identität von drei interessanten Objekten in Sekundenschnelle schützen.

‍

In der Demo kannst du auch verschiedene visuelle Effekte ausprobieren, z. B. die Objekte, die du für die Verfolgung auswählst, mit einem Scheinwerfer anstrahlen oder die verfolgten Objekte auslöschen. Wenn dir die Demo gefallen hat und du bereit bist, mit SAM 2 zu experimentieren, dann schau dir die Ultralytics SAM 2 model docs Seite an, um eine ausführliche Anleitung zu erhalten, wie du mit dem Modell arbeiten kannst. Erforsche die Funktionen, Installationsschritte und Beispiele, um das Potenzial von SAM 2 in deinen Projekten voll auszuschöpfen!

Einpacken

Das Segment Anything Model 2 (SAM 2) von Meta AI verändert die Video- und Bildsegmentierung. Mit der Verbesserung von Aufgaben wie der Objektverfolgung entdecken wir neue Möglichkeiten in der Videobearbeitung, Mixed Reality, wissenschaftlichen Forschung und medizinischen Bildgebung. Durch die Vereinfachung komplexer Aufgaben und die Beschleunigung von Kommentaren ist SAM 2 auf dem besten Weg, ein wichtiges Werkzeug für die KI-Gemeinschaft zu werden. Wenn wir mit Modellen wie SAM 2 weiter forschen und innovieren, können wir mit noch mehr bahnbrechenden Anwendungen und Fortschritten in verschiedenen Bereichen rechnen!

Erfahre mehr über KI, indem du unser GitHub-Repository erkundest und unserer Community beitrittst. Auf unseren Lösungsseiten findest du detaillierte Informationen über KI in der Produktion und im Gesundheitswesen. 🚀