Acompáñanos mientras nos sumergimos en el Segment Anything Model 2 de Meta AI (SAM 2) y comprendemos para qué aplicaciones en tiempo real puede utilizarse en diversos sectores.
El 29 de julio de 2024, Meta AI lanzó la segunda versión de su Modelo de Segmentación de Cualquier Cosa, SAM 2. ¡El nuevo modelo puede señalar con precisión qué píxeles pertenecen a un objeto objetivo tanto en imágenes como en vídeos! Lo mejor de todo es que el modelo es capaz de seguir sistemáticamente un objeto a través de todos los fotogramas de un vídeo en tiempo real. SAM 2 abre interesantes posibilidades para la edición de vídeo, las experiencias de realidad mixta y la anotación más rápida de datos visuales para el entrenamiento de sistemas de visión por ordenador.
Basándose en el éxito del SAM original, que se ha utilizado en ámbitos como la ciencia marina, las imágenes por satélite y la medicina, SAM 2 aborda retos como los objetos que se mueven rápidamente y los cambios de aspecto. Su mayor precisión y eficacia lo convierten en una herramienta versátil para una amplia gama de aplicaciones. En este artículo, nos centraremos en dónde puede aplicarseSAM 2 y por qué es importante para la comunidad de la IA.
El Modelo Segmentar Cualquier Cosa 2 es un modelo de base avanzado que admite la segmentación visual provocable o PVS, tanto en imágenes como en vídeos. La PVS es una técnica mediante la cual un modelo puede segmentar o identificar diferentes partes de una imagen o vídeo basándose en indicaciones o entradas específicas dadas por el usuario. Estas indicaciones pueden ser clics, recuadros o máscaras que resalten el área de interés. El modelo genera entonces una máscara de segmentación que delimita el área especificada.
La arquitectura SAM 2 se basa en la original SAM ampliando la segmentación de imágenes para incluir también la segmentación de vídeo. Presenta un descodificador de máscaras ligero que utiliza datos de imagen e indicaciones para crear máscaras de segmentación. Para los vídeos, SAM 2 introduce un sistema de memoria que le ayuda a recordar información de fotogramas anteriores, garantizando un seguimiento preciso a lo largo del tiempo. El sistema de memoria incluye componentes que almacenan y recuerdan detalles sobre los objetos que se están segmentando. SAM El 2 también puede manejar oclusiones, rastrear objetos a través de múltiples fotogramas y gestionar indicaciones ambiguas generando varias máscaras posibles. SAM La avanzada arquitectura del 2 lo hace muy capaz tanto en entornos visuales estáticos como dinámicos.
En concreto, respecto a la segmentación de vídeo, SAM 2 consigue una mayor precisión con tres veces menos interacciones del usuario en comparación con los métodos anteriores. Para la segmentación de imágenes, SAM 2 supera al modelo original Segment Anything Model (SAM), siendo seis veces más rápido y preciso. Esta mejora se mostró en el artículo de investigación SAM 2 en 37 conjuntos de datos diferentes, incluidos 23 en los que se había probado anteriormente SAM .
Curiosamente, el programa SAM 2 de Meta AI se desarrolló creando el mayor conjunto de datos de segmentación de vídeos hasta la fecha, el conjunto de datos SA-V. El extenso conjunto de datos incluye más de 50.000 vídeos y 35,5 millones de máscaras de segmentación, y se recopiló mediante contribuciones interactivas de los usuarios. Los anotadores proporcionaron indicaciones y correcciones para ayudar al modelo a aprender de una amplia variedad de escenarios y tipos de objetos.
Gracias a sus avanzadas capacidades de segmentación de imágenes y vídeos, SAM 2 puede utilizarse en diversos sectores. Exploremos algunas de estas aplicaciones.
El nuevo modelo de segmentación de Meta AI puede utilizarse para aplicaciones de Realidad Aumentada (RA) y Realidad Virtual (RV). Por ejemplo, SAM 2 puede identificar y segmentar con precisión objetos del mundo real y hacer que la interacción con objetos virtuales resulte más realista. Puede ser útil en diversos campos como los juegos, la educación y la formación, donde es esencial una interacción realista entre elementos virtuales y reales.
Con dispositivos como las gafas de realidad aumentada cada vez más avanzados, las capacidades de SAM 2 podrían integrarse pronto en ellos. Imagina que te pones las gafas y miras alrededor de tu salón. Cuando tus gafas se segmenten y se fijen en el cuenco de agua de tu perro, podrían recordarte que lo rellenes, como se muestra en la imagen siguiente. O, si estás cocinando una nueva receta, las gafas podrían identificar los ingredientes de tu encimera y ofrecerte instrucciones y consejos paso a paso, mejorando tu experiencia culinaria y asegurándote de que tienes a mano todo lo necesario.
La investigación con el modelo SAM ha demostrado que puede aplicarse en dominios especializados, como las imágenes de sonar. Las imágenes de sonar presentan retos únicos debido a su baja resolución, los altos niveles de ruido y las formas complejas de los objetos de las imágenes. Afinando SAM para las imágenes de sonar, los investigadores han demostrado su capacidad para segmentar con precisión diversos objetos submarinos, como basura marina, formaciones geológicas y otros elementos de interés. Las imágenes subacuáticas precisas y fiables pueden utilizarse en la investigación marina, la arqueología subacuática, la gestión de la pesca y la vigilancia para tareas como la cartografía de hábitats, el descubrimiento de artefactos y la detección de amenazas.
%25201.avif)
Dado que SAM 2 se basa en muchos de los retos a los que se enfrenta SAM y los mejora, tiene potencial para mejorar aún más el análisis de las imágenes de sonar. Su capacidad de segmentación precisa puede ayudar en diversas aplicaciones marinas, como la investigación científica y la pesca. Por ejemplo, SAM 2 puede delinear eficazmente estructuras submarinas, detectar residuos marinos e identificar objetos en imágenes de sonar orientadas hacia delante, contribuyendo a una exploración y vigilancia submarinas más precisas y eficaces.
He aquí las posibles ventajas de utilizar SAM 2 para analizar las imágenes del sonar:
Al integrar SAM 2 en los procesos de obtención de imágenes por sonar, la industria marina puede lograr una mayor eficacia, precisión y fiabilidad en la exploración y el análisis submarinos, lo que en última instancia conduce a mejores resultados en la investigación marina.
Otra aplicación de SAM 2 es en los vehículos autónomos. SAM 2 puede identificar con precisión objetos como peatones, otros vehículos, señales de tráfico y obstáculos en tiempo real. El nivel de detalle que puede proporcionar SAM 2 es esencial para tomar decisiones seguras de navegación y evitación de colisiones. Al procesar los datos visuales con precisión, SAM 2 ayuda a crear un mapa detallado y fiable del entorno y permite tomar mejores decisiones.
SAM La capacidad de 2 para funcionar bien en diferentes condiciones de iluminación, cambios meteorológicos y entornos dinámicos lo hace fiable para los vehículos autónomos. Tanto si se trata de una concurrida calle urbana como de una autopista con niebla, SAM 2 puede identificar y segmentar los objetos de forma consistente y precisa para que el vehículo pueda responder correctamente a las distintas situaciones.
Sin embargo, hay que tener en cuenta algunas limitaciones. En el caso de objetos complejos que se mueven rápidamente, SAM 2 a veces puede pasar por alto detalles finos, y sus predicciones pueden volverse inestables a lo largo de los fotogramas. Además, SAM 2 a veces puede confundir varios objetos de aspecto similar en escenas abarrotadas. Estos retos son la razón por la que la integración de sensores y tecnologías adicionales es fundamental en las aplicaciones de conducción autónoma.
La supervisión medioambiental mediante visión por ordenador puede ser complicada, sobre todo cuando faltan datos anotados, pero eso es también lo que la convierte en una aplicación interesante para SAM 2. SAM 2 puede utilizarse para seguir y analizar los cambios en los paisajes naturales segmentando e identificando con precisión diversas características medioambientales como bosques, masas de agua, zonas urbanas y tierras agrícolas a partir de imágenes de satélite o de drones. En concreto, la segmentación precisa ayuda a controlar la deforestación, la urbanización y los cambios en el uso del suelo a lo largo del tiempo, con el fin de proporcionar datos valiosos para la conservación y la planificación medioambientales.
Éstas son algunas de las ventajas de utilizar un modelo como SAM 2 para analizar los cambios medioambientales a lo largo del tiempo:
La Demo de Segmentar cualquier cosa 2 es una forma estupenda de probar el modelo en un vídeo. Utilizando las capacidades PVS de SAM 2, tomamos un viejo vídeo de YouTubeUltralytics y pudimos segmentar tres objetos o personas del vídeo y pixelarlos. Tradicionalmente, editar tres individuos de un vídeo como ése llevaría mucho tiempo y sería tedioso, y requeriría un enmascaramiento manual fotograma a fotograma. Sin embargo, SAM 2 simplifica este proceso. Con unos pocos clics en la demo, puedes proteger la identidad de tres objetos de interés en cuestión de segundos.
La demo también te permite probar algunos efectos visuales diferentes, como poner un foco en los objetos que selecciones para el seguimiento y borrar los objetos que se estén siguiendo. Si te ha gustado la demostración y estás preparado para empezar a innovar con SAM 2, consulta la página de documentación del modeloUltralytics SAM 2 para obtener instrucciones detalladas sobre cómo ponerte manos a la obra con el modelo. Explora las funciones, los pasos de instalación y los ejemplos para aprovechar al máximo el potencial de SAM 2 en tus proyectos.
El Segment Anything Model 2 de Meta AI (SAM 2) está transformando la segmentación de vídeo e imágenes. A medida que mejoran tareas como el seguimiento de objetos, estamos descubriendo nuevas oportunidades en la edición de vídeo, la realidad mixta, la investigación científica y las imágenes médicas. Al facilitar tareas complejas y acelerar las anotaciones, SAM 2 está preparado para convertirse en una herramienta importante para la comunidad de la IA. A medida que sigamos explorando e innovando con modelos como SAM 2, ¡podremos anticipar aún más aplicaciones y avances revolucionarios en diversos campos!
Conoce más sobre la IA explorando nuestro repositorio de GitHub y uniéndote a nuestra comunidad. Consulta nuestras páginas de soluciones para obtener información detallada sobre la IA en la fabricación y la atención sanitaria. 🚀
Comienza tu viaje con el futuro del aprendizaje automático
