메타 AI의 세그먼트 애니씽 모델 2(SAM 2)에 대해 자세히 알아보고 다양한 산업 분야에서 어떤 실시간 애플리케이션에 사용할 수 있는지 알아보세요.
2024년 7월 29일, 메타 AI는 세그먼트 애니씽 모델의 두 번째 버전인 SAM 2를 출시했습니다. 이 새로운 모델은 이미지와 동영상 모두에서 어떤 픽셀이 대상 물체에 속하는지 정확히 찾아낼 수 있습니다! 가장 좋은 점은 이 모델이 실시간으로 동영상의 모든 프레임에 걸쳐 물체를 일관되게 추적할 수 있다는 것입니다. SAM 2는 비디오 편집, 혼합 현실 경험, 컴퓨터 비전 시스템 학습을 위한 시각 데이터의 빠른 주석 달기를 위한 흥미로운 가능성을 열어줍니다.
해양 과학, 위성 이미지, 의학 등의 분야에서 사용되어 온 기존 SAM 의 성공을 바탕으로 SAM 2는 빠르게 움직이는 물체와 외형 변화와 같은 문제를 해결합니다. 정확도와 효율성이 향상되어 다양한 분야에서 다용도로 사용할 수 있는 도구입니다. 이 글에서는 SAM 2를 적용할 수 있는 분야와 AI 커뮤니티에 중요한 이유에 대해 집중적으로 살펴봅니다.
세그먼트 애니씽 모델 2는 이미지와 동영상 모두에서 프롬프트 가능한 시각적 분할 또는 PVS를 지원하는 고급 기초 모델입니다. PVS는 모델이 사용자가 제공한 특정 프롬프트나 입력에 따라 이미지나 동영상의 여러 부분을 분할하거나 식별할 수 있는 기술입니다. 이러한 프롬프트는 클릭, 상자 또는 관심 영역을 강조하는 마스크의 형태일 수 있습니다. 그런 다음 모델은 지정된 영역의 윤곽을 그리는 세그먼트 마스크를 생성합니다.
SAM 2 아키텍처는 이미지 세분화에서 비디오 세분화까지 포함하도록 확장하여 기존 SAM 을 기반으로 합니다. 이미지 데이터와 프롬프트를 사용해 세그먼트 마스크를 생성하는 경량 마스크 디코더가 특징입니다. 동영상의 경우, SAM 2는 이전 프레임의 정보를 기억하여 시간이 지나도 정확한 추적을 보장하는 메모리 시스템을 도입했습니다. 메모리 시스템에는 세그먼트되는 객체에 대한 세부 정보를 저장하고 불러오는 구성 요소가 포함되어 있습니다. SAM 2는 또한 여러 개의 가능한 마스크를 생성하여 오클루전을 처리하고 여러 프레임을 통해 오브젝트를 추적하며 모호한 프롬프트를 관리할 수 있습니다. SAM 2의 고급 아키텍처는 정적 및 동적 시각 환경 모두에서 뛰어난 성능을 발휘합니다.
특히 동영상 분할의 경우, SAM 2는 이전 방식에 비해 3배 적은 사용자 인터랙션으로 더 높은 정확도를 달성합니다. 이미지 분할의 경우, SAM 2는 기존 Segment Anything 모델(SAM)보다 6배 더 빠르고 정확합니다. 이러한 개선 사항은 SAM 2 연구 논문에서 이전에 SAM 에서 테스트한 23개의 데이터 세트를 포함하여 37개의 다양한 데이터 세트에 걸쳐 입증되었습니다.
흥미로운 점은 Meta AI의 SAM 2가 현재까지 가장 큰 동영상 세분화 데이터 세트 인 SA-V 데이터 세트를 생성하여 개발되었다는 점입니다. 이 방대한 데이터 세트에는 50,000개 이상의 동영상과 3,550만 개의 세그멘테이션 마스크가 포함되어 있으며, 대화형 사용자 기여를 통해 수집되었습니다. 어노테이터는 모델이 다양한 시나리오와 개체 유형에서 학습할 수 있도록 프롬프트와 수정 사항을 제공했습니다.
이미지 및 동영상 분할의 고급 기능 덕분에 SAM 2는 다양한 산업 분야에서 사용할 수 있습니다. 이러한 애플리케이션 중 몇 가지를 살펴보겠습니다.
메타 AI의 새로운 세분화 모델은 증강 현실(AR) 및 가상 현실(VR) 애플리케이션에 사용할 수 있습니다. 예를 들어, SAM 2는 현실 세계의 물체를 정확하게 식별하고 세분화하여 가상 물체와의 상호작용을 더욱 현실감 있게 만들 수 있습니다. 가상 요소와 실제 요소 간의 사실적인 상호 작용이 필수적인 게임, 교육, 훈련 등 다양한 분야에서 유용하게 사용할 수 있습니다.
AR 안경과 같은 디바이스가 점점 더 발전함에 따라 SAM 2의 기능도 곧 이러한 디바이스에 통합될 수 있습니다. 안경을 쓰고 거실을 둘러본다고 상상해 보세요. 아래 이미지와 같이 안경이 분절되어 반려견의 물그릇을 발견하면 다시 채워야 한다는 것을 알려줄 수 있습니다. 또는 새로운 레시피를 요리하는 경우 안경이 조리대에 있는 재료를 식별하고 단계별 지침과 팁을 제공하여 요리 경험을 개선하고 필요한 모든 품목이 준비되어 있는지 확인할 수 있습니다.
SAM 모델을 사용한 연구에 따르면 소나 이미징과 같은 특수한 영역에 적용할 수 있는 것으로 나타났습니다. 소나 이미징은 낮은 해상도, 높은 노이즈 수준, 이미지 내 물체의 복잡한 모양으로 인해 고유한 과제를 안고 있습니다. 연구자들은 소나 이미지에 대해 SAM 을 미세 조정함으로써 해양 쓰레기, 지질학적 구조물 및 기타 관심 대상과 같은 다양한 수중 물체를 정확하게 분할할 수 있는 능력을 입증했습니다. 정확하고 신뢰할 수 있는 수중 이미지는 해양 연구, 수중 고고학, 어업 관리, 서식지 매핑, 인공물 발견, 위협 탐지 등의 작업에 사용할 수 있습니다.
%25201.avif)
SAM 2는 SAM 이 직면한 많은 문제를 해결하고 개선했기 때문에 소나 이미징 분석을 더욱 향상시킬 수 있는 잠재력을 가지고 있습니다. 정밀한 분할 기능은 과학 연구 및 수산업을 포함한 다양한 해양 분야에 도움이 될 수 있습니다. 예를 들어, SAM 2는 수중 구조물의 윤곽을 효과적으로 파악하고, 해양 쓰레기를 탐지하고, 전방 소나 이미지에서 물체를 식별하여 보다 정확하고 효율적인 수중 탐사 및 모니터링에 기여할 수 있습니다.
소나 영상 분석에 SAM 2를 사용하면 얻을 수 있는 잠재적 이점은 다음과 같습니다:
해양 업계는 SAM 2를 소나 이미징 프로세스에 통합함으로써 수중 탐사 및 분석의 효율성, 정확성, 신뢰성을 높이고 궁극적으로 해양 연구에서 더 나은 결과를 도출할 수 있습니다.
SAM 2의 또 다른 응용 분야는 자율 주행 차량입니다. SAM 2는 보행자, 다른 차량, 도로 표지판, 장애물 등의 물체를 실시간으로 정확하게 식별할 수 있습니다. SAM 2가 제공할 수 있는 세부 수준은 안전한 내비게이션과 충돌 회피 결정을 내리는 데 필수적입니다. 시각 데이터를 정밀하게 처리함으로써 SAM 2는 상세하고 신뢰할 수 있는 환경 지도를 생성하고 더 나은 의사 결정을 내릴 수 있도록 도와줍니다.
SAM 2는 다양한 조명 조건, 날씨 변화, 역동적인 환경에서도 잘 작동하기 때문에 자율주행 차량에 안정적으로 사용할 수 있습니다. 번화한 도심 거리든 안개가 자욱한 고속도로든, SAM 2는 일관되게 물체를 정확하게 식별하고 분할하여 차량이 다양한 상황에 올바르게 대응할 수 있도록 합니다.
하지만 명심해야 할 몇 가지 제한 사항이 있습니다. 복잡하고 빠르게 움직이는 물체의 경우 SAM 2는 때때로 미세한 디테일을 놓칠 수 있으며, 예측이 프레임 전체에 걸쳐 불안정해질 수 있습니다. 또한 SAM 2는 혼잡한 장면에서 비슷하게 생긴 여러 개의 물체를 혼동할 수 있습니다. 이러한 문제 때문에 자율 주행 애플리케이션에서는 추가 센서와 기술을 통합하는 것이 중요합니다.
컴퓨터 비전을 이용한 환경 모니터링은 특히 주석이 달린 데이터가 부족할 때 까다로울 수 있지만, 이것이 바로 SAM 2. SAM 2를 흥미로운 애플리케이션으로 만드는 이유이기도 합니다. 위성 또는 드론 이미지에서 숲, 수역, 도시 지역, 농경지 등 다양한 환경 특징을 정확하게 세분화하고 식별하여 자연 경관의 변화를 추적하고 분석하는 데 사용할 수 있습니다. 특히 정밀한 세분화는 삼림 벌채, 도시화, 시간 경과에 따른 토지 이용 변화를 모니터링하여 환경 보존 및 계획에 유용한 데이터를 제공하는 데 도움이 됩니다.
다음은 SAM 2와 같은 모델을 사용하여 시간 경과에 따른 환경 변화를 분석할 때 얻을 수 있는 몇 가지 이점입니다:
세그먼트 애니씽 2 데모는 동영상에서 모델을 시험해 볼 수 있는 좋은 방법입니다. SAM 2의 PVS 기능을 사용하여 오래된 Ultralytics YouTube 동영상을 가져와서 동영상에 있는 세 명의 사물 또는 사람을 분할하고 픽셀화할 수 있었습니다. 기존에는 이렇게 동영상에서 세 명의 인물을 편집하려면 시간이 오래 걸리고 지루하며 프레임별로 수동 마스킹을 해야 했습니다. 하지만 SAM 2는 이 과정을 간소화합니다. 데모에서 몇 번의 클릭만으로 몇 초 만에 관심 대상 3명의 신원을 보호할 수 있습니다.
또한 이 데모를 통해 추적하도록 선택한 객체에 스포트라이트를 비추고 추적 중인 객체를 지우는 등 몇 가지 다양한 시각 효과를 사용해 볼 수 있습니다. 데모가 마음에 들었고 SAM 2로 혁신을 시작할 준비가 되었다면 Ultralytics SAM 2 모델 문서 페이지에서 모델을 직접 사용해 보는 방법에 대한 자세한 지침을 확인하세요. 기능, 설치 단계 및 예제를 살펴보고 프로젝트에서 SAM 2의 잠재력을 최대한 활용하세요!
메타 AI의 세그먼트 애니씽 모델 2(SAM 2)는 비디오 및 이미지 세그먼테이션을 혁신하고 있습니다. 물체 추적과 같은 작업이 개선됨에 따라 비디오 편집, 혼합 현실, 과학 연구, 의료 영상 분야에서 새로운 기회를 발견하고 있습니다. 복잡한 작업을 더 쉽게 만들고 주석 처리 속도를 높임으로써 SAM 2는 AI 커뮤니티의 중요한 도구로 자리 잡을 준비를 마쳤습니다. SAM 2와 같은 모델을 통해 계속 탐구하고 혁신해 나간다면 다양한 분야에서 더욱 획기적인 애플리케이션과 발전을 기대할 수 있을 것입니다!
GitHub 리포지토리를 살펴보고 커뮤니티에 참여하여 AI에 대해 자세히 알아보세요. 제조 및 의료 분야의 AI에 대한 자세한 인사이트는 솔루션 페이지에서 확인하세요. 🚀
