파놉틱 세분화가 어떻게 시맨틱 및 인스턴스 세분화를 통합하여 AI 애플리케이션에서 정확한 픽셀 수준의 장면 이해를 지원하는지 알아보세요.
파놉틱 분할은 픽셀 수준에서 포괄적인 장면 이해를 제공하는 것을 목표로 하는 고급 컴퓨터 비전 기법입니다. 각 픽셀을 사람, 자동차, 도로와 같은 시맨틱 카테고리로 분류하는 시맨틱 분할과 개별 객체 인스턴스(자동차나 사람 각각 등)를 감지하고 분할하는 인스턴스 분할을 통합하고 확장합니다. 기본적으로 파노픽 분할은 이미지의 모든 픽셀에 의미론적 레이블을 할당하는 동시에 객체의 개별 인스턴스를 구분하여 보다 풍부하고 완전한 장면 해석을 제공합니다.
경계 상자 내의 객체를 식별하고 위치를 파악하는 데 중점을 두는 객체 감지와 달리, 파놉틱 분할은 이미지를 훨씬 더 세밀하게 파악할 수 있습니다. 시맨틱 분할은 모든 픽셀을 미리 정의된 카테고리로 분류하지만, 동일한 객체 클래스의 개별 인스턴스를 구분하지는 않습니다. 예를 들어, 의미론적 세분화에서는 자동차를 구분하지 않고 모든 자동차에 '자동차'라는 레이블을 붙입니다. 인스턴스 분할 은 각 객체 인스턴스를 감지하고 각각에 대한 분할 마스크를 생성하여 이 문제를 해결하지만 일반적으로 '사물' 클래스(셀 수 있는 객체)에 초점을 맞추고 '물건' 클래스(하늘, 도로, 잔디와 같은 무정형 영역)는 무시할 수 있습니다.
파놉틱 세분화는 두 가지 작업을 동시에 포괄적으로 수행하여 이러한 격차를 해소합니다. 모든 픽셀에 시맨틱 레이블을 할당하여 '사물' 클래스(예: 사람, 자동차, 자전거) 또는 '사물' 클래스(예: 하늘, 도로, 잔디)로 분류합니다. '사물' 클래스의 경우 인스턴스 ID도 제공하여 각 객체 인스턴스를 효과적으로 세분화하고 구분합니다. 이러한 통합 접근 방식을 통해 이미지의 모든 픽셀이 설명되고 의미 있게 분류되어 전체적인 장면을 이해할 수 있습니다. 탐색할 수 있습니다. Ultralytics YOLO 모델은 세분화를 비롯한 다양한 컴퓨터 비전 작업의 최전선에서 이러한 복잡한 작업을 위한 효율적이고 정확한 솔루션을 제공합니다.
파놉틱 분할 모델은 일반적으로 의미론적 분할과 인스턴스 분할을 동시에 수행하도록 설계된 딥 러닝 아키텍처를 활용합니다. 이러한 모델은 종종 공유 백본 네트워크를 사용하여 입력 이미지에서 특징을 추출한 다음 별도의 분기 또는 헤드를 사용하여 의미론적 및 인스턴스 세분화 작업을 처리합니다. 예를 들어, 일반적인 접근 방식은 네트워크를 사용하여 각 픽셀의 의미론적 레이블을 예측하고 동시에 '사물' 영역에 대한 인스턴스 마스크와 클래스 확률을 예측하는 것입니다. 그런 다음 이러한 결과를 결합하여 최종 파놉틱 세분화 결과를 생성합니다.
다음과 같은 고급 모델 Ultralytics YOLOv8 과 같은 고급 모델에는 세분화 기능이 통합되어 있어 파놉틱 세분화 모델을 학습하고 추론할 수 있습니다. Ultralytics HUB와 같은 플랫폼은 이러한 모델을 훈련, 관리 및 배포하는 프로세스를 더욱 간소화할 수 있습니다.
파놉틱 세그멘테이션의 상세한 장면 이해는 다양한 애플리케이션에서 매우 유용합니다:
자율 주행: 자율주행차는 안전하게 주행하기 위해 주변 환경에 대한 종합적인 이해가 필요합니다. 파놉틱 분할은 자율주행 차량이 보행자, 차량, 교통 표지판, 노면 등 다양한 도로 요소를 동시에 식별하고 구분하는 데 도움이 됩니다. 이러한 상세한 장면 해석은 자율 주행의 의사 결정에 매우 중요합니다. 자율주행차의 AI에 대한 연구는 파놉틱 분할과 같은 컴퓨터 비전 작업의 중요한 역할을 강조합니다.
로봇 공학: 로봇 공학, 특히 복잡한 환경에서의 탐색 및 조작과 같은 작업에서 파놉틱 세그멘테이션은 로봇이 주변 환경에 대한 풍부한 이해를 제공합니다. 로봇은 파놉틱 세분화를 사용하여 상호 작용해야 하는 물체, 피해야 하는 장애물, 탐색 가능한 영역을 구분할 수 있습니다. 예를 들어 창고 환경에서 로봇은 파놉틱 세분화를 사용하여 선반에 있는 다양한 유형의 물품을 식별하고 상자와 사람 주위를 탐색할 수 있습니다. NVIDIA Jetson 장치에Ultralytics YOLO 모델을 통합하면 에지 로봇 애플리케이션에 실시간 파놉틱 세분화 기능을 제공할 수 있습니다.
도시 계획과 스마트 시티: 파놉틱 분할을 사용하여 항공 또는 거리 수준의 이미지에서 도시 장면을 분석하면 도시 계획에 유용한 데이터를 제공할 수 있습니다. 건물 발자국, 도로망, 녹지 공간 매핑, 거리 가구 및 인프라 식별과 같은 작업에 도움이 될 수 있습니다. 이 정보는 스마트 시티의 도시 개발, 교통 관리, 자원 할당에 사용될 수 있습니다.
의료 이미지 분석: 의료 분야에서 파노픽 분할을 의료 이미지에 적용하여 다양한 조직 유형, 장기, 병리 영역을 동시에 분할하는 동시에 세포나 병변의 개별 인스턴스를 구분할 수 있습니다. 이러한 상세한 분석은 진단, 치료 계획, 의학 연구에 도움이 될 수 있습니다. 의료 이미지 분석은 AI 기반 세분화 기술이 점점 더 중요해지고 있는 성장하는 분야입니다.
파놉틱 분할은 이미지에 대한 통합적이고 상세한 이해를 제공함으로써 다양한 AI 및 머신러닝 애플리케이션에서 영향력이 커지고 있는 강력한 도구입니다.
