파놉틱 세분화

통합 접근 방식 이해

파노라마 세분화를 파악하려면 관련 작업과 비교하면 도움이 됩니다. 객체 감지는 경계 상자를 사용하여 객체를 식별하지만 픽셀 수준의 세부 정보가 부족합니다. 시맨틱 세분화는 각 픽셀을 카테고리로 분류하지만(예: 모든 자동차는 '자동차'로 분류), 같은 카테고리 내의 개별 객체를 구분하지 못합니다. 인스턴스 분할 은 각각의 개별 객체 인스턴스(예: 자동차 1, 자동차 2)를 감지하고 분할하여 이 문제를 해결하지만, 일반적으로 계산 가능한 객체('사물')에 초점을 맞추고 배경 영역('사물', 잔디, 하늘, 도로 등)은 무시할 수 있습니다.

파놉틱 분할은 보다 전체적인 장면 이해를 제공함으로써 이러한 간극을 메웁니다. '사물' 클래스(차량, 보행자, 동물과 같은 셀 수 있는 물체)에 속하든 '사물' 클래스(도로, 벽, 하늘과 같은 무정형 영역)에 속하든 모든 픽셀에 시맨틱 레이블을 할당합니다. 결정적으로, '사물' 클래스에 속하는 픽셀의 경우 고유 인스턴스 ID를 할당하여 각 객체를 같은 유형의 다른 객체와 구분합니다. 이 포괄적인 라벨링은 분류되지 않은 픽셀이 없도록 하여 이미지를 완벽하게 구문 분석할 수 있도록 합니다.

파놉틱 세분화 작동 방식

팬옵틱 분할 모델은 일반적으로 딥 러닝 아키텍처에 의존합니다. 이러한 모델은 공유 피처 추출기(백본 네트워크)와 모든 픽셀의 시맨틱 레이블을 예측하는 특수 헤드 또는 브랜치, '사물' 클래스에 대한 인스턴스 마스크를 사용하는 경우가 많습니다. 그런 다음 이러한 분기의 출력을 지능적으로 결합하거나 융합하여 최종 파놉틱 분할 맵을 생성하며, 각 픽셀에는 시맨틱 레이블과 해당되는 경우 인스턴스 ID가 모두 포함됩니다.

실제 애플리케이션

파놉틱 세분화가 제공하는 포괄적인 장면 이해는 다양한 영역에서 매우 유용합니다:

• 자율 주행: 자율주행차의 경우, 도로, 보도, 신호등, 하늘(의미적 맥락)을 이해하는 동시에 다른 차량과 보행자(인스턴스)를 구별하는 것은 안전한 주행을 위해 필수적입니다. Waymo와 같은 회사와 Tesla 오토파일럿과 같은 기술은 정교한 장면 인식에 크게 의존합니다.
• 의료 영상: 의료 이미지 분석에서 팬옵틱 분할은 개별 세포나 종양(인스턴스)을 정확하게 식별하고 묘사하는 동시에 주변 조직과 배경 구조(시맨틱 레이블)를 분류하여 진단과 치료 계획을 지원합니다. PanNuke와 같은 데이터 세트는 이러한 유형의 핵 세분화에 중점을 둡니다.
• 로봇 공학 및 증강 현실: 로봇이 복잡한 공간과 상호 작용하고 증강 현실 애플리케이션에서 디지털 정보를 정확하게 오버레이하려면 개별 개체와 배경 컨텍스트를 포함한 전체 환경을 이해하는 것이 중요합니다. 로봇 공학 분야는 상세한 환경 매핑을 통해 큰 이점을 얻을 수 있습니다.

Ultralytics 사용한 팬옵틱 세분화

파놉틱 세분화는 복잡한 작업이지만, 다음과 같은 모델의 발전으로 인해 Ultralytics YOLO 와 같은 모델의 발전으로 세분화 성능의 한계를 뛰어넘고 있습니다. 다음과 같은 모델 Ultralytics YOLOv8 과 같은 모델은 관련 이미지 세분화 작업에 강력한 기능을 제공하여 보다 복잡한 인식 시스템을 구축하기 위한 기반을 형성합니다. 사용자는 사용자 지정 데이터 세트에서 모델을 훈련하고 다양한 모델 배포 옵션을 탐색하는 등 간소화된 워크플로우를 위해 Ultralytics HUB와 같은 플랫폼을 활용할 수 있습니다.