U-Net

핵심 아키텍처

U-Net 아키텍처는 문자 'U'를 닮은 방식으로 연결된 두 가지 주요 경로, 즉 축소 경로(인코더라고도 함)와 확장 경로(디코더라고도 함)로 구성됩니다.

1. 계약 경로(인코더): 이 경로는 CNN의 일반적인 아키텍처를 따릅니다. 이는 두 개의 3x3 컨볼루션(비패딩 컨볼루션)을 반복적으로 적용한 다음 각각 ReLU(정류 선형 유닛) 활성화 함수를 적용한 다음 다운샘플링을 위해 최대 2x2 풀링 작업을 스트레이드 2로 반복하는 것으로 구성됩니다. 각 다운샘플링 단계마다 피처 채널 수가 두 배로 증가합니다. 이 경로는 입력 이미지의 컨텍스트를 캡처하여 공간 해상도를 점진적으로 줄이면서 특징 정보를 증가시킵니다.
2. 확장 경로(디코더): 이 경로는 특징 맵을 업샘플링한 다음 특징 채널 수를 절반으로 줄이는 2x2 컨볼루션("업 컨볼루션"), 축소 경로에서 그에 따라 잘린 특징 맵과의 연결, 두 개의 3x3 컨볼루션과 각각 ReLU로 이어지는 반복 단계로 구성됩니다. 각 컨볼루션에서 경계 픽셀이 손실되기 때문에 자르기가 필요합니다. 최종 레이어는 1x1 컨볼루션을 사용하여 각 특징 벡터를 원하는 수의 클래스에 매핑합니다. 이 경로는 출력의 해상도를 점진적으로 높이고 스킵 연결을 통해 축소 경로의 고해상도 특징과 결합하여 정밀한 로컬라이제이션을 가능하게 합니다. U-Net과 같은 인코더-디코더 아키텍처는 세분화 작업에서 흔히 사용됩니다.
3. 연결 건너뛰기: 이 두 경로를 연결하는 핵심 혁신은 스킵 연결을 사용하는 것입니다. 이러한 연결은 축소 경로의 레이어에서 특징 맵을 복사하여 확장 경로의 해당 업샘플링된 특징 맵과 연결합니다. 이를 통해 디코더는 인코더가 학습한 고해상도 특징에 직접 액세스할 수 있으며, 이는 정확한 디테일이 포함된 세분화 맵을 생성하는 데 매우 중요합니다.

주요 기능 및 장점

U-Net의 설계는 특히 세분화 작업에서 몇 가지 장점을 제공합니다:

• 정밀한 로컬라이제이션: 스킵 연결과 결합된 광범위한 경로를 통해 네트워크는 매우 세밀한 디테일의 세분화 마스크를 생성할 수 있습니다.
• 작은 데이터 세트의 효율성: U-Net은 의료 영상 분석에서 흔히 볼 수 있는 비교적 작은 훈련 데이터셋으로도 효과적으로 훈련할 수 있습니다. 네트워크에 원하는 불변성을 학습시키기 위해 광범위한 데이터 증강을 U-Net과 함께 사용하는 경우가 많습니다.
• 엔드투엔드 훈련: 입력 이미지에서 출력 세분화 맵까지 전체 네트워크를 직접 학습할 수 있어 학습 파이프라인을 간소화할 수 있습니다.
• 우수한 일반화: 의료 영상뿐만 아니라 정밀한 세분화가 필요한 다른 영역에서도 강력한 성능을 보여주었습니다.

실제 애플리케이션

처음에는 생체 의학 이미징을 위해 설계되었지만 U-Net의 아키텍처는 다목적이며 다양한 애플리케이션에 적용되었습니다:

• 의료 이미지 분석: 주로 종양 감지Ultralytics 종양 감지에관한Ultralytics 블로그), 장기 분할, 세포 계수 등의 작업을 위해 MRI 스캔(뇌종양 데이터 세트 예시), CT 스캔, 현미경 이미지와 같은 의료 이미지를 분할하는 데 사용됩니다. 생물의학 이미지 세분화 리뷰에서 자세히 알아보세요. DICOM과 같은 표준을 준수하는 분석을 자동화하는 데 도움이 됩니다.
• 위성 이미지 분석: U-Net은 토지 피복 분류, 도로망 추출, 건물 면적 분할, 위성 또는 항공 이미지의 환경 변화 모니터링에 사용됩니다. 다양한 원격 감지 애플리케이션을 살펴보세요.
• 자율 주행: 도로 차선, 보행자, 기타 차량을 세분화하여 장면을 파악합니다.
• 산업 품질 관리: 제조 공정에서 결함을 감지하거나 구성 요소를 세분화합니다(제조 분야의 AI).
• 농업: 드론 이미지에서 작물, 잡초를 세분화하거나 식물의 건강 상태를 평가(농업 분야의 AI).

유사한 개념의 U-Net과 구별하기

U-Net은 주로 이미지의 각 픽셀에 클래스 레이블(예: '종양', '도로', '건물')을 할당하는 시맨틱 세분화에 중점을 둡니다. 이는 다음과 다릅니다:

• 인스턴스 세분화: 이 작업은 픽셀을 분류할 뿐만 아니라 같은 클래스에 속하는 객체의 개별 인스턴스를 구분합니다(예: car_1, car_2, car_3에 고유한 라벨을 붙이는 것). U-Net을 인스턴스 세분화에 적용할 수 있지만, Mask R-CNN과 같은 모델이 더 직접적으로 적합한 경우가 많습니다.
• 객체 감지: 여기에는 모든 픽셀을 분류하는 것이 아니라 객체를 식별하고 그 주위에 경계 상자를 그리는 작업이 포함됩니다. 다음과 같은 모델 Ultralytics YOLO 와 같은 모델은 물체 감지를 위한 최첨단 모델로서 속도와 정확성이 뛰어납니다.
• 최신 세분화 모델: U-Net은 여전히 영향력이 있지만, 다음과 같은 모델의 세분화 변형을 포함한 최신 아키텍처가 등장했습니다. Ultralytics YOLOv8 및 YOLO11과 같은 새로운 아키텍처는 강력한 세분화 기능을 제공하며, 더 빠른 실시간 추론에 최적화되어 있고 트랜스포머 블록이나 앵커 프리 설계와 같은 딥 러닝의 발전을 활용하기도 합니다.

교육 및 도구

U-Net을 학습하려면 픽셀 수준의 주석이 달린 데이터가 필요하며, 학습 이미지의 각 픽셀은 해당 클래스에 따라 레이블이 지정됩니다. 이 데이터 주석 프로세스는 특히 복잡한 의료 또는 위성 이미지의 경우 노동 집약적일 수 있습니다. U-Net 모델은 일반적으로 다음과 같이 널리 사용되는 딥 러닝 프레임워크를 사용하여 구현 및 학습됩니다. PyTorchPyTorch 공식 사이트) 및 TensorFlowTensorFlow 공식 사이트). 이미지 로딩 및 전처리에는 OpenCV와 같은 라이브러리가 자주 사용됩니다. Ultralytics HUB와 같은 플랫폼은 복잡한 세분화 작업에서도 데이터 세트를 관리하고 모델 훈련 프로세스를 간소화하는 데 도움이 될 수 있습니다. 효과적인 학습에는 종종 신중한 하이퍼파라미터 튜닝과 다양한 최적화 알고리즘 탐색이 포함됩니다.