자기 지도 학습

자기지도 학습(SSL)은 시스템이 외부에서 인간이 제공한 레이블에 의존하기보다 데이터 자체로부터 자체 감독 신호를 생성함으로써 데이터를 이해하는 법을 학습하는 기계 학습 패러다임이다. 전통적인 감독 학습에서는 모델이 "고양이"나 "개"로 라벨링된 이미지처럼 방대한 양의 수동으로 주석 처리된 데이터를 필요로 하는데, 이는 생산 비용이 많이 들고 시간이 오래 걸릴 수 있습니다. SSL은 모델이 입력 데이터의 숨겨진 부분이나 누락된 부분을 예측해야 하는 "표면 작업(pretext tasks)"을 생성함으로써 이 병목 현상을 우회합니다. 이는 모델이 사물 감지와 같은 복잡한 작업에 필요한 근본적인 구조와 특징을 스스로 학습하도록 효과적으로 가르치는 것입니다. 객체 탐지 및 분류와 같은 복잡한 작업에 필요한 근본적인 구조와 특징을 스스로 학습하게 합니다.

자기 지도 학습의 핵심 메커니즘

SSL의 기본 개념은 데이터의 일부를 가리거나 숨기고 신경망(NN)이 동일 데이터의 서로 다른 뷰 간 관계를 재구성하거나 예측하도록 강제하는 것입니다. 이 과정은 풍부하고 범용적인 표현을 생성하며, 이후 특정 하류 애플리케이션을 위해 미세 조정될 수 있습니다.

SSL에는 두 가지 주요 접근 방식이 있습니다:

• 생성적 방법: 모델은 빈칸을 채우기 위해 픽셀이나 단어를 생성하는 법을 학습합니다. 자연어 처리(NLP)의 대표적인 예는 문장 내 다음 단어 예측입니다. 컴퓨터 비전 분야에서는 마스크드 오토인코더(MAE) 이미지의 임의 영역을 가리고 모델이 누락된 픽셀을 재구성하도록 하여 시각적 맥락을 "이해"하도록 강제합니다.
• 대조 학습: 이 방법은 모델이 유사한 데이터 포인트와 상이한 데이터 포인트를 구별하도록 가르칩니다. 데이터 증강 기법(예: 크롭, 컬러 지터링, 회전)을 적용함으로써 모델은 이러한 변형된 버전이 동일한 객체를 나타낸다는 것을 학습합니다(양성 쌍). 반면 다른 이미지는 서로 다른 객체로 취급합니다(음성 쌍). 인기 있는 프레임워크인 SimCLR 이 원리에 크게 의존합니다.

실제 애플리케이션

자기 지도 학습은 강력한 기초 모델 구축의 초석이 되었다 다양한 도메인에 걸쳐 다양한 분야에 걸쳐 구축하는 데 있어 핵심 토대가 되었습니다. 라벨이 없는 방대한 양의 데이터를 활용할 수 있는 능력 덕분에 확장성이 매우 뛰어납니다.

• 의료 영상: 전문가 라벨링이 적용된 의료 스캔을 확보하는 것은 어렵고 비용이 많이 듭니다. SSL은 모델이 수천 개의 라벨링되지 않은 X선 또는 MRI 스캔으로 사전 훈련하여 일반적인 해부학적 특징을 학습할 수 있게 합니다. 이 사전 훈련된 모델은 소량의 라벨링된 예제로 미세 조정되어 종양 탐지에서 높은 정확도를 달성할 수 있습니다. 종양 탐지 또는 질병 진단에서 높은 정확도를 달성할 수 있습니다.
• 자율 주행: 자율주행 차량은 매일 테라바이트 단위의 영상 데이터를 생성합니다. SSL은 이러한 시스템이 프레임별 주석 작업 없이 원본 영상 자료로부터 시간적 역학 및 공간적 이해를 학습할 수 있게 합니다. 이는 차선 감지 성능 향상에 기여합니다. 차선 감지 및 장애물 회피 성능을 향상시킵니다.

SSL과 관련 용어 구분하기

SSL과 비지도 학습. 두 방법 모두 라벨이 없는 데이터를 활용하지만, 비지도 학습은 일반적으로 특정 예측 작업 없이 숨겨진 패턴이나 군집화(클러스터링)를 찾는 데 초점을 맞춥니다. 반면 SSL은 학습 과정을 데이터 구조 자체로부터 라벨이 자동 생성되는 지도 학습 작업으로 구성합니다. 또한, 반감독 학습(Semi-Supervised Learning)은 은 소량의 라벨링된 데이터와 대량의 라벨링되지 않은 데이터를 결합하는 반면, 순수 SSL은 어떤 미세 조정(fine-tuning)이 이루어지기 전에 라벨링되지 않은 데이터셋 자체로부터 완전히 자체 라벨을 생성합니다.

Ultralytics에서 사전 훈련된 가중치 활용하기

Ultralytics 에서는 다음과 같은 모델들 YOLO26 와 같은 모델은 대규모 데이터셋(예: ImageNet)에 대한 사전 훈련 단계에서 종종 SSL과 유사한 원리를 통합하는 고급 훈련 전략으로부터 상당한 이점을 얻습니다. ImageNet 이나 COCO과 같은 대규모 데이터셋에 대한 사전 훈련 단계에서 SSL과 유사한 원리를 종종 통합하는 고급 훈련 전략으로부터 상당한 이점을 얻습니다. 이는 사용자가 특정 작업을 위해 모델을 배포할 때 특징 추출기가 이미 견고함을 보장합니다.

사용자는 이러한 강력한 사전 훈련된 표현을 활용하여 자신만의 맞춤형 데이터셋으로 모델을 미세 조정할 수 있습니다. Ultralytics 을 사용하여 모델을 미세 조정할 수 있습니다.

사전 훈련된 YOLO26 모델을 로드하고, 초기 대규모 훈련 과정에서 학습된 특징을 활용하여 새로운 데이터셋에서 미세 조정을 시작하는 간결한 예시는 다음과 같습니다:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (weights learned from large-scale data)
model = YOLO("yolo26n.pt")

# Fine-tune the model on a specific dataset (e.g., COCO8)
# This leverages the robust feature representations learned during pre-training
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

SSL의 미래

주요 연구소인 Meta AI 와 Google 이러한 기법을 계속해서 개선해 나가면서, SSL은 생성형 AI 분야에서 가능한 것의 한계를 넓혀가고 있습니다. 생성형 AI 및 컴퓨터 비전 분야의 가능성을 확장하고 있습니다. 라벨링된 데이터에 대한 의존도를 낮춤으로써, SSL은 고성능 AI 접근성을 민주화하여 소규모 팀도 야생동물 보존과 같은 틈새 응용 분야를 위한 정교한 모델을 구축할 수 있게 합니다. 야생동물 보존 또는 산업 검사과 같은 틈새 애플리케이션을 위한 정교한 모델을 구축할 수 있게 합니다.