대조 학습

대조 학습의 작동 원리

이 프로세스에는 일반적으로 '앵커' 데이터 포인트가 포함됩니다. 앵커에 자르기, 회전 또는 색상 변경과 같은 강력한 데이터 증강을 적용하여 "긍정적인" 예시를 만듭니다. "네거티브" 예시는 데이터 세트의 다른 데이터 포인트로, 앵커와 다른 것으로 가정합니다. 인코더 모델(일반적으로 이미지용 컨볼루션 신경망(CNN) 과 같은 신경망(NN) 은 이러한 샘플을 처리하여 표현 또는 임베딩을 생성합니다. 그런 다음 대조 손실 함수(예: InfoNCE)가 앵커와 포지티브 임베딩 사이의 거리를 최소화하고 앵커와 네거티브 임베딩 사이의 거리를 최대화하여 학습을 안내합니다. 이렇게 하면 모델이 데이터 내의 본질적인 유사점과 차이점을 포착하는 특징을 학습하도록 장려합니다.

주요 구성 요소

대조 학습 프레임워크에는 몇 가지 요소가 기본이 됩니다:

• 데이터 증강 전략: 효과적인 포지티브 쌍을 만드는 것은 데이터 증강에 크게 의존합니다. 데이터 유형(예: 이미지, 텍스트, 오디오)에 따라 기법이 달라집니다. 다양한 데이터 증강 전략이나 문서화 같은 라이브러리를 살펴볼 수 있습니다.
• 인코더 네트워크: 이 네트워크는 원시 입력 데이터를 저차원 표현으로 변환합니다. 아키텍처 선택은 특정 작업과 데이터 양식에 따라 달라집니다(예: ResNet, 비전 트랜스포머).
• 대비 손실 함수: 이 함수는 학습된 표현 간의 유사성을 정량화하고 학습 프로세스를 구동합니다. 대조 학습 문헌에서는 InfoNCE 외에도 다른 손실 함수도 사용됩니다.

대조 학습과 다른 접근 방식

대조 학습은 다른 ML 패러다임과 크게 다릅니다:

• 지도 학습: 학습을 위해 수동으로 라벨링된 데이터에 크게 의존합니다. 대조 학습은 광범위한 라벨링의 필요성을 우회하므로 라벨이 지정되지 않은 대규모 데이터 세트에 적합합니다.
• 비지도 학습: SSL(대조 학습 포함)은 비지도 학습의 한 유형이지만, 클러스터링(K-Means)과 같은 기존 방법은 대조 접근 방식에 내재된 명시적인 정/부정 비교 메커니즘 없이 데이터를 그룹화하는 데 중점을 두는 경우가 많습니다.
• 기타 자체 감독 방법: 생성적 SSL 모델(예: 자동 인코더)은 입력 데이터를 재구성하여 학습하는 반면, 대조적 방법은 샘플을 비교하여 판별 특징을 학습합니다.

실제 애플리케이션

대조 학습은 다양한 영역에서 괄목할 만한 성공을 거두었습니다:

1. 시각적 표현 학습: 이미지 분류 및 객체 감지와 같은 다운스트림 컴퓨터 비전 작업을 위해 레이블이 없는 대규모 이미지 데이터세트(예: ImageNet)에 대한 강력한 모델을 사전 학습합니다. 대표적인 연구로는 Google Research와 Meta AI(FAIR)와 같은 연구소의 SimCLR과 MoCo가 있습니다. CLIP과 같은 모델도 이미지와 텍스트 간의 대비 기법을 활용합니다.
2. 이미지 검색 및 시맨틱 검색: 학습된 임베딩을 비교하여 방대한 데이터베이스 내에서 시각적으로 유사한 이미지를 찾을 수 있는 시스템을 구축합니다. 이는 콘텐츠 기반 이미지 검색(CBIR) 시스템에서 유용합니다.
3. 자연어 처리(NLP): 텍스트 분류, 클러스터링, 의미 검색과 같은 작업을 위해 효과적인 문장 및 문서 임베딩을 학습합니다.

컴퓨터 비전 및 Ultralytics 관련성

대비 사전 학습은 강력한 컴퓨터 비전 모델을 개발하는 데 매우 적합합니다. 학습된 표현은 종종 특정 작업에 잘 적용되며, 때로는 미세 조정을 위해 더 적은 레이블이 지정된 데이터만 필요한 경우도 있습니다(Few-Shot Learning). 이는 다음과 같은 모델의 훈련에 큰 도움이 될 수 있습니다. Ultralytics YOLO 와 같은 모델의 훈련에 큰 도움이 될 수 있으며, 대량의 라벨링되지 않은 데이터에서 학습된 강력한 초기 가중치를 제공하고, 잠재적으로 Ultralytics HUB와 같은 플랫폼을 사용하여 관리 및 훈련할 수 있습니다. 다음과 같은 딥 러닝 프레임워크 PyTorch 및 TensorFlow 과 같은 딥 러닝 프레임워크는 이러한 기술을 구현하는 데 필요한 도구를 제공합니다. 더 자세히 알아보려면 자기 지도 학습과 표현 학습에 대한 개요를 살펴보세요.