Zero-Shot 학습

제로샷 학습(ZSL)은 인공 지능 모델이 훈련 단계에서 한 번도 접해본 적 없는 detect 인식, classify 또는 detect 수 있도록 하는 기계 학습 패러다임입니다. 전통적인 지도 학습에서는 모델이 식별해야 하는 특정 범주마다 수천 개의 라벨링된 예시가 필요합니다. ZSL은 보조 정보(일반적으로 텍스트 설명, 의미적 속성 또는 임베딩)를 활용하여 본래 본 클래스와 본 적 없는 클래스 간의 격차를 해소함으로써 이러한 엄격한 의존성을 제거합니다. 이러한 능력 덕분에 인공지능(AI) 시스템은 매우 유연하고 확장 가능해지며, 모든 가능한 객체에 대한 포괄적인 데이터 수집이 실용적이지 않은 동적 환경을 처리할 수 있습니다.

제로 샷 학습의 작동 방식

ZSL의 핵심 메커니즘은 공유된 의미 공간을 활용하여 익숙한 개념에서 생소한 개념으로 지식을 이전하는 것을 포함한다. "얼룩말"을 단순히 흑백 줄무늬의 픽셀 패턴을 암기하여 인식하는 대신, 이 모델은 시각적 특징과 자연어 처리(NLP)에서 도출된 의미적 속성(예: "말과 유사한 형태", "줄무늬 패턴", "네 다리") 간의 관계를 학습합니다.

이 과정은 종종 이미지와 텍스트 표현을 정렬하는 다중 모달 모델에 의존합니다. 예를 들어, OpenAI의 CLIP과 같은 기초 연구는 모델이 자연어 감독을 통해 시각적 개념을 학습하는 방식을 보여줍니다. ZSL 모델이 미지의 객체를 접하면 시각적 특징을 추출하여 의미 벡터 사전과 비교합니다. 시각적 특징이 새로운 클래스의 의미적 설명과 일치할 경우, 모델은 classify 정확히 classify 효과적으로 "제로샷" 예측을 수행합니다. 이 접근법은 방대한 작업군에 걸쳐 일반화하는 현대적 기초 모델의 핵심입니다.

실제 애플리케이션

제로샷 학습은 시스템이 초기 훈련 데이터를 넘어 일반화할 수 있도록 함으로써 다양한 산업 분야에서 혁신을 주도하고 있습니다.

1. 개방형 어휘 객체 탐지: YOLO 같은 현대적 아키텍처는 사용자 정의 텍스트 프롬프트를 기반으로 detect 위해 ZSL(지식 기반 detect )을 활용합니다. 이는 방대한 영상 아카이브에서 특정 항목을 검색하는 등 사전에 고정된 클래스 목록을 정의할 수 없는 시나리오에서도 객체 탐지가 가능하게 합니다. Google 연구진은 이러한 개방형 어휘 기능의 한계를 지속적으로 확장하고 있습니다.
2. 의료 진단: 의료 분야 인공지능에서 희귀 질환에 대한 라벨링 데이터 확보는 종종 어렵고 비용이 많이 듭니다. ZSL 모델은 PubMed와 같은 데이터베이스에서 발견되는 의학 문헌의 흔한 질환 및 희귀 증상 설명을 기반으로 훈련될 수 있어, 방대한 양성 사례 데이터셋 없이도 의료 영상에서 잠재적 희귀 이상을 식별할 수 있게 합니다.
3. 야생동물 보전: 농업 및 생태학 분야의 인공지능(AI )은 드물게 촬영되는 멸종 위기 종을 식별하는 것이 핵심입니다. ZSL은 생물학 데이터베이스(예: 생명의 백과사전)에 정의된 속성 기반 설명을 활용해 보전 전문가들이 detect 동물들을 detect 수 있도록 합니다.

Ultralytics 통한 제로 샷 탐지

Ultralytics YOLO 모델은 제로샷 학습의 실제 적용 사례를 보여줍니다. 이 모델은 사용자가 모델을 재훈련하지 않고도 런타임에 동적으로 사용자 정의 클래스를 정의할 수 있게 합니다. 이는 강력한 탐지 백본과 자연어를 이해하는 텍스트 인코더를 결합함으로써 달성됩니다.

다음 Python YOLO 사용하여 표준 훈련 세트에 명시적으로 포함되지 않은 detect 방법을 보여줍니다. ultralytics 패키지입니다.

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model capable of Zero-Shot Learning
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes via text prompts (e.g., specific accessories)
# The model adjusts to detect these new classes without retraining
model.set_classes(["blue backpack", "red apple", "sunglasses"])

# Run inference on an image to detect the new zero-shot classes
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()

관련 개념과의 차이점

ZSL을 완전히 이해하려면 다음에서 사용되는 유사한 학습 전략과 구별하는 것이 도움이 됩니다. 컴퓨터 비전(CV):

• 소량 데이터 학습(FSL): ZSL이 대상 클래스의 예시를 전혀 필요로 하지 않는 반면, FSL은 모델이 적응할 수 있도록 극소량의 지원 세트 (일반적으로 1~5개의 예시)를 제공합니다. ZSL은 시각적 예시보다는 의미적 추론에 전적으로 의존하기 때문에 일반적으로 더 어려운 것으로 간주됩니다.
• 원샷 학습: 의 하위 집합 FSL의 하위 집합으로, 모델이 정확히 하나의 레이블이 지정된 예제에서 학습합니다. ZSL은 새로운 카테고리의 이미지 하나 없이도 없이 작동한다는 점에서 근본적으로 다릅니다.
• 이전 학습: 이 광범위한 용어는 한 작업에서 다른 작업으로 지식을 이전하는 것을 의미합니다. ZSL은 특정 유형의 전이 학습입니다. 시맨틱 속성을 사용하여 기존에는 볼 수 없었던 클래스에 지식을 전달합니다. 새로운 데이터에 대한 미세 조정.

과제 및 향후 전망

ZSL은 막대한 잠재력을 지니지만, 도메인 전환 문제와 같은 과제에 직면해 있습니다. 이는 훈련 과정에서 학습된 의미적 속성이 미관측 클래스의 시각적 외관과 완벽하게 매핑되지 않는 현상을 의미합니다. 또한 ZSL 모델은 편향 문제로 인해 관측된 클래스에 비해 미관측 클래스에 대한 예측 정확도가 현저히 낮아질 수 있습니다.

스탠퍼드 대학 AI 연구소 및 IEEE 컴퓨터 학회와 같은 기관들의 연구는 이러한 한계점을 지속적으로 해결하고 있습니다. 컴퓨터 비전 도구가더욱 견고해짐에 따라 ZSL은 표준 기능으로 자리잡아 방대한 데이터 라벨링 작업에 대한 의존도를 낮출 것으로 예상됩니다. 고급 모델 배포 전 데이터셋을 효율적으로 관리하려는 팀을 위해 Ultralytics 주석 작업 및 데이터셋 관리를 위한 포괄적인 도구를 제공합니다.