소수 정예 학습

소수 정예 학습의 작동 방식

FSL의 핵심 아이디어는 대규모의 다양한 데이터 세트에서 얻은 사전 지식을 활용하여 새로운 관련 작업을 빠르게 학습하는 것입니다. 특정 카테고리를 직접 분류하는 방법을 학습하는 대신, 모델은 데이터의 보다 일반적인 표현을 학습하거나 데이터 포인트를 비교하는 방법을 학습합니다. 일반적인 접근 방식은 다음과 같습니다:

• 메트릭 기반 학습: 이 방법은 거리 함수 또는 유사성 메트릭을 학습하여 레이블이 지정된 몇 개의 '지원' 이미지를 레이블이 지정되지 않은 '쿼리' 이미지와 비교합니다. 그런 다음 쿼리 이미지에 가장 유사한 지원 이미지의 클래스가 할당됩니다. 이 접근 방식의 대표적인 예로는 두 이미지가 같은 클래스인지 판단하는 방법을 학습하는 샴 네트워크와 메트릭 공간에서 각 클래스에 대한 프로토타입 표현을 학습하는 프로토타입 네트워크가 있습니다.
• 최적화 기반 학습: 종종 메타 학습 (또는 "학습을 위한 학습")과 관련된 이 접근 방식은 모델의 최적화 프로세스 자체를 학습시킵니다. 목표는 몇 단계의 경사 하강 단계만으로 새로운 작업에 맞게 매개변수를 빠르게 조정할 수 있는 모델을 개발하는 것입니다. 이 분야에서 영향력 있는 알고리즘은 모델에 구애받지 않는 메타 학습(MAML)입니다.
• 메모리 기반 학습: 이 모델은 외부 메모리 구성 요소를 사용하여 사용 가능한 몇 가지 예제에서 정보를 저장합니다. 새로운 예가 제시되면 모델은 메모리에서 관련 정보를 검색하여 예측을 수행합니다. 이는 개념적으로 k-NN(최인접 이웃) 알고리즘의 작동 방식과 유사합니다.

단발성 학습과 관련 개념 비교

FSL을 제한된 데이터를 다루는 다른 학습 패러다임과 구별하는 것이 중요합니다:

• 제로 샷 학습(ZSL): ZSL은 높은 수준의 의미론적 설명이나 속성만 사용하여 모델이 학습 중에 본 적이 없는 클래스를 인식해야 하기 때문에 FSL보다 더 극단적입니다. FSL에는 적어도 하나의 예가 필요하지만, ZSL에는 예가 필요하지 않습니다.
• 원샷 학습(OSL): OSL은 FSL의 특정 변형으로, 모델에 새로운 클래스마다 정확히 하나의 레이블이 지정된 예제가 제공됩니다. 이는 원샷 프레임워크 내에서 가장 까다로운 시나리오를 나타냅니다.
• 이전 학습: FSL은 전이 학습의 한 형태이지만 두 가지가 동일하지는 않습니다. 기존의 전이 학습은 ImageNet과 같은 대규모 데이터 세트에서 사전 학습된 모델을 가져와 더 작은 새 데이터 세트에서 미세 조정하는 경우가 많습니다. FSL은 새 데이터 세트가 매우 작은 시나리오(예: 클래스당 10개 미만의 예제)를 위해 특별히 설계되었습니다. 모델 훈련 설명서에서 Ultralytics YOLO11과 같은 모델이 전이 학습을 위해 사전 훈련된 가중치를 사용하는 방법을 살펴볼 수 있습니다.

실제 애플리케이션

FSL은 데이터가 부족한 특수한 도메인에서 특히 유용합니다.

1. 의료 영상에서의 희귀 질환 진단: 희귀 질환의 경우 모델 학습을 위해 수천 건의 환자 스캔을 수집하는 것이 불가능할 때가 많습니다. FSL을 사용하면 일반적인 의료 이미지의 대규모 데이터 세트에 대해 사전 학습된 모델을 조정하여 소수의 확진 사례만으로 희귀 질환의 징후를 식별할 수 있습니다. 이를 통해 의료 이미지 분석을 위한 진단 도구의 개발이 가속화됩니다.
2. 산업 결함 감지: 제조업에서는 새로운 제품 라인에 드물게 발생하는 고유한 결함이 있을 수 있습니다. 수천 개의 결함 사례를 수집하기 위해 생산을 중단하는 대신, 몇 개의 샘플로 물체 감지용 FSL 모델을 빠르게 학습시켜 품질 관리를 자동화하고 효율성을 개선하며 낭비를 줄일 수 있습니다. 이러한 특수 데이터 세트를 관리하고 모델 배포를 가속화할 수 있는 플랫폼은 Ultralytics HUB와 같은 플랫폼입니다.

과제 및 향후 방향

이러한 장점에도 불구하고 FSL은 상당한 도전에 직면해 있습니다. 가장 큰 장애물은 모델이 일반화를 학습하는 대신 몇 가지 예제를 쉽게 외울 수 있기 때문에 과적합을 방지하는 것입니다. 또한 모델의 성능은 제공되는 지원 예제의 품질과 대표성에 매우 민감할 수 있습니다.

스탠포드 대학, Google AI, Meta AI와 같은 기관이 주도하는 지속적인 연구는 보다 강력한 메타 학습 알고리즘을 만들고 사전 학습을 위한 비지도 또는 자가 지도 학습 기술을 더 잘 활용하는 데 중점을 두고 있습니다. 이러한 접근 방식을 결합하여 보다 유연하고 데이터 효율적인 AI 시스템을 구축함으로써 데이터 제약이 있는 환경에서 가능한 것의 한계를 뛰어넘는 것을 목표로 합니다. PyTorch 및 TensorFlow와 같은 고급 프레임워크는 연구자들이 이러한 최첨단 방법을 탐색하는 데 필요한 도구를 제공합니다.