이전 학습

이전 학습의 작동 방식

전이 학습의 핵심 개념은 이미지 작업을 위한 ImageNet이나 자연어 처리(NLP)를 위한 대규모 텍스트 코퍼스와 같은 대규모의 일반 데이터 세트에서 훈련된 모델이 다른 많은 관련 작업에 유용한 일반적인 특징을 학습한다는 것입니다. 예를 들어, 컴퓨터 비전(CV)에서 컨볼루션 신경망(CNN) 의 초기 레이어는 다양한 이미지 인식 문제에 적용할 수 있는 기본적인 시각적 요소인 가장자리, 질감, 단순한 모양을 감지하는 방법을 학습할 수 있습니다.

전이 학습을 적용할 때는 일반적으로 사전 학습된 모델로 시작합니다. 소스 작업과 대상 작업 간의 유사성과 대상 데이터 세트의 크기에 따라 달라질 수 있습니다:

1. 사전 훈련된 모델을 특징 추출기로 사용합니다: 초기 레이어( 백본)의 가중치를 고정하고 새 데이터 세트에서 최종 분류 또는 탐지 레이어만 훈련합니다. 이 방법은 대상 데이터 세트가 작을 때 일반적으로 사용됩니다. 예를 들어 레이어를 동결하여 YOLOv5 사용하는 것이 있습니다.
2. 사전 학습된 모델을 미세 조정합니다: 사전 학습된 레이어의 일부 또는 전부를 고정 해제하고 일반적으로 학습 속도를 낮춰 새 데이터 세트에 대해 계속 학습합니다. 이렇게 하면 모델이 학습한 기능을 대상 작업의 뉘앙스에 보다 구체적으로 적용할 수 있습니다. 이는 목표 데이터 세트가 클 때 일반적으로 사용되는 전략입니다. 미세 조정은 종종 전이 학습의 특정 유형으로 간주됩니다.

이전 학습과 관련 개념 비교

• 미세 조정: 미세 조정은 밀접한 관련이 있고 일부 맥락에서 종종 같은 의미로 사용되지만, 특히 새로운 작업에 대해 사전 학습된 모델의 가중치를 고정 해제하고 추가로 학습하는 과정을 말합니다. 이는 전이 학습이라는 광범위한 전략 내에서 사용되는 일반적인 방법입니다.
• 처음부터 훈련하기: 여기에는 모델 가중치를 무작위로 초기화하고 대상 데이터 세트에 대해서만 전체 모델을 훈련하는 것이 포함됩니다. 많은 양의 데이터와 연산 능력이 필요하며, 전이 학습은 이를 줄이는 것을 목표로 합니다.
• 제로 샷 학습 및 소수 샷 학습: 이러한 기법은 모델이 대상 클래스의 예시가 거의 또는 전혀 없이도 작업을 수행할 수 있도록 하는 것을 목표로 하며, 종종 표준 전이 학습이나 미세 조정보다 더 복잡한 방식으로 사전 훈련 중에 학습한 지식을 활용합니다. CLIP과 같은 모델이 이러한 시나리오에 사용되는 예입니다.

실제 애플리케이션

이전 학습은 다양한 영역에 걸쳐 널리 적용됩니다:

• 컴퓨터 비전:
  • 객체 감지: COCO와 같은 대규모 데이터 세트에 대해 사전 학습된 모델을 사용하고 이를 미세 조정하여 원래 데이터 세트에 없거나 잘 표현되지 않는 특정 개체(예: 제조 분야의 AI에서 특정 유형의 결함 또는 야생동물 보호 분야의 AI에서 특정 종)를 감지합니다.
  • 의료 이미지 분석: 일반 이미지에서 학습된 모델을 적용하여 레이블이 지정된 의료 데이터가 부족할 수 있는 엑스레이, CT 스캔 또는 MRI에서 뇌종양이나 기타 상태와 같은 이상 징후를 식별할 수 있습니다. 예를 들어, 종양 탐지를 위해Ultralytics YOLO 모델을 사용합니다.
  • 이미지 세분화: 농업 분야의 AI에서 작물이나 잡초와 같은 특정 개체를 세분화하기 위해 모델을 미세 조정합니다.
• 자연어 처리(NLP):
  • 감정 분석: 방대한 양의 텍스트 데이터로 사전 학습된 BERT 또는 GPT와 같은 대규모 언어 모델을 미세 조정하여 특정 유형의 텍스트(예: 제품 리뷰, 소셜 미디어 게시물)의 감성을 분류합니다. Hugging Face 트랜스포머는 이러한 사전 학습된 모델을 다수 제공합니다.
  • 명명된 엔티티 인식(NER): 도메인별 텍스트(예: 법률 문서, 의료 기록) 내에서 특정 개체(이름, 위치, 조직 등)를 식별하기 위해 사전 학습된 언어 모델을 적용합니다.
  • 챗봇: 사전 학습된 언어 모델을 기반으로 특정 도메인에서 사용자 쿼리를 이해하고 응답할 수 있는 대화형 에이전트를 구축합니다.

도구 및 프레임워크

Ultralytics HUB와 같은 플랫폼은 사전 학습된 모델을 제공하여 전이 학습을 적용하는 프로세스를 간소화합니다. Ultralytics YOLOv8 및 YOLO11)과 사용자별 데이터 세트에 대한 간편한 사용자 지정 학습을 위한 도구를 제공합니다. 다음과 같은 프레임워크 PyTorch 및 TensorFlow 와 같은 프레임워크도 전이 학습 워크플로우 구현을 위한 광범위한 지원과 튜토리얼을 제공합니다. 더 깊은 이론적 이해를 위해서는 전이 학습에 대한 스탠포드 CS231n 개요나'심층 전이 학습에 대한 설문조사'와 같은 학술 조사 같은 리소스를 통해 귀중한 인사이트를 얻을 수 있습니다.