이전 학습

이전 학습의 작동 방식

이 프로세스는 일반적으로 이미지 작업을 위한 이미지넷이나 자연어 처리(NLP)를 위한 대규모 텍스트 코퍼스와 같은 대규모의 일반 데이터 세트에서 사전 학습된 모델로 시작됩니다. 이러한 사전 학습을 통해 모델(주로 컨볼루션 신경망(CNN) 또는 트랜스포머와 같은 딥러닝(DL) 모델)은 이미지의 가장자리, 질감, 패턴 또는 텍스트의 문법과 의미 등 일반적인 특징을 학습할 수 있습니다.

새로운 목표 작업에는 이 사전 학습된 모델이 적용됩니다. 일반적인 전략은 다음과 같습니다:

1. 사전 학습된 모델을 특징 추출기로 사용하기: 사전 학습된 모델의 초기 레이어는 고정된 상태로 유지되며(가중치는 업데이트되지 않음), 최종 분류기 또는 작업별 레이어만 새 데이터 세트에 대해 학습됩니다.
2. 미세 조정: 여기에는 사전 학습된 레이어의 일부 또는 전부를 고정 해제하고 새로운 데이터 세트에 대한 학습 프로세스(역전파)를 계속 진행하며, 일반적으로 학습된 특징이 크게 변경되지 않도록 학습 속도를 낮추는 것이 포함됩니다. 미세 조정을 통해 모델은 대상 작업의 특정 뉘앙스에 맞게 일반적인 지식을 전문화할 수 있습니다.

편입 학습의 이점

이전 학습을 사용하면 몇 가지 주요 이점이 있습니다:

• 데이터 요구량 감소: 더 작은 대상 데이터 세트에서도 우수한 성능을 달성합니다.
• 더 빠른 개발: 모델 훈련 시간을 대폭 단축합니다.
• 성능 향상: 특히 복잡한 작업에서 처음부터 학습할 때보다 정확도가 높고 일반화가 잘 되는 경우가 많습니다.
• 리소스 효율성: 계산 비용 절감(GPU 시간, 에너지) 절감

이전 학습과 관련 개념 비교

• 미세 조정: 앞서 언급했듯이 미세 조정은 전이 학습에서 사용되는 특정 방법으로, 새로운 작업에 대한 훈련 중에 미리 학습된 가중치를 조정합니다. 전이 학습은 지식을 활용하는 더 넓은 개념으로, 미세 조정 없이 사전 학습된 모델을 고정된 특징 추출기로 사용하는 것도 포함할 수 있습니다.
• 제로 샷 학습: 새로운 레이블이 지정된 데이터를 사용하여 모델을 새로운 작업에 적응시키는 전이 학습과 달리, 제로 샷 학습은 보조 정보 또는 공유 속성 공간에 의존하여 모델이 학습 중에 본 적이 없는 클래스에 대한 작업(예: 분류)을 수행하는 것을 목표로 합니다.
• 처음부터 학습: 모델 가중치가 무작위로 초기화되고 대상 데이터 세트에 대해서만 학습하는 전통적인 접근 방식으로, 훨씬 더 많은 데이터와 시간이 필요합니다.

실제 애플리케이션

이전 학습은 다양한 영역에 걸쳐 널리 적용됩니다:

1. 컴퓨터 비전: COCO와 같은 대규모 데이터 세트에 대해 사전 학습된 Ultralytics YOLO 같은 모델은 특수한 물체 감지, 이미지 분할 또는 이미지 분류 작업에 자주 적용됩니다. 예를 들어, 일상적인 물체에 대해 사전 학습된 모델을 의료 이미지 분석에서 이상 징후를 감지하거나(종양 감지), 농업용 AI에서 특정 작물이나 해충을 식별하는 등의 특정 애플리케이션에 맞게 미세 조정할 수 있습니다. 레이어를 고정하여YOLOv5 전이 학습을 적용하는 방법을 배울 수 있습니다.
2. 자연어 처리(NLP): BERT 및 GPT와 같은 대규모 언어 모델(LLM)은 대규모 텍스트 데이터 세트에 대해 사전 학습됩니다. 이러한 모델은 감정 분석, 명명된 개체 인식(NER) 또는 특수 챗봇 구축과 같은 특정 NLP 작업에 맞게 미세 조정할 수 있는 강력한 기본 모델 역할을 합니다. Hugging Face 트랜스포머와 같은 라이브러리는 이 과정을 매우 용이하게 해줍니다.

Ultralytics HUB와 같은 플랫폼은 사전 학습된 모델을 제공하여 전이 학습을 적용하는 프로세스를 간소화합니다(YOLOv8, YOLOv11) 및 사용자별 데이터 세트에 대한 간편한 사용자 지정 학습을 위한 도구를 제공합니다. 다음과 같은 프레임워크 PyTorch 와 TensorFlow 와 같은 프레임워크도 이전 학습을 위한 광범위한 지원과 튜토리얼을 제공합니다. 더 자세히 알아보려면 스탠포드 CS231n 개요와 같은 리소스나"심층 전이 학습에 관한 설문조사"와 같은 학술 조사를 살펴보세요.