지식 증류

지식 증류의 작동 방식

일반적으로 대규모 신경망 또는 모델의 앙상블인 교사 모델은 높은 정확도를 달성하기 위해 먼저 대규모 데이터 세트에 대해 학습됩니다. 증류 과정에서 학생 모델은 교사의 출력을 모방하여 학습합니다. 학생은 학습 데이터의 실측값 레이블에서만 학습하는 대신, 각 예측에 대한 교사의 전체 확률 분포, 즉 "소프트 레이블"에 대해서도 학습을 받습니다. 이러한 소프트 레이블은 교사 모델이 어떻게 "사고"하고 일반화하는지를 보여주기 때문에 "하드 레이블"(정답)보다 더 풍부한 정보를 제공합니다. 예를 들어, 교사 모델은 고양이의 이미지를 90%의 신뢰도로 "고양이"라고 예측하지만 "개"(5%)와 "여우"(2%)에도 작은 확률을 할당할 수 있습니다. 이러한 미묘한 정보는 학생 모델이 더 효과적으로 학습하는 데 도움이 되며, 하드 레이블로만 학습했을 때보다 더 나은 일반화를 이끌어내는 경우가 많습니다. 이 기술은 효율적인 모델을 만들기 위한 딥러닝 툴킷의 핵심적인 부분입니다.

실제 애플리케이션

지식 증류는 다양한 영역에서 널리 사용되어 강력한 AI에 액세스할 수 있도록 합니다.

1. 자연어 처리(NLP): BERT와 같은 대규모 언어 모델(LLM)은 매우 강력하지만 많은 애플리케이션에 사용하기에는 너무 큽니다. DistilBERT는 BERT의 증류 버전으로 유명한 예입니다. BERT의 97% 이상의 성능을 유지하면서 40% 더 작고 60% 더 빠르며, 소비자 디바이스에서 감정 분석 및 질문 답변과 같은 작업에 적합합니다.
2. 엣지 디바이스에서의 컴퓨터 비전: 컴퓨터 비전에서는 이미지 분류나 물체 감지를 위한 대규모의 고정밀 모델을 더 작은 모델로 축소할 수 있습니다. 이를 통해 스마트 보안 카메라의 실시간 사람 감지와 같은 복잡한 비전 작업을 라즈베리 파이와 같이 연산 능력이 제한된 하드웨어에서 직접 실행할 수 있어 속도와 데이터 프라이버시를 개선할 수 있습니다. YOLO11과 같은 Ultralytics YOLO 모델은 이러한 워크플로우의 일부가 될 수 있으며, 대규모 모델의 지식이 배포 가능한 소규모 버전의 학습에 정보를 제공할 수 있습니다.

지식 증류와 다른 최적화 기법 비교

지식 증류는 다른 모델 최적화 기법과 관련이 있지만 구별됩니다. 이러한 차이점을 이해하는 것이 프로젝트에 적합한 접근 방식을 선택하는 데 있어 핵심이며, 이는 Ultralytics HUB와 같은 플랫폼을 통해 관리 및 배포할 수 있습니다.

• 모델 가지치기: 이 기법은 이미 학습된 네트워크에서 중복되거나 덜 중요한 연결(가중치)을 제거하여 크기를 줄이는 것입니다. 이와 대조적으로 증류는 완전히 새롭고 더 작은 네트워크를 처음부터 훈련하여 교사를 모방합니다.
• 모델 양자화: 양자화: 양자화는 모델 가중치의 수치 정밀도를 낮춥니다(예: 32비트 부동 소수점에서 8비트 정수로). 이렇게 하면 모델이 축소되고 호환되는 하드웨어에서 계산 속도가 빨라질 수 있습니다. 증류는 새로운 모델을 생성하는 반면, 정량화는 기존 모델의 표현을 변경합니다. 정량화는 증류 또는 가지치기와 함께 사용되는 경우가 많으며, 모델을 ONNX와 같은 형식으로 내보내거나 TensorRT와 같은 엔진으로 최적화할 수 있습니다.
• 전이 학습: 여기에는 사전 학습된 모델의 일부(일반적으로 특징 추출 백본)를 재사용한 다음 새롭고 작은 데이터 세트에서 미세 조정하는 작업이 포함됩니다. 목표는 기존 모델을 새로운 작업에 맞게 조정하는 것입니다. 반면 증류는 교사의 예측 행동을 완전히 다른 아키텍처를 가질 수 있는 학생 모델로 옮기는 것을 목표로 합니다.