지식 증류는 크고 복잡한 모델('교사'라고도 함)에서 더 작고 단순한 모델('학생'이라고 함)로 지식을 이전하는 데 초점을 맞춘 머신 러닝 기법입니다. 이 접근 방식을 사용하면 학생 모델이 교사와 비슷한 성능을 달성하면서도 컴퓨팅 리소스 측면에서 더 효율적이므로 모바일 장치, IoT 장치 또는 에지 컴퓨팅 시스템과 같이 리소스가 제한된 환경에 배포하는 데 이상적입니다.
지식 증류 과정에는 교사 모델의 행동을 재현하도록 학생 모델을 훈련시키는 과정이 포함됩니다. 학생은 라벨이 지정된 원본 데이터에만 의존하는 대신, 서로 다른 클래스 간의 관계에 대한 더 풍부한 정보가 포함된 교사의 '소프트 라벨' 또는 확률적 결과물에서 학습합니다. 이러한 추가 지식은 학생이 더 적은 수의 매개변수로도 더 잘 일반화할 수 있도록 도와줍니다.
예를 들어, 이미지 분류 작업에서 교사 모델은 "고양이" 90%, "개" 8%, "토끼" 2%와 같은 확률을 출력할 수 있습니다. 이러한 소프트 확률은 학생 모델이 예측을 구체화하는 데 사용하는 클래스 유사성에 대한 인사이트를 제공합니다.
지식 증류는 인공 지능과 머신 러닝의 다양한 영역에서 널리 사용되고 있습니다:
의료 영상 분야에서는 엑스레이나 MRI에서 이상 징후를 감지하도록 훈련된 대형 모델을 더 작은 모델로 축소하여 더 빠른 실시간 진단을 수행할 수 있습니다. 예를 들어 Ultralytics YOLO 물체 감지에 효율적인 것으로 알려진 모델은 증류 과정을 통해 의료 기기에서 속도와 배포 가능성을 향상시킬 수 있습니다. 의료 분야의 AI에 대해 자세히 알아보세요.
자율 주행 차량은 실시간 의사 결정을 위해 물체 감지 및 분류 모델에 의존합니다. 여기서 증류 모델은 정확도를 유지하면서 추론 시간을 줄여주기 때문에 매우 중요합니다. 자율주행 분야의 AI가 교통 안전과 효율성을 어떻게 혁신하고 있는지 살펴보세요.
NLP에서는 BERT와 같은 대형 트랜스포머 기반 모델을 DistilBERT와 같은 작은 버전으로 증류하여 엣지 디바이스에서 텍스트 분류, 번역 및 질문 답변 작업을 더 빠르게 수행할 수 있도록 합니다. 트랜스포머와 NLP에 대해 자세히 알아보세요.
소매 및 제조와 같은 산업에서 지식 증류는 재고 관리 및 결함 감지와 같은 작업을 위한 경량 모델을 배포하는 데 사용됩니다. 예를 들어, 증류를 통해 최적화된 컴퓨터 비전 모델( Ultralytics )은 AI 기반 제조의 효율성을 향상시킬 수 있습니다.
지식 증류와 모델 가지 치기는 모두 모델 최적화에 중점을 두지만, 가지 치기는 덜 중요한 매개 변수를 제거하여 모델 복잡성을 줄이는 반면, 증류는 큰 모델의 동작을 모방하기 위해 별도의 작은 모델을 학습시키는 것입니다.
모델 양자화는 모델 파라미터의 정밀도를 낮추는 반면(예: 32비트 부동 소수점을 8비트 정수로 변환), 증류는 정밀도는 유지하지만 지식을 더 작은 아키텍처로 이전합니다.
지식 증류를 사용하면 대규모 YOLO 모델을 더 작은 버전으로 학습시켜 비디오 스트림의 객체를 높은 정확도로 탐지하면서도 지연 시간을 줄일 수 있습니다. 이는 실시간 처리가 중요한 보안 감시와 같은 애플리케이션에 특히 유용합니다. YOLO 의 실시간 추론 기능에 대해 자세히 알아보세요.
정밀 농업에서는 복잡한 데이터 세트에서 학습된 대규모 AI 모델을 드론이나 현장 센서에 배포할 수 있는 소형 버전으로 추출하여 해충 탐지 또는 작물 상태 모니터링과 같은 작업을 수행할 수 있습니다. AI가 농업을 어떻게 변화시키고 있는지 알아보세요.
여러 프레임워크가 지식 증류를 지원하므로 머신 러닝 실무자가 액세스할 수 있습니다:
지식 증류는 실제 애플리케이션을 위한 강력하면서도 효율적인 모델을 구현하여 AI 시스템을 발전시키는 데 계속해서 중추적인 역할을 하고 있습니다. 정확성과 효율성 간의 격차를 해소함으로써 전 세계적으로 더 많은 디바이스, 산업 및 사용자에게 AI를 제공할 수 있도록 지원합니다.
%25202.png)
%202.png)
