수량화 인식 교육(QAT)

정량화 인식 교육 작동 방식

QAT 프로세스는 일반적으로 사전 학습된 FP32 모델로 시작합니다. "가짜" 양자화 노드가 모델의 아키텍처에 삽입되어 부동 소수점 값을 저정밀 정수로 변환하는 효과를 모방합니다. 그런 다음 모델은 학습 데이터 세트에 대해 재학습됩니다. 이 재학습 단계에서 모델은 표준 역전파를 통해 양자화와 관련된 정보 손실에 적응하는 방법을 학습합니다. 이를 통해 모델은 정확도 감소에 덜 민감한 보다 강력한 가중치 세트를 찾을 수 있습니다. PyTorch 및 TensorFlow와 같은 선도적인 딥 러닝 프레임워크는 QAT 워크플로를 구현하기 위한 강력한 도구와 API를 제공합니다.

QAT와 교육 후 정량화 비교

QAT는 또 다른 일반적인 모델 정량화 방법인 훈련 후 정량화(PTQ)와 자주 비교됩니다. 주요 차이점은 양자화가 적용되는 시점에 있습니다.

• 학습 후 정량화(PTQ): 이 방법은 모델이 완전히 학습된 후에 적용됩니다. 재학습이나 원본 학습 데이터에 대한 액세스가 필요 없는 더 간단하고 빠른 프로세스입니다. 그러나 특히 민감한 모델의 경우 모델 정확도가 크게 떨어질 수 있습니다.
• 양자화 인식 훈련(QAT): 이 방법은 양자화를 훈련 루프에 통합합니다. 계산 집약적이고 훈련 데이터에 대한 액세스가 필요하지만, QAT는 PTQ에 비해 최종 양자화 모델의 정확도가 거의 항상 더 높습니다. 성능 극대화가 중요한 경우에 선호되는 방법입니다.

QAT의 실제 적용 사례

정량화 인식 훈련은 효율성이 중요한 리소스 제약 환경에서 정교한 AI 모델을 배포하는 데 필수적입니다.

1. 온디바이스 컴퓨터 비전: 증강 현실 앱의 실시간 물체 감지 또는 사진 관리 도구 내 이미지 분류와 같은 애플리케이션을 위해 스마트폰에서 직접 Ultralytics YOLOv8과 같은 복잡한 컴퓨터 비전 모델을 실행할 수 있습니다. QAT를 사용하면 이러한 모델을 배터리 소모나 지연 시간 없이 효율적으로 실행할 수 있습니다.
2. 자동차 및 로보틱스 분야의 엣지 AI: 자율주행 차량의 보행자 감지 또는 차선 유지 지원이나 로봇 공학에서 물체 조작과 같은 작업을 위한 모델을 배포합니다. QAT를 사용하면 이러한 모델을 Google Edge TPU 또는 NVIDIA Jetson과 같은 특수 하드웨어에서 실행할 수 있으므로 중요한 실시간 결정을 위한 추론 지연 시간이 짧아집니다. 이는 보안 경보 시스템이나 주차 관리와 같은 애플리케이션에 매우 중요합니다.

다른 최적화 기법과의 관계

QAT는 모델 배포 최적화를 위한 여러 기술 중 하나이며, 효율성을 극대화하기 위해 다른 기술과 함께 사용되는 경우가 많습니다.

• 모델 가지치기: 네트워크에서 중복되거나 중요하지 않은 연결을 제거하는 작업입니다. 모델을 먼저 정리한 다음 QAT를 수행하여 더 큰 압축을 달성할 수 있습니다.
• 지식 증류: 더 큰 '교사' 모델을 모방하도록 더 작은 '학생' 모델을 학습시킵니다. 그런 다음 결과 학생 모델을 QAT를 사용하여 더욱 최적화할 수 있습니다.

Ultralytics는 QAT 워크플로우와 호환되는 ONNX, TensorRT, TFLite와 같은 다양한 형식으로 모델을 내보낼 수 있도록 지원하므로 인텔 및 NVIDIA와 같은 회사의 다양한 하드웨어에 효율적으로 배포할 수 있습니다. Ultralytics HUB와 같은 플랫폼을 사용하여 QAT에 최적화된 모델을 관리하고 배포할 수 있습니다. 정확도 요구 사항을 충족하려면 QAT 후 관련 메트릭을 사용하여 모델 성능을 평가하는 것이 필수적입니다.