모델 모니터링

모델 모니터링이 중요한 이유는 무엇인가요?

ML 모델은 과거 데이터를 기반으로 학습되지만 실제 세계는 역동적입니다. 데이터 패턴, 사용자 행동 또는 환경의 변화로 인해 배포 후 모델의 성능이 저하될 수 있습니다. 모니터링이 필요한 주요 이유는 다음과 같습니다:

• 성능 저하 감지: 모델은 시간이 지남에 따라 정확도가 떨어질 수 있습니다. 모니터링을 통해 정확도, 리콜 또는 F1 점수와 같은 성능 지표의 저하를 파악할 수 있습니다. YOLO 성능 지표에 대한 자세한 내용은 가이드에서 확인할 수 있습니다.
• 데이터 드리프트 식별하기: 입력 데이터의 통계적 특성이 변경될 수 있으며, 이를 데이터 드리프트라고 합니다. 이는 모델이 프로덕션 환경에서 보는 데이터가 학습 데이터와 크게 다를 때 발생할 수 있습니다. 입력 기능을 모니터링하면 이러한 변화를 감지하는 데 도움이 됩니다.
• 개념 드리프트 파악하기: 입력 특징과 목표 변수 간의 관계는 시간이 지남에 따라 변할 수 있습니다(개념 드리프트). 예를 들어, 고객 선호도가 변화하여 이전의 예측 패턴이 쓸모없게 될 수 있습니다. 개념 드리 프트에는 모델 재교육 또는 적응이 필요합니다.
• 운영 상태 보장: 모니터링은 추론 지연 시간, 처리량 및 오류율과 같은 운영 메트릭을 추적하여 모델 제공 인프라(모델 제공)가 원활하게 실행되고 있는지 확인합니다.
• 공정성 및 윤리 유지: 모니터링은 다양한 인구 통계 그룹 또는 데이터 세그먼트의 성과를 추적하여 AI의 편견을 감지하고 완화하여 AI 윤리를 증진하는 데 도움이 될 수 있습니다.

어떤 측면이 모니터링되나요?

효과적인 모델 모니터링에는 일반적으로 여러 범주의 메트릭을 추적하는 것이 포함됩니다:

• 예측 성능: 정확도, 평균 정밀도(mAP), AUC, 오류율과 같은 메트릭을 검증 중에 설정된 벤치마크와 비교하는 경우가 많습니다.
• 데이터 품질 및 무결성: 입력 데이터의 누락된 값, 데이터 유형 불일치, 범위 위반을 추적합니다.
• 입력 데이터 드리프트: 생산 입력 특징의 분포를 학습 데이터 분포와 비교하기 위한 통계적 측정값(예: 모집단 안정성 지수, 콜모고로프-스미르노프 테스트)입니다.
• 예측/출력 드리프트: 모델 예측의 분포를 모니터링하여 중요한 변화를 감지합니다.
• 운영 지표: 다음과 같은 시스템 수준 메트릭 CPU/GPU 사용률, 메모리 사용량, 요청 대기 시간 및 처리량과 같은 시스템 수준 지표. 이를 위해 Prometheus와 같은 플랫폼이 자주 사용됩니다.
• 공정성 및 편향성 지표: 인구통계학적 동등성 또는 균등화된 확률과 같은 메트릭을 사용하여 민감한 속성(예: 연령, 성별, 인종)에서 모델 성과 격차를 평가합니다.

모델 모니터링과 관련 개념 비교

모델 모니터링과 유사한 용어를 구별하는 것이 중요합니다:

• 통합 가시성: 모니터링은 알려진 장애 모드를 평가하기 위해 미리 정의된 메트릭을 추적하는 데 중점을 두지만, 통합 가시성은 알려지지 않은 시스템 상태와 동작을 탐색하고 이해하기 위한 도구(로그, 메트릭, 추적)를 제공합니다. 통합 가시성은 모니터링이 이상 징후를 감지할 때 더 심층적인 조사를 가능하게 합니다.
• MLOps: MLOps는 데이터 관리, 모델 교육, 배포, 거버넌스 및 모니터링을 포함한 전체 ML 수명 주기를 포괄하는 광범위한 관행입니다. 모델 모니터링은 특히 배포 후 모델 상태에 초점을 맞춘 MLOps 프레임워크 내에서 중요한 구성 요소입니다.
• 모델 평가: 평가는 일반적으로 배포 전에 정적 유효성 검사 데이터 또는 테스트 데이터를 사용하여 모델의 품질을 평가하기 위해 수행됩니다. 모니터링은 배포 후 라이브 프로덕션 데이터에 대해 수행되는 지속적인 프로세스입니다. 여기에서 모델 평가 및 미세 조정에 대한 인사이트를 찾아보세요.

실제 애플리케이션

1. 전자상거래 추천 시스템: 이커머스 플랫폼은 상품 추천(추천 시스템)을 위해 ML 모델을 사용합니다. 모델 모니터링은 추천 항목의 클릭률(CTR)과 전환율을 추적합니다. 모니터링에서 CTR의 급격한 하락(성능 저하)이나 구매되는 제품 유형의 변화(새로운 트렌드로 인한 컨셉 이동)가 감지되면 알림이 트리거됩니다. 이를 통해 조사를 진행하고 최신 인터랙션 데이터로 모델을 재학습할 수 있습니다. Amazon Personalize에는 추천 효과를 모니터링하는 기능이 포함되어 있습니다.
2. 자율 주행 차량 인식: 자율 주행 자동차는 다음과 같은 컴퓨터 비전 모델에 크게 의존합니다. Ultralytics YOLO 와 같은 컴퓨터 비전 모델에 의존합니다. 모델 모니터링은 보행자, 자전거 운전자, 기타 차량과 같은 물체에 대한 감지 정확도YOLO 성능 메트릭)와 신뢰도 점수를 지속적으로 추적합니다. 또한 입력 데이터 특성(예: 이미지 밝기, 날씨 조건)을 모니터링하여 드리프트를 감지합니다. 특정 조건(예: 폭우, 저조도)에서 모델의 성능이 크게 저하되면 시스템은 더 안전한 작동 모드로 전환하거나 더 다양한 데이터로 학습된 모델 업데이트(데이터 증강)가 필요하다는 신호를 보낼 수 있습니다. 웨이모와 같은 회사는 인식 시스템 모니터링에 많은 투자를 하고 있습니다.

도구 및 구현

모델 모니터링을 구현하려면 종종 전문화된 도구와 플랫폼을 사용해야 합니다. 옵션은 Evidently AI, NannyML과 같은 오픈 소스 라이브러리부터 클라우드 제공업체에서 제공하는 관리형 서비스(AWS SageMaker 모델 모니터, Google Vertex AI 모델 모니터링, Azure 머신 러닝 데이터 드리프트 감지), Arize AI 또는 WhyLabs와 같은 전용 MLOps 플랫폼에 이르기까지 다양합니다. Ultralytics HUB와 같은 플랫폼은 모델 배포 및 관리를 지원하는 인프라를 제공하며, 모니터링 솔루션과 통합하여 MLOps 주기를 완료합니다. 효과적인 모델 유지 관리 전략은 강력한 모니터링에 크게 의존합니다.