데이터 드리프트

데이터 드리프트가 중요한 이유

데이터 드리프트가 발생하면 과거 데이터로 학습된 모델은 보이지 않는 새로운 데이터에 대한 예측의 효율성이 떨어집니다. 이러한 성능 저하는 잘못된 의사 결정, 비즈니스 가치 감소 또는 민감한 애플리케이션에서 중대한 장애를 초래할 수 있습니다. 예를 들어, 객체 감지를 위해 학습된 모델이 조명 조건이나 카메라 각도가 학습 데이터와 크게 변하면 객체를 놓치기 시작할 수 있습니다. 지속적인 모델 모니터링은 드리프트를 조기에 감지하고 성능을 보존하기 위해 모델 재교육 또는 Ultralytics HUB와 같은 플랫폼을 사용한 업데이트와 같은 수정 조치를 구현하는 데 매우 중요합니다. 데이터 드리프트를 무시하면 다음과 같은 정교한 모델도 빠르게 렌더링할 수 있습니다. Ultralytics YOLO 와 같은 정교한 모델도 빠르게 쓸모없게 만들 수 있습니다.

데이터 드리프트의 원인

데이터 드리프트의 원인은 다음과 같은 여러 가지가 있습니다:

• 현실 세계의 변화: 외부 이벤트, 계절성(예: 휴일 쇼핑 패턴) 또는 사용자 행동의 변화로 인해 데이터 분포가 달라질 수 있습니다.
• 데이터 소스 변경: 데이터 수집 방법, 센서 보정 또는 업스트림 데이터 처리 파이프라인의 변경으로 인해 드리프트가 발생할 수 있습니다. 예를 들어 컴퓨터 비전 시스템의 카메라 하드웨어가 변경된 경우입니다.
• 기능 변경: 입력 기능의 관련성 또는 정의는 시간이 지남에 따라 변경될 수 있습니다.
• 데이터 품질 문제: 데이터 수집 또는 처리 중에 발생한 누락값, 이상값 또는 오류와 같은 문제가 누적되어 드리프트가 발생할 수 있습니다. 데이터 품질을 유지하는 것이 가장 중요합니다.
• 업스트림 모델 변경: 모델이 다른 모델의 출력에 의존하는 경우 업스트림 모델이 변경되면 다운스트림 모델의 데이터 드리프트가 발생할 수 있습니다.

데이터 드리프트와 관련 개념

데이터 드리프트는 주로 입력 데이터 분포의 변화와 관련이 있습니다( X 변수와 같은 의미로 사용됨). 관련 개념과 구별됩니다:

• 컨셉 드리프트: 이는 관계의 변화를 의미합니다. 사이 입력 데이터와 대상 변수( Y 변수). 예를 들어, 스팸 이메일의 정의는 이메일 기능 자체가 통계적으로 유사하게 유지되더라도 시간이 지남에 따라 변경될 수 있습니다. 데이터 드리프트는 입력에 초점을 맞추는 반면, 개념 드리프트는 모델이 예측하려는 기본 패턴이나 규칙에 초점을 맞춥니다. 자세히 알아보기 개념 드리프트 감지.
• 이상 징후 탐지: 여기에는 정상 또는 예상 패턴과 크게 다른 개별 데이터 포인트를 식별하는 작업이 포함됩니다. 이상 징후는 때때로 데이터 드리프트를 나타낼 수 있지만, 데이터 드리프트는 고립된 이상값뿐만 아니라 전체 데이터 분포의 보다 광범위하고 체계적인 변화를 의미합니다.

이러한 차이점을 이해하는 것은 효과적인 MLOps 관행을 위해 매우 중요합니다.

실제 애플리케이션

데이터 드리프트는 ML 모델이 배포되는 다양한 도메인에 영향을 미칩니다:

• 금융 서비스: 사기꾼이 새로운 수법을 개발함에 따라 사기 탐지 모델이 변동될 수 있습니다. 신용 점수 모델은 대출자의 행동에 영향을 미치는 경제 상황의 변화로 인해 변동될 수 있습니다. 금융 분야의 컴퓨터 비전 모델에 대해 읽어보세요.
• 소매 및 이커머스: 추천 시스템은 소비자 트렌드, 계절성 또는 프로모션 이벤트의 변화로 인해 변동될 수 있습니다. 공급망 역학이나 고객 수요 패턴이 변화하면 재고 관리 모델도 변동될 수 있습니다.
• 헬스케어: 종양 탐지에 사용되는 것과 같은 의료용 이미지 분석 모델은 새로운 영상 장비나 프로토콜이 도입되면 이미지넷과 같은 플랫폼에서 제공된 원래 학습 데이터 세트와 비교하여 이미지 특성이 변경될 수 있습니다.
• 제조: 장비가 예상과 다르게 마모되거나 작동 조건이 변경되는 경우 예측 유지 관리 모델이 오작동할 수 있습니다. 제조 분야의 AI에 대해 알아보세요.

데이터 드리프트 감지 및 완화

데이터 드리프트를 감지하고 해결하는 데는 몇 가지 기술이 필요합니다:

• 성능 모니터링: 시간 경과에 따른 정확도, 리콜, F1 점수 등의 주요 모델 메트릭을 추적하면 드리프트로 인한 성능 저하를 파악할 수 있습니다. 이러한 메트릭을 시각화하는 데는 TensorBoard와 같은 도구가 도움이 될 수 있습니다.
• 통계 모니터링: 통계적 테스트를 적용하여 들어오는 데이터의 분포를 학습 데이터와 비교합니다. 일반적인 방법으로는 콜모고로프-스미르노프 테스트, 인구 안정성 지수(PSI) 또는 카이제곱 테스트가 있습니다.
• 모니터링 도구: 프로덕션 환경에서 ML 모델을 모니터링하도록 설계된 Prometheus, Grafana, Evidently AI, NannyML과 같은 전문 통합 가시성 플랫폼 및 도구를 활용합니다. 또한, Ultralytics 허브는 플랫폼을 통해 학습 및 배포된 모델을 모니터링하기 위한 기능도 제공합니다.
• 완화 전략:
  • 재교육: 최근 데이터로 모델을 정기적으로 재교육합니다. Ultralytics HUB를 사용하면 재교육 워크플로우를 쉽게 수행할 수 있습니다.
  • 온라인 학습: 새로운 데이터가 도착하면 모델을 점진적으로 업데이트합니다(노이즈에 민감할 수 있으므로 주의해서 사용하세요).
  • 데이터 증강: 학습 중 기법을 사용하여 입력 데이터의 변화에 대해 모델을 더욱 견고하게 만듭니다.
  • 도메인 적응: 새로운 데이터 분포에 맞게 모델을 명시적으로 조정하는 기법을 사용합니다.
  • 모델 선택: 본질적으로 데이터 변화에 더 강력한 모델을 선택해야 합니다. 강력한 학습을 위한 모델 학습 팁을 살펴보세요.

데이터 드리프트를 효과적으로 관리하는 것은 다음과 같은 프레임워크로 구축된 AI 시스템을 보장하는 데 필수적인 지속적인 프로세스입니다. PyTorch 또는 TensorFlow 같은 프레임워크로 구축된 AI 시스템이 운영 수명 내내 안정성을 유지하고 가치를 제공할 수 있도록 하는 데 필수적인 과정입니다.