용어집

혼동 매트릭스

혼동 행렬로 모델 성능을 이해하세요. AI 분류 정확도를 개선하기 위한 메트릭, 실제 사용 사례 및 도구를 살펴보세요.

YOLO 모델을 Ultralytics HUB로 간단히
훈련

자세히 알아보기

혼동 행렬은 머신 러닝(ML)에서 특히 분류 모델의 성능을 평가하는 데 사용되는 기본 도구입니다. 혼동 행렬은 모델의 예측이 여러 클래스에 걸쳐 실제 기준값 레이블과 얼마나 잘 일치하는지를 명확하고 간결하게 요약해줍니다. 각 클래스에 대한 올바른 예측과 잘못된 예측의 수를 시각화하여 단순한 정확도보다 더 심층적인 인사이트를 제공하므로 실무자가 모델의 특정 오류 유형을 이해하는 데 도움이 됩니다.

구성 요소 이해

혼동 행렬은 테스트 데이터 세트에 대해 예측된 클래스 레이블과 실제 클래스 레이블을 비교합니다. 이진 분류 문제(예: 긍정/부정 등 두 개의 클래스)의 경우, 행렬에는 일반적으로 네 개의 키 값이 포함됩니다:

  • 정탐(TP): 양성으로 정확하게 예측된 인스턴스 수입니다.
  • 트루 네거티브(TN): 부정으로 정확하게 예측된 인스턴스 수입니다.
  • 오탐(FP): 유형 I 오류라고도 합니다. 양성이라고 잘못 예측된 인스턴스 수(실제로는 음성이었음)입니다.
  • 거짓 네거티브(FN): 유형 II 오류라고도 합니다. 부정으로 잘못 예측된 인스턴스 수(실제로는 긍정)입니다.

이 네 가지 구성 요소는 다양한 성능 지표를 계산하기 위한 기초를 형성합니다. 다중 클래스 분류 문제의 경우 행렬이 확장되어 모든 클래스 간의 상호 작용을 보여줍니다.

혼동 매트릭스를 사용하는 이유는 무엇인가요?

전반적인 정확도는 성능을 전반적으로 파악할 수 있지만, 특히 한 클래스가 다른 클래스보다 훨씬 많은 불균형 데이터 세트의 경우 오해의 소지가 있을 수 있습니다. 혼동 매트릭스는 보다 세분화된 시각을 제공합니다:

  • 오류 유형 식별: 모델이 특정 클래스를 혼동하는지 여부를 명시적으로 보여주고, 종종 실제 결과가 다른 오탐과 오탐을 구분합니다.
  • 주요 지표 계산하기: 정확도, 리콜 (민감도), 특이도 및 F1 점수와 같은 중요한 평가 지표를 계산하기 위한 기초입니다. 이러한 지표를 이해하는 것은 YOLO 성과 지표 가이드에서 다룬 대로 필수적입니다.
  • 모델 개선: 특정 약점(예: 중요 클래스에 대한 높은 FN 비율)을 강조 표시하여 모델 미세 조정 또는 데이터 보강을 위한 노력을 안내합니다. 더 자세한 인사이트는 모델 평가 및 미세 조정에 대한 가이드에서 확인할 수 있습니다.

실제 애플리케이션

혼동 행렬은 인공지능(AI)을 적용하는 다양한 도메인에서 널리 사용됩니다:

  1. 의료 진단: 의료 영상에서 종양 감지와 같은 애플리케이션에서 혼동 매트릭스는 AI 모델을 평가하는 데 도움이 됩니다. 오탐(종양을 놓치는 것)은 심각한 결과를 초래할 수 있으며, 오양성(건강한 조직을 종양으로 표시하는 것)은 불필요한 스트레스와 추가 검사로 이어질 수 있습니다. 매트릭스를 분석하면 이러한 위험의 균형을 맞추는 데 도움이 됩니다. 의료 분야의 AI 솔루션에 대해 자세히 알아보세요.
  2. 스팸 이메일 필터링: 이메일 서비스는 분류기를 사용하여 스팸을 분류합니다. 혼동 매트릭스는 필터의 성능을 평가합니다. 오탐(정상적인 이메일을 스팸으로 분류하는 것)은 오탐(스팸 이메일을 통과시키는 것)보다 더 문제가 되는 경우가 많습니다. 혼동 매트릭스는 필터를 원하는 균형에 맞게 조정하여 효과적인 이메일 필터링 기술에 기여합니다.

혼동 매트릭스와 다른 지표 비교

혼동 매트릭스를 관련 평가 도구와 구별하는 것이 중요합니다:

  • 정확도: 정확도: 전반적인 정확도를 나타내는 단일 백분율입니다. 모델이 어떻게 틀렸는지는 자세히 설명하지 않습니다.
  • 정확도, 리콜, F1 점수: 이는 혼동 행렬 값(TP, FP, FN, TN) 으로부터 계산되어 성능의 특정 측면을 요약합니다.
  • ROC 곡선: 다양한 분류 임계값에 걸쳐 정탐률(리콜)과 오탐률 간의 균형을 보여주는 그래픽 플롯입니다. 유사한 기본 개념에서 파생되었지만 혼동 행렬처럼 단일 임계값에서 원시 개수를 표시하지 않고 임계값 전반의 성능을 시각화합니다.

Ultralytics 사용

다음과 같은 모델을 학습할 때 Ultralytics YOLO 와 같은 모델을 객체 감지나 이미지 분류와 같은 작업을 위해 훈련할 때, 혼동 행렬은 검증 단계(Val 모드)에서 자동으로 생성됩니다. 이러한 매트릭스를 통해 사용자는 COCO 또는 사용자 정의 데이터 세트와 같은 데이터 세트 내의 다양한 클래스에서 모델이 얼마나 잘 수행되는지 시각화할 수 있습니다. Ultralytics HUB와 같은 도구는 모델을 훈련하고 혼동 행렬을 포함한 결과를 분석할 수 있는 환경을 제공하여 모델 평가에 대한 포괄적인 인사이트를 얻을 수 있게 해줍니다. 실제로 혼동 행렬에 대해 더 자세히 알아보려면 Scikit-learn 설명서와 같은 리소스에서 더 많은 예제를 확인할 수 있습니다.

모두 보기