자신감

실제 애플리케이션

신뢰도 점수는 AI 시스템을 더욱 안정적이고 실행 가능하게 만드는 데 필수적입니다. 이를 통해 시스템은 불확실성을 측정하고 그에 따라 다양한 응답을 트리거할 수 있습니다.

• 자율주행 차량: 자율주행차에서 신뢰도 점수는 안전을 위해 매우 중요합니다. 물체 감지기가 98%의 신뢰도로 보행자를 식별하면 차량이 속도를 줄이거나 멈추라는 분명한 신호를 보낼 수 있습니다. 반대로 신뢰도가 30%에 불과한 물체를 감지하면 시스템은 불확실한 것으로 표시하고 다른 센서를 사용하여 물체의 특성을 확인한 후 조치를 취할 수 있습니다. 이렇게 하면 불확실성이 높은 위협에 집중하여 사고를 예방할 수 있습니다. 이 주제에 대한 자세한 내용은 자율 주행 자동차에서 AI의 역할에서 확인할 수 있습니다.
• 의료 이미지 분석: AI 모델이 의료 영상에서 종양 탐지 등 질병의 징후를 찾아내는 의료 스캔을 분석할 때 신뢰도 점수는 매우 중요합니다. 99%의 신뢰도를 가진 검출은 즉시 방사선 전문의의 검토를 위해 플래그가 지정될 수 있습니다. 신뢰도가 60%인 발견은 '모호함' 또는 '추가 검토 필요'로 표시되어 불확실한 사례는 전문가에게 잘못된 경보로 부담을 주지 않으면서 사람의 정밀 검사를 받도록 할 수 있습니다. FDA는 의료 기기의 AI/ML에 대한 지침을 제공합니다.

신뢰도 대 다른 지표

개별 예측의 신뢰도 점수를 전체 모델 평가 지표와 혼동하지 않는 것이 중요합니다. 서로 연관되어 있지만 성능의 다른 측면을 측정합니다:

• 정확도: 전체 데이터 세트에서 정확한 예측의 전체 비율을 측정합니다. 모델 성능에 대한 일반적인 감각을 제공하지만 개별 예측의 확실성을 반영하지는 않습니다. 모델은 정확도가 높을 수 있지만 여전히 낮은 신뢰도로 일부 예측을 할 수 있습니다.
• 정확도: 실제로 맞았던 긍정적인 예측의 비율을 나타냅니다. 정확도가 높을수록 오경보가 적다는 뜻입니다. 신뢰도는 예측에 대한 모델의 믿음을 반영하며, 이는 정확도와 일치할 수도 있고 일치하지 않을 수도 있습니다.
• 리콜(민감도): 모델이 올바르게 식별한 실제 양성 사례의 비율을 측정합니다. 정확도가 높을수록 놓치는 탐지 건수가 적다는 뜻입니다. 신뢰도는 실제 발견된 양성 사례의 수와는 직접적인 관련이 없습니다.
• F1-점수: 정확도와 회수율의 조화 평균으로, 두 지표의 균형을 맞추는 단일 지표를 제공합니다. 신뢰도는 모델 성능의 총합이 아닌 예측 수준의 점수로 유지됩니다.
• 평균 평균 정밀도(mAP): 다양한 신뢰도 임계값과 클래스에 걸쳐 정밀도-리콜 곡선을 요약하는 객체 탐지의 공통 지표입니다. mAP 계산에는 신뢰도 임계값이 포함되지만, 신뢰도 점수 자체는 각각의 개별 탐지에 적용됩니다.
• 보정: 신뢰도 점수가 실제 정답 확률과 얼마나 잘 일치하는지를 나타냅니다. 잘 보정된 모델의 신뢰도가 80%인 예측은 약 80%의 확률로 정확해야 합니다. 모델 보정에 관한 연구에서 논의된 바와 같이 최신 신경망의 신뢰도 점수는 본질적으로 항상 잘 보정되는 것은 아닙니다.

요약하면, 신뢰도는 개별 AI 예측의 확실성을 평가하여 실제 애플리케이션에서 더 나은 필터링, 우선순위 지정 및 의사 결정을 내릴 수 있도록 하는 유용한 결과물입니다. 신뢰도는 모델의 전반적인 성능을 평가하는 지표(예: Ultralytics HUB와 같은 도구를 사용하여 추적 및 분석할 수 있는 지표)를 보완하지만, 그것과는 구별됩니다.