앞서 의료, 제조, 관광 등 다양한 산업에서 AI가 어떻게 활용될 수 있는지 살펴본 바 있습니다. 또한 AI가 일상적인 업무를 어떻게 개선할 수 있는지 살펴보고 주요 AI 비즈니스 아이디어에 대해서도 논의했습니다. 이러한 모든 논의는 필연적으로 동일한 핵심 질문으로 이어집니다. 이러한 AI 구현의 성공을 어떻게 측정할 수 있을까요? 이는 단순히 AI 솔루션을 배포하는 것만으로는 충분하지 않기 때문에 중요한 질문입니다. 이러한 솔루션이 실제로 성과를 내는지 확인하는 것이야말로 AI 솔루션의 판도를 바꾸는 것입니다. 

AI 성과 지표를 측정하여 AI 모델이 프로세스를 더 효율적으로 만들고 혁신을 촉발하거나 문제를 해결하는 데 진정으로 효과적인지 여부를 판단할 수 있습니다. 올바른 핵심 성과 지표(KPI)에 집중함으로써 AI 솔루션이 얼마나 잘 작동하고 있는지, 개선이 필요한 부분은 무엇인지 파악할 수 있습니다.

이 글에서는 가장 관련성이 높은 KPI를 통해 AI 구현의 성공 여부를 측정하는 방법을 살펴봅니다. 비즈니스 KPI와 AI 성과 KPI의 차이점을 살펴보고, 정확도 및 리콜과 같은 주요 메트릭을 살펴보고, 특정 AI 솔루션에 가장 적합한 KPI를 선택하는 데 도움이 되는 내용을 다룰 것입니다.

AI 비즈니스 KPI와 AI 성과 KPI의 차이점

‍

KPI라고 하면 투자 수익률(ROI), 비용 절감 또는 수익 창출과 같은 비즈니스 지표에 관한 것이라고 생각하는 것이 자연스러운데, 특히 엔터프라이즈 AI에 관해 이야기할 때는 더욱 그렇습니다. 이러한 AI 비즈니스 KPI는 AI가 회사의 전반적인 성공에 미치는 영향을 측정하고 더 광범위한 비즈니스 목표와 연계합니다. 

그러나 AI 성능 KPI는 정확도, 정밀도, 리콜과 같은 지표를 사용하여 AI 시스템 자체가 얼마나 잘 작동하고 있는지에 초점을 맞춥니다. 아래에서 이러한 메트릭에 대해 자세히 설명하지만, 기본적으로 비즈니스 KPI가 AI의 재무적 및 전략적 이점을 보여주는 반면, 성능 KPI는 AI 모델이 효과적으로 업무를 수행하고 있는지 확인합니다.

특정 지표는 실제로 두 가지 목적을 모두 충족할 수 있습니다. 예를 들어, 작업을 완료하는 데 필요한 시간이나 리소스의 감소와 같은 효율성 향상은 성과 KPI(AI 솔루션이 얼마나 잘 작동하는지 보여주는 지표)이자 비즈니스 KPI(비용 절감 및 생산성 향상 측정)가 될 수 있습니다. 고객 만족도는 또 다른 크로스오버 지표입니다. 이는 기술적 성능과 전반적인 비즈니스 목표에 미치는 영향 측면에서 AI 기반 고객 서비스 도구의 성공을 반영할 수 있습니다.

주요 AI 성능 지표 이해

AI 모델의 성능을 측정하는 데 사용되는 몇 가지 일반적인 지표가 있습니다. 먼저 지표의 정의와 계산 방법을 살펴보겠습니다. 그런 다음 이러한 지표를 어떻게 모니터링할 수 있는지 살펴보겠습니다.

정밀도

정확도는 AI 모델이 얼마나 정확하게 오탐(모델이 예상한 대로 대상이나 조건을 정확하게 식별하는 경우)을 식별하는지를 측정하는 지표입니다. 예를 들어, 얼굴 인식 시스템에서는 시스템이 감지하도록 학습된 사람의 얼굴을 정확하게 인식하고 식별할 때 오탐이 발생합니다. 

정확도를 계산하려면 먼저 정답 수를 계산합니다. 그런 다음 이를 모델이 양성으로 분류한 총 항목 수로 나눌 수 있습니다. 이 총계에는 올바른 식별과 실수(오탐)가 모두 포함되며 이를 오탐이라고 합니다. 기본적으로 정확도는 모델이 무언가를 인식했다고 주장할 때 얼마나 자주 정확한지 알려줍니다.

Precision = True Positives / (True Positives + False Positives)

‍

오탐으로 인해 비용이 많이 들거나 업무에 차질을 빚을 수 있는 시나리오에서 특히 중요합니다. 예를 들어, 자동화된 제조 분야에서 높은 정확도는 시스템이 결함이 있는 제품을 더 정확하게 표시하고 정상 제품을 불필요하게 폐기하거나 재작업하는 것을 방지할 수 있다는 것을 의미합니다. 또 다른 좋은 예는 보안 감시입니다. 높은 정밀도는 오경보를 최소화하고 보안 대응이 필요한 진짜 위협에만 집중할 수 있도록 도와줍니다.

리콜

리콜은 데이터 세트 내에서 모든 관련 인스턴스, 즉 정탐을 식별하는 AI 모델의 능력을 측정하는 데 도움이 됩니다. 간단히 말해, AI 시스템이 감지하도록 설계된 조건이나 대상의 모든 실제 사례를 얼마나 잘 포착할 수 있는지를 나타냅니다. 정확도는 올바른 탐지 수를 탐지했어야 하는 총 양성 사례 수로 나누어 계산할 수 있습니다(모델이 올바르게 식별한 사례와 놓친 사례 모두 포함).

Recall = True Positives / (True Positives + False Negatives)

암 진단에 사용되는 AI 기반 의료 영상 시스템을 생각해 보세요. 여기서 리콜은 시스템이 실제 암 사례를 정확하게 식별한 비율을 반영합니다. 암 진단을 놓치면 환자 치료에 심각한 결과를 초래할 수 있으므로 이러한 시나리오에서는 높은 회수율이 매우 중요합니다.

정확도 대 리콜

정확도와 회상률은 AI 모델의 성능을 평가할 때 동전의 양면과 같으며, 종종 균형을 맞춰야 합니다. 문제는 한 지표를 개선하면 다른 지표를 희생해야 하는 경우가 많다는 점입니다. 

더 높은 정확도를 추구한다고 가정해 봅시다. 모델이 더 선택적이 되어 매우 확실한 긍정적인 것만 식별할 수 있게 될 수 있습니다. 반면에 정확도를 높이는 것을 목표로 하면 모델이 더 많은 양성을 식별할 수 있지만 오탐이 더 많이 포함되어 결국 정확도가 낮아질 수 있습니다. 

핵심은 애플리케이션의 특정 요구사항에 따라 정확도와 리콜 간의 적절한 균형을 찾는 것입니다. 이를 위한 유용한 도구는 서로 다른 임계값에서 두 메트릭 간의 관계를 보여주는 정밀도-재응답 곡선입니다. 이 곡선을 분석하여 특정 사용 사례에 대해 모델이 가장 잘 작동하는 최적의 지점을 결정할 수 있습니다. 이 트레이드오프를 이해하면 의도한 사용 사례에 맞게 최적의 성능을 발휘하도록 AI 모델을 미세 조정할 때 도움이 됩니다.

‍

평균 평균 정밀도(mAP)

평균 평균 정밀도(mAP)는 이미지 내에서 여러 개체를 식별하고 분류해야 하는 객체 감지와 같은 작업에서 AI 모델의 성능을 평가하는 데 사용되는 지표로, 모델이 인식하도록 학습된 모든 범주에서 얼마나 잘 수행되는지 보여주는 단일 점수를 제공합니다. 어떻게 계산되는지 살펴보겠습니다.

정확도-회상률 곡선 아래 영역은 해당 클래스의 평균 정확도(AP)를 나타냅니다. AP는 다양한 신뢰 수준(신뢰 수준은 모델의 예측이 얼마나 확실한지를 나타냅니다)에 걸쳐 정확도와 재인식을 모두 고려하여 모델이 특정 클래스에 대해 얼마나 정확하게 예측하는지를 측정합니다. 각 클래스에 대해 AP가 계산되면 모든 클래스에서 이러한 AP 값의 평균을 구하여 mAP를 결정합니다.

‍

mAP는 보행자, 차량, 교통 표지판 등 여러 물체를 동시에 감지해야 하는 자율 주행과 같은 애플리케이션에서 유용합니다. mAP 점수가 높다는 것은 모델이 모든 범주에서 일관되게 우수한 성능을 발휘하여 다양한 시나리오에서 안정적이고 정확하다는 것을 의미합니다.

손쉬운 성능 지표 계산

주요 AI 성능 지표를 계산하는 공식과 방법은 어렵게 느껴질 수 있습니다. 하지만 Ultralytics 패키지와 같은 도구를 사용하면 간단하고 빠르게 계산할 수 있습니다. 객체 감지, 세분화, 분류 작업 등 어떤 작업을 하든 Ultralytics 에서는 정확도, 리콜, 평균 정밀도(mAP) 등 중요한 메트릭을 빠르게 계산하는 데 필요한 유틸리티를 제공합니다.

Ultralytics 을 사용하여 성능 지표 계산을 시작하려면 아래 그림과 같이 Ultralytics 패키지를 설치하면 됩니다.

pip install ultralytics

이 예에서는 미리 학습된 YOLOv8 모델을 로드하여 성능 메트릭을 검증하는 데 사용하지만 Ultralytics 에서 제공하는 지원되는 모든 모델을 로드할 수 있습니다. 방법은 다음과 같습니다:

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n.pt")

모델이 로드되면 데이터 세트에 대한 유효성 검사를 수행할 수 있습니다. 다음 코드 조각은 정확도, 리콜, 맵 등 다양한 성능 메트릭을 계산하는 데 도움이 됩니다:

# Run the evaluation
results = model.val()

# Print specific metrics
print("Mean average precision:", results.box.map)
print("Precision:", results.box.p)
print("Recall:", results.box.r)

Ultralytics 같은 도구를 사용하면 성능 메트릭을 훨씬 쉽게 계산할 수 있으므로 모델을 개선하는 데 더 많은 시간을 할애하고 평가 프로세스의 세부 사항에 대해 걱정하는 시간을 줄일 수 있습니다.

배포 후 AI 성능은 어떻게 측정되나요?

AI 모델을 개발할 때는 통제된 환경에서 성능을 쉽게 테스트할 수 있습니다. 하지만 일단 모델이 배포되면 상황이 더 복잡해질 수 있습니다. 다행히도 배포 후 AI 솔루션을 모니터링하는 데 도움이 되는 도구와 모범 사례가 있습니다. 

Prometheus, Grafana, Evidently AI와 같은 도구는 모델의 성능을 지속적으로 추적하도록 설계되었습니다. 이러한 도구는 실시간 인사이트를 제공하고, 이상 징후를 감지하며, 잠재적인 문제를 알려줄 수 있습니다. 이러한 도구는 프로덕션 환경에서 AI 모델의 동적 특성에 맞게 자동화된 확장 가능한 솔루션을 제공함으로써 기존의 모니터링을 뛰어넘습니다.

배포 후 AI 모델의 성공 여부를 측정하기 위해 따라야 할 몇 가지 모범 사례는 다음과 같습니다:

• 명확한 성능 지표를 설정하세요: 정확도, 정밀도, 응답 시간과 같은 주요 지표를 결정하여 모델이 얼마나 잘 작동하고 있는지 정기적으로 확인하세요.
• 데이터 드리프트가 있는지 정기적으로 확인합니다: 제대로 관리하지 않으면 예측에 영향을 미칠 수 있으므로 모델에서 처리하는 데이터의 변경 사항을 주시하세요.
• A/B 테스트를 수행합니다: A/B 테스트를 사용하여 현재 모델의 성능을 새 버전 또는 조정된 모델과 비교하세요. 이를 통해 모델 동작의 개선 또는 퇴보를 정량적으로 평가할 수 있습니다.
• 성과를 문서화하고 감사하세요: 성능 메트릭과 AI 시스템의 변경 사항에 대한 자세한 로그를 보관하세요. 이는 감사, 규정 준수 및 시간이 지남에 따라 모델 아키텍처를 개선하는 데 매우 중요합니다.

최적의 AI KPI 선택은 시작에 불과합니다.

AI 솔루션을 성공적으로 배포하고 관리하려면 올바른 KPI를 선택하고 이를 최신 상태로 유지해야 합니다. 전반적으로 AI 솔루션이 기술적으로나 비즈니스에 미치는 영향 측면에서 얼마나 잘 작동하고 있는지를 강조하는 지표를 선택하는 것이 중요합니다. 기술 발전이나 비즈니스 전략의 변화 등 상황이 변화하면 이러한 KPI를 재검토하고 조정하는 것이 중요합니다. 

성과 검토를 동적으로 유지하면 AI 시스템의 관련성과 효율성을 유지할 수 있습니다. 이러한 메트릭을 지속적으로 파악하면 운영 개선에 도움이 되는 귀중한 인사이트를 얻을 수 있습니다. 사전 예방적인 접근 방식은 AI의 노력이 진정으로 가치 있고 비즈니스 발전에 도움이 되도록 보장합니다!

커뮤니티에 참여하여 함께 혁신하세요! GitHub 리포지토리를 살펴보고 Facebook의 AI 발전상을 확인하세요. 선구적인 AI 기술로 제조 및 의료 등의 산업을 어떻게 재편하고 있는지 알아보세요. 🚀