설명 가능한 AI(XAI)

설명 가능한 AI가 중요한 이유

XAI에 대한 수요는 다양한 분야의 고위험 의사 결정에 AI가 점점 더 많이 통합됨에 따라 발생합니다. 다음과 같은 AI 모델은 Ultralytics YOLO 와 같은 AI 모델은 놀라운 정확도를 달성할 수 있지만, 특정 결론에 도달하는 이유를 이해하는 것은 매우 중요합니다. 이러한 해석 가능성의 부족은 의료 분야의 AI나 금융 분야의 AI와 같은 분야에서 장벽이 될 수 있습니다. XAI를 도입하는 주요 동기는 다음과 같습니다:

• 신뢰 구축: 사용자와 이해관계자가 결과의 이면에 있는 추론을 이해할 수 있다면 AI 시스템을 신뢰하고 채택할 가능성이 높아집니다.
• 디버깅 및 개선: 모델 동작을 이해하면 개발자가 결함을 식별하고 효과적인 모델 평가 및 미세 조정을 수행하며 성능을 개선하는 데 도움이 됩니다.
• 규정 준수: EU의 일반 데이터 보호 규정(GDPR) 과 같은 규정에서는 개인에게 영향을 미치는 자동화된 결정에 대해 설명을 요구할 수 있습니다.
• 편향성 파악: XAI는 AI의 편향을 발견하고 완화하여 AI의 공정성을 높이는 데 도움을 줄 수 있습니다.
• 책임감 강화: 명확한 설명을 통해 AI 시스템이 오류를 범했을 때 책임을 더 쉽게 부여할 수 있으며, AI 윤리 원칙에 부합합니다.

혜택 및 활용

XAI를 구현하면 사용자 신뢰도 향상, 디버깅 프로세스 간소화, 책임감 있는 AI 배포 촉진 등 상당한 이점을 얻을 수 있습니다. XAI 기술은 다양한 분야에서 활용되고 있습니다:

• 헬스케어 - 의료 이미지 분석: 의료 이미지 분석에서 AI는 엑스레이에서 질병의 징후를 감지할 수 있습니다. XAI 기술은 이미지의 특정 영역이나 특징(예: 질감, 모양)을 강조 표시하여 모델이 진단을 내릴 수 있도록 합니다. 이를 통해 영상의학과 전문의 는 AI의 결과를 자신의 전문 지식과 비교하여 검증할 수 있으므로 도구에 대한 신뢰도를 높이고 잠재적인 오류를 포착할 수 있습니다. 이는 의료 기기의 AI/ML에 대한 FDA의 기준과 같은 표준을 충족하는 데 매우 중요합니다. 자세한 내용은 의료 분야 에서의 AI 솔루션을 살펴보세요.
• 금융 - 신용 점수: AI 모델이 대출 신청을 거부할 경우, XAI는 어떤 요인(예: 신용 기록 기간, 부채 대 소득 비율, 특정 거래)이 결정에 가장 큰 영향을 미쳤는지 설명할 수 있습니다. 이를 통해 금융 기관은 신용 기관이 거부 사유를 제공하도록 요구하는 신용 기회 균등법과 같은 규정을 준수하고 알고리즘의 편견이 없는 결정을 내릴 수 있습니다.

XAI 기술

설명 가능성을 달성하기 위한 다양한 방법이 존재하며, 종종 접근 방식이 다릅니다(예: 개별 예측과 전체 모델 행동에 대한 설명). 몇 가지 일반적인 기법은 다음과 같습니다:

• LIME(로컬 해석 가능한 모델-애그노스틱 설명): 더 간단하고 해석 가능한 모델을 사용하여 특정 예측을 중심으로 복잡한 모델의 동작을 로컬에서 근사화합니다. LIME에 대해 자세히 알아보세요.
• SHAP(샤플리 덧셈 외 계획): 협동 게임 이론의 개념을 사용하여 특정 예측에 대해 각 특징에 중요도 값을 할당합니다. SHAP 값을 알아보세요.
• 주의 메커니즘: 특히 트랜스포머와 같은 모델에서 주의도 점수는 모델이 출력을 생성할 때 입력 데이터의 어느 부분에 가장 중점을 두었는지를 나타낼 수 있습니다.

DARPA XAI 프로그램과 같은 연구 이니셔티브는 이러한 기술의 개발을 크게 진전시켰습니다.

XAI와 관련 개념

XAI를 관련 용어와 구별하는 것이 중요합니다:

• AI의 투명성: AI의 투명성은 아키텍처, 학습된 데이터, 성능 메트릭 등 AI 시스템이 어떻게 작동하는지에 대한 가시성을 의미합니다. 투명성은 기본적인 정보를 제공하지만, XAI는 특히 모델이 특정 결정이나 예측을 내린 이유에 대해 사람이 이해할 수 있는 설명을 생성하는 데 중점을 둡니다.
• 통합 가시성: 통합 가시성은 로그, 메트릭, 추적과 같은 외부 출력을 검사하여 시스템(AI/ML 모델 포함)의 내부 상태를 이해하는 능력과 관련된 보다 광범위한 시스템 속성입니다. 이는 디버깅과 성능 추적을 가능하게 하는 MLOps 및 모델 모니터링에 매우 중요합니다. XAI는 모델 출력의 추론을 해석 가능하게 만드는 데 중점을 둔 특정 하위 집합입니다.

도전 과제 및 고려 사항

의미 있는 설명 가능성을 달성하는 것은 복잡할 수 있습니다.'비전 모델의 역사'에서 설명한 것처럼 모델 성능(정확도)과 해석 가능성 사이에는 종종 상충 관계가 있으며, 매우 복잡한 모델은 더 정확할 수 있지만 설명하기는 더 어려울 수 있습니다. 또한, 상세한 모델 로직을 노출하면 지적 재산권이나 적대적인 조작에 대한 우려가 제기될 수 있습니다. AI 파트너십과 같은 조직은 이러한 윤리적, 실용적 문제를 해결하기 위해 노력하고 있습니다.

Ultralytics 는 도구와 리소스를 통해 모델 동작에 대한 이해를 촉진합니다. 사용자가 다음과 같은 모델을 평가하고 해석하는 데 도움이 되는 Ultralytics HUB의 시각화 기능과 YOLO 성능 메트릭에 대한 설명과 같은 Ultralytics 문서의 자세한 가이드는 다음과 같습니다. Ultralytics YOLOv8.