AI의 편향성

인공지능 편향의 원인

AI 편향은 모델 개발 수명 주기 전반에 걸쳐 다양한 원인에서 발생할 수 있습니다. 가장 일반적인 원인은 다음과 같습니다:

• 데이터 세트 편향: 가장 널리 퍼져 있는 AI 편향의 원인입니다. 이는 학습 데이터가 실제 세계 또는 대상 집단을 대표하지 않을 때 발생합니다. 예를 들어, 남성이 지배적인 산업의 과거 데이터로 주로 학습된 채용 도구의 데이터 세트는 남성 지원자를 선호하도록 학습할 수 있습니다. 이는 샘플링 편향(무작위로 수집되지 않은 데이터), 선택 편향(환경을 대표하지 않는 데이터) 또는 측정 편향(일관되지 않은 데이터 라벨링)으로 나타날 수 있습니다. 균형 잡힌 다양한 데이터 세트를 만드는 것이 중요한 첫 단계입니다.
• 알고리즘 편향: 이 편향은 AI 알고리즘 자체에서 발생합니다. 일부 알고리즘은 본질적으로 데이터에 존재하는 작은 편향을 증폭시키거나, 특정 기능을 다른 기능보다 우선시하여 불공정한 결과를 초래하는 방식으로 설계될 수 있습니다. 예를 들어 손실 함수의 선택은 모델이 여러 하위 그룹에 대해 오류를 처벌하는 방식에 영향을 미칠 수 있습니다.
• 인간의 편견: AI 시스템의 개발자, 데이터 주석 작성자, 사용자는 의도치 않게 자신의 인지적 편견을 AI 모델에 도입할 수 있습니다. 이러한 개인적, 사회적 편견은 문제를 구성하는 방식, 데이터를 수집하고 주석을 다는 방식, 모델의 결과를 해석하는 방식에 영향을 미칠 수 있습니다.

실제 사례

1. 얼굴 인식 기술: 역사적으로 많은 상업용 얼굴 인식 시스템은 특히 여성과 유색인종 등 소외된 인구 집단의 개인을 식별할 때 높은 오류율을 보여 왔습니다. NIST와 같은 기관의 연구에 따르면 이러한 차이는 주로 백인 남성의 얼굴이 주를 이루는 훈련 데이터 세트에서 비롯되는 경우가 많습니다.
2. 자동화된 채용 도구: 잘 알려진 예로는 Amazon에서 개발한 실험적인 채용 도구가 있는데, 이 도구는 '여성'이라는 단어가 포함된 이력서에 불이익을 주고 두 개의 여자 대학 졸업생의 등급을 낮추는 것으로 밝혀졌습니다. 이 모델은 10년 동안 제출된 과거 채용 데이터에서 이러한 편견을 학습했으며, 이는 기술 업계 전반의 남성 우위를 반영했습니다. 결국 아마존은 이 프로젝트를 포기했습니다.

인공지능의 편향성 대 관련 용어

AI 편향성과 관련 개념을 구분하는 것이 중요합니다:

• 알고리즘 편향과 AI 편향: 알고리즘 편향은 모델의 아키텍처 또는 수학적 공식에서 비롯되는 특정 유형의 AI 편향입니다. AI 편향은 데이터와 사람의 개입으로 인한 편향도 포함하는 보다 포괄적인 용어입니다.
• 데이터 세트 편향과 AI 편향: 데이터 세트 편 향은 AI 편향의 주요 원인입니다. 설계가 완벽하게 공정한 알고리즘도 불균형하거나 편견이 있는 데이터로 학습하면 편향된 결과를 생성할 수 있습니다.
• AI의 공정성 대 AI 편향성: AI의 공정성은 AI 편향성을 해결하기 위한 분야입니다. 편향성이 문제라면 공정성은 공평한 결과를 정의, 측정 및 촉진하는 데 사용되는 원칙, 지표 및 기법을 포함합니다.

인공지능 편향성 해결

AI 편향성을 완화하는 것은 AI 개발 수명 주기 전반에 걸쳐 다각적인 접근 방식이 필요한 지속적인 프로세스입니다:

• 데이터 큐레이션 및 증강: 다양하고 대표성 있는 데이터 세트를 적극적으로 수집합니다. 데이터 증강 및 잠재적인 합성 데이터 생성과 같은 기술을 활용하여 여러 그룹에 걸쳐 대표성의 균형을 맞출 수 있습니다. 다양한 데이터 원본에 대한 울트라리틱스 데이터 집합 컬렉션과 같은 리소스를 살펴보세요.
• 공정성 지표 및 감사: 모델 평가 시 적절한 지표를 사용하여 공정성을 정의하고 측정하세요. 배포 전후에 여러 하위 그룹에 걸쳐 편향된 성능이 있는지 모델을 정기적으로 감사합니다. Fairlearn 및 AI 공정성 360과 같은 툴킷이 이 프로세스에 도움이 될 수 있습니다.
• 투명성 및 설명 가능성: 설명 가능한 AI(XAI) 기술을 사용하여 모델 행동을 이해하고 잠재적인 편향의 원인을 파악하세요. XAI 개념에 대해 자세히 알아보세요. 데이터 세트용 데이터 시트 및 모델 카드와 같은 프레임워크를 사용하여 데이터 세트와 모델을 문서화하면 투명성도 향상됩니다.
• 윤리 프레임워크 및 거버넌스: NIST AI 위험 관리 프레임워크와 같은 프레임워크를 참조하여 강력한 AI 윤리 지침과 거버넌스 구조를 구현하여 개발 및 배포를 안내하세요.

Ultralytics HUB와 같은 플랫폼은 신중한 데이터 세트 관리, 맞춤형 모델 학습 촉진, Ultralytics YOLO 모델 성능 모니터링을 가능하게 함으로써 보다 공정한 AI 시스템 개발을 지원하는 도구를 제공합니다. ACM FAccT 컨퍼런스와 같은 포럼에서 자주 논의되는 공정성에 대한 인식을 구축하고 원칙을 내재화하는 것은 사회에 공평하게 혜택을 주는 기술을 만드는 데 매우 중요합니다.