Предвзятость в искусственном интеллекте

Источники предвзятости Аи

Предвзятость ИИ может возникать из множества источников на протяжении всего жизненного цикла разработки модели. К наиболее распространенным источникам относятся:

• Предвзятость набора данных: это наиболее распространенный источник предвзятости ИИ. Она возникает, когда обучающие данные не являются репрезентативными для реального мира или целевой аудитории. Например, набор данных для инструмента найма, обученного в основном на исторических данных из отрасли, где доминируют мужчины, может научиться отдавать предпочтение кандидатам-мужчинам. Это может проявляться как смещение выборки (данные собираются не случайно), смещение отбора (данные не представляют окружающую среду) или смещение измерения (непоследовательное обозначение данных). Создание сбалансированных и разнообразных наборов данных - важнейший первый шаг.
• Алгоритмическая предвзятость: эта предвзятость возникает из-за самого алгоритма ИИ. Некоторые алгоритмы могут по своей природе усиливать небольшие погрешности, присутствующие в данных, или их дизайн может отдавать предпочтение определенным характеристикам перед другими, что приводит к несправедливым результатам. Например, выбор функции потерь может повлиять на то, как модель наказывает ошибки для различных подгрупп.
• Человеческая предвзятость: разработчики, аннотаторы данных и пользователи систем ИИ могут непреднамеренно привнести в модель ИИ свои собственные когнитивные предубеждения. Эти личные и общественные предубеждения могут повлиять на постановку задач, сбор и аннотирование данных, а также на интерпретацию результатов работы модели.

Примеры из реальной жизни

1. Технология распознавания лиц: Многие коммерческие системы распознавания лиц исторически показывают более высокий процент ошибок при идентификации лиц из недопредставленных демографических групп, в частности женщин и цветных людей. Исследования, проведенные такими институтами, как NIST, продемонстрировали эти различия, которые часто обусловлены набором обучающих данных, содержащих преимущественно белые мужские лица.
2. Автоматизированные инструменты найма: Известный пример - экспериментальный инструмент для подбора персонала, разработанный компанией Amazon, который, как выяснилось, наказывал резюме, содержащие слово "женский", и понижал рейтинг выпускниц двух женских колледжей. Модель узнала об этих предубеждениях из исторических данных о найме, представленных за 10-летний период, которые отражали доминирование мужчин в технологической отрасли. В итоге Amazon отказалась от проекта.

Предвзятость в Ai Vs. Смежные термины

Важно отличать предвзятость ИИ от смежных понятий:

• Алгоритмическая предвзятость в сравнении с предвзятостью ИИ: алгоритмическая предвзятость - это особый тип предвзятости ИИ, возникающий из-за архитектуры или математической формулировки модели. Предвзятость ИИ - это более широкий термин, который также включает в себя предвзятость данных и человеческого вмешательства.
• Предвзятость набора данных против предвзятости ИИ: предвзятость набора данных - основная причина предвзятости ИИ. Совершенно справедливый по своей сути алгоритм может давать необъективные результаты, если он обучен на несбалансированных или предвзятых данных.
• Справедливость в ИИ и предвзятость в ИИ: Справедливость в ИИ - это область, занимающаяся решением проблемы предвзятости в ИИ. Если предвзятость - это проблема, то справедливость включает в себя принципы, метрики и методы, используемые для определения, измерения и продвижения справедливых результатов.

Решение проблемы предвзятого отношения к Ай

Устранение предвзятости ИИ - это постоянный процесс, требующий многостороннего подхода на протяжении всего жизненного цикла разработки ИИ:

• Курирование и пополнение данных: Активно собирайте разнообразные и репрезентативные наборы данных. Используйте такие методы, как расширение данных и потенциальное создание синтетических данных, чтобы сбалансировать представленность различных групп. Изучите такие ресурсы, как коллекция данных Ultralytics Datasets, чтобы найти разнообразные источники данных.
• Метрики справедливости и аудит: Определите и измерьте справедливость с помощью соответствующих метрик во время оценки модели. Регулярно проверяйте модели на предвзятость к различным подгруппам до и после развертывания. В этом процессе могут помочь такие наборы инструментов, как Fairlearn и AI Fairness 360.
• Прозрачность и объяснимость: Используйте методы объяснимого ИИ (XAI), чтобы понять поведение модели и выявить потенциальные источники предвзятости. Узнайте больше о концепциях XAI. Документирование наборов данных и моделей с помощью таких фреймворков, как Data Sheets for Datasets и Model Cards, также повышает прозрачность.
• Этические рамки и управление: Внедрите строгие принципы этики ИИ и структуры управления, опираясь на такие системы, как NIST AI Risk Management Framework, для руководства разработкой и внедрением.

Платформы, подобные Ultralytics HUB, предоставляют инструменты, поддерживающие разработку более справедливых систем ИИ, позволяя тщательно управлять наборами данных, облегчая обучение пользовательских моделей и позволяя отслеживать производительность модели Ultralytics YOLO. Повышение осведомленности и внедрение принципов справедливости, которые часто обсуждаются на таких форумах, как конференция ACM FAccT, имеют решающее значение для создания технологий, приносящих обществу справедливую пользу.