Thiên vị thuật toán

Nguồn gốc của sự thiên vị thuật toán

Mặc dù thường liên quan đến các vấn đề về dữ liệu, sai lệch thuật toán đặc biệt phát sinh từ cơ chế của thuật toán:

• Lựa chọn thiết kế: Các quyết định được đưa ra trong quá trình phát triển thuật toán, chẳng hạn như lựa chọn các tính năng cụ thể hoặc thuật toán tối ưu hóa được sử dụng, có thể vô tình tạo ra sự thiên vị. Ví dụ, việc tối ưu hóa chỉ để có độ chính xác có thể khiến mô hình hoạt động kém trên các nhóm thiểu số nếu chúng đại diện cho các trường hợp ngoại lệ.
• Kỹ thuật và lựa chọn tính năng: Quá trình lựa chọn, chuyển đổi hoặc tạo tính năng ( kỹ thuật tính năng ) có thể nhúng các thành kiến. Một thuật toán có thể học các mối tương quan phản ánh các thành kiến xã hội hiện diện gián tiếp trong các tính năng.
• Biến Proxy: Thuật toán có thể sử dụng các biến có vẻ trung lập (như mã bưu chính hoặc lịch sử mua hàng) làm proxy cho các thuộc tính nhạy cảm (như chủng tộc hoặc thu nhập). Việc sử dụng biến proxy này có thể dẫn đến kết quả phân biệt đối xử ngay cả khi không có dữ liệu nhạy cảm rõ ràng.
• Vòng phản hồi: Trong các hệ thống học theo thời gian, các sai lệch thuật toán ban đầu có thể được củng cố khi các đầu ra sai lệch của hệ thống ảnh hưởng đến việc thu thập dữ liệu trong tương lai hoặc hành vi của người dùng.

Ví dụ thực tế

Sự thiên vị của thuật toán có thể biểu hiện trong nhiều ứng dụng khác nhau:

1. Công cụ tuyển dụng: Các hệ thống AI được thiết kế để sàng lọc sơ yếu lý lịch có thể học các mô hình từ dữ liệu tuyển dụng trong quá khứ. Nếu các hoạt động trước đây thiên vị một số nhóm nhân khẩu học nhất định, thuật toán có thể duy trì sự thiên vị này, phạt các ứng viên đủ tiêu chuẩn từ các nhóm chưa được đại diện, như đã xảy ra với một công cụ thử nghiệm tại Amazon .
2. Dịch vụ tài chính: Các thuật toán được sử dụng để chấm điểm tín dụng hoặc phê duyệt khoản vay có thể từ chối đơn đăng ký của những cá nhân ở một số khu phố hoặc nhóm nhân khẩu học nhất định một cách không cân xứng, ngay cả khi các đặc điểm được bảo vệ bị loại trừ. Điều này có thể xảy ra nếu thuật toán xác định mối tương quan giữa các yếu tố có vẻ trung lập (như kiểu duyệt internet hoặc các nhà bán lẻ cụ thể được bảo trợ) và rủi ro tín dụng phù hợp với định kiến xã hội. Mối quan ngại về định kiến thuật toán trong tài chính đang gia tăng.

Sự thiên vị thuật toán so với các khái niệm liên quan

Điều quan trọng là phải phân biệt sự thiên vị thuật toán với các thuật ngữ liên quan:

• Thiên vị trong AI : Đây là thuật ngữ rộng bao gồm tất cả các hình thức bất công có hệ thống trong các hệ thống AI. Thiên vị thuật toán là một nguồn cụ thể của thiên vị AI, cùng với các nguồn khác như Thiên vị tập dữ liệu .
• Dataset Bias : Điều này đề cập đến các sai lệch bắt nguồn từ dữ liệu được sử dụng để đào tạo mô hình (ví dụ: mẫu không đại diện, chú thích bị lệch). Trong khi sai lệch tập dữ liệu có thể gây ra hoặc khuếch đại sai lệch thuật toán, sai lệch thuật toán cũng có thể phát sinh độc lập do thiết kế của thuật toán, ngay cả với dữ liệu đại diện hoàn hảo. Việc hiểu được sự tương tác giữa sai lệch AI và sai lệch tập dữ liệu là rất quan trọng.
• Sự đánh đổi giữa độ lệch và phương sai : Đây là một khái niệm cơ bản trong ML liên quan đến độ phức tạp của mô hình và các loại lỗi. 'Độ lệch' trong bối cảnh này đề cập đến việc đơn giản hóa các giả định do mô hình đưa ra dẫn đến lỗi hệ thống ( không khớp đúng ), không phải là độ lệch liên quan đến xã hội hoặc công bằng.

Chiến lược giảm thiểu

Để giải quyết vấn đề thiên vị thuật toán đòi hỏi phải có cách tiếp cận chủ động và đa chiều trong suốt vòng đời của AI:

• Chỉ số công bằng: Kết hợp chỉ số công bằng vào quá trình đào tạo và xác thực mô hình, cùng với các chỉ số hiệu suất truyền thống như độ chính xác.
• Kiểm toán thuật toán: Kiểm toán thường xuyên các thuật toán để tìm ra kết quả thiên vị trên các nhóm con khác nhau. Các công cụ như bộ công cụ AI Fairness 360 và Fairlearn có thể hỗ trợ phát hiện và giảm thiểu thiên vị.
• Kỹ thuật giảm thiểu sai lệch: Sử dụng các kỹ thuật được thiết kế để điều chỉnh thuật toán, chẳng hạn như cân nhắc lại các điểm dữ liệu, sửa đổi các ràng buộc học tập hoặc xử lý hậu kỳ đầu ra của mô hình để đảm bảo kết quả công bằng hơn.
• AI có thể giải thích (XAI) : Sử dụng các phương pháp XAI để hiểu lý do tại sao một thuật toán đưa ra một số quyết định nhất định, giúp xác định các thành kiến tiềm ẩn trong logic của thuật toán đó. Tăng cường tính minh bạch trong AI là chìa khóa.
• Các nhóm và thử nghiệm đa dạng: Thu hút nhiều nhóm khác nhau tham gia vào quá trình phát triển và tiến hành thử nghiệm kỹ lưỡng với các nhóm người dùng đại diện để phát hiện ra những sai lệch tiềm ẩn.
• Nhận thức về quy định: Luôn cập nhật các quy định đang thay đổi như Đạo luật AI của EU , bao gồm các điều khoản liên quan đến sự thiên vị và công bằng.
• Giám sát mô hình liên tục: Giám sát các mô hình được triển khai để phát hiện tình trạng suy giảm hiệu suất hoặc sai lệch mới xuất hiện theo thời gian.

Bằng cách hiểu được các sắc thái của sự thiên vị thuật toán và tích cực hành động để giảm thiểu nó thông qua thiết kế cẩn thận, thử nghiệm nghiêm ngặt và tuân thủ các nguyên tắc Công bằng trong AI và Đạo đức AI , các nhà phát triển có thể tạo ra các ứng dụng AI đáng tin cậy, công bằng và có lợi hơn. Các tổ chức như Partnership on AI và Algorithmic Justice League ủng hộ việc phát triển AI có trách nhiệm. Các nền tảng như Ultralytics HUB và các mô hình như Ultralytics YOLO cung cấp các khuôn khổ hỗ trợ phát triển và đánh giá mô hình cẩn thận, xem xét các yếu tố như Quyền riêng tư dữ liệu và góp phần tạo ra các hệ thống công bằng hơn. Hội nghị ACM về Công bằng, Trách nhiệm giải trình và Minh bạch (FAccT) là địa điểm hàng đầu cho nghiên cứu trong lĩnh vực này.