AI có thể giải thích (XAI)

Tại sao AI có thể giải thích được lại quan trọng

Nhu cầu về XAI phát sinh từ sự tích hợp ngày càng tăng của AI vào quá trình ra quyết định có rủi ro cao trong nhiều lĩnh vực khác nhau. Trong khi các mô hình AI, chẳng hạn như Ultralytics YOLO để phát hiện đối tượng , có thể đạt được độ chính xác đáng kể, thì việc hiểu lý do tại sao chúng đưa ra kết luận cụ thể là rất quan trọng. Việc thiếu khả năng diễn giải này có thể là rào cản trong các lĩnh vực như AI trong Y tế và AI trong tài chính . Các động lực chính để áp dụng XAI bao gồm:

• Xây dựng lòng tin: Người dùng và các bên liên quan có nhiều khả năng tin tưởng và áp dụng các hệ thống AI nếu họ có thể hiểu được lý do đằng sau kết quả đầu ra của chúng.
• Gỡ lỗi và cải tiến: Hiểu được hành vi của mô hình giúp các nhà phát triển xác định lỗi, đánh giá và tinh chỉnh mô hình hiệu quả, đồng thời cải thiện hiệu suất.
• Tuân thủ quy định: Các quy định như Quy định bảo vệ dữ liệu chung (GDPR) của EU có thể yêu cầu giải thích về các quyết định tự động ảnh hưởng đến cá nhân.
• Xác định sự thiên vị: XAI có thể giúp phát hiện và giảm thiểu sự thiên vị trong AI , thúc đẩy tính Công bằng trong AI .
• Nâng cao trách nhiệm giải trình: Giải thích rõ ràng giúp dễ dàng phân công trách nhiệm khi hệ thống AI mắc lỗi, phù hợp với các nguyên tắc Đạo đức AI .

Lợi ích và ứng dụng

Việc triển khai XAI mang lại những lợi ích đáng kể, bao gồm tăng sự tự tin của người dùng, hợp lý hóa quy trình gỡ lỗi và thúc đẩy triển khai AI có trách nhiệm. Các kỹ thuật XAI được ứng dụng trong nhiều lĩnh vực:

• Chăm sóc sức khỏe - Phân tích hình ảnh y tế: Trong phân tích hình ảnh y tế , AI có thể phát hiện các dấu hiệu của bệnh trong X-quang. Các kỹ thuật XAI có thể làm nổi bật các vùng hoặc đặc điểm cụ thể trong hình ảnh (ví dụ: kết cấu, hình dạng) dẫn mô hình đến chẩn đoán của nó. Điều này cho phép các bác sĩ X-quang xác minh các phát hiện của AI so với chuyên môn của họ, tăng sự tin tưởng vào công cụ và có khả năng phát hiện ra lỗi. Điều này rất quan trọng để đáp ứng các tiêu chuẩn như tiêu chuẩn của FDA đối với AI/ML trong các thiết bị y tế . Khám phá các giải pháp AI trong chăm sóc sức khỏe để biết thêm bối cảnh.
• Tài chính - Điểm tín dụng: Khi mô hình AI từ chối đơn xin vay, XAI có thể giải thích những yếu tố nào (ví dụ: thời gian lịch sử tín dụng, tỷ lệ nợ trên thu nhập, các giao dịch cụ thể) ảnh hưởng nhiều nhất đến quyết định. Điều này giúp các tổ chức tài chính tuân thủ các quy định như Đạo luật Cơ hội tín dụng bình đẳng , yêu cầu các chủ nợ cung cấp lý do từ chối và giúp đảm bảo các quyết định không bị thiên vị thuật toán .

Kỹ thuật XAI

Có nhiều phương pháp khác nhau để đạt được khả năng giải thích, thường khác nhau về cách tiếp cận (ví dụ, giải thích các dự đoán riêng lẻ so với hành vi mô hình tổng thể). Một số kỹ thuật phổ biến bao gồm:

• LIME (Giải thích mô hình cục bộ có thể diễn giải được): Xấp xỉ hành vi của một mô hình phức tạp cục bộ xung quanh một dự đoán cụ thể bằng cách sử dụng một mô hình đơn giản hơn, có thể diễn giải được. Tìm hiểu thêm về LIME .
• SHAP (SHapley Additive exPlanations): Sử dụng các khái niệm từ lý thuyết trò chơi hợp tác để gán giá trị quan trọng cho từng tính năng cho một dự đoán cụ thể. Khám phá các giá trị SHAP .
• Cơ chế chú ý: Đặc biệt trong các mô hình như Transformers , điểm chú ý đôi khi có thể chỉ ra phần nào của dữ liệu đầu vào mà mô hình tập trung nhiều nhất khi tạo ra đầu ra.

Các sáng kiến nghiên cứu như Chương trình DARPA XAI đã thúc đẩy đáng kể sự phát triển của các kỹ thuật này.

XAI so với các khái niệm liên quan

Điều quan trọng là phải phân biệt XAI với các thuật ngữ liên quan:

• Minh bạch trong AI: Minh bạch trong AI đề cập đến khả năng hiển thị cách thức hoạt động của hệ thống AI, bao gồm kiến trúc, dữ liệu được đào tạo và số liệu hiệu suất của hệ thống. Trong khi tính minh bạch cung cấp thông tin cơ bản, XAI tập trung cụ thể vào việc tạo ra các giải thích dễ hiểu đối với con người về lý do tại sao một mô hình đưa ra quyết định hoặc dự đoán cụ thể.
• Khả năng quan sát: Khả năng quan sát là một thuộc tính hệ thống rộng hơn liên quan đến khả năng hiểu trạng thái bên trong của một hệ thống (bao gồm các mô hình AI/ML) bằng cách kiểm tra các đầu ra bên ngoài của nó như nhật ký, số liệu và dấu vết. Điều này rất quan trọng đối với MLOps và giám sát mô hình , cho phép gỡ lỗi và theo dõi hiệu suất. XAI là một tập hợp con cụ thể tập trung vào việc làm cho lý luận đằng sau các đầu ra của mô hình có thể diễn giải được.

Thách thức và cân nhắc

Đạt được khả năng giải thích có ý nghĩa có thể phức tạp. Thường có sự đánh đổi giữa hiệu suất mô hình (độ chính xác) và khả năng giải thích; các mô hình cực kỳ phức tạp có thể chính xác hơn nhưng khó giải thích hơn, như đã thảo luận trong ' Lịch sử các mô hình tầm nhìn '. Ngoài ra, việc tiết lộ logic mô hình chi tiết có thể gây ra mối lo ngại về sở hữu trí tuệ hoặc thao túng đối nghịch. Các tổ chức như Đối tác về AI đang nỗ lực giải quyết những thách thức về mặt đạo đức và thực tế này.

Ultralytics thúc đẩy việc hiểu hành vi của mô hình thông qua các công cụ và tài nguyên. Khả năng trực quan hóa trong Ultralytics HUB và hướng dẫn chi tiết trong Ultralytics Docs , chẳng hạn như giải thích về YOLO Performance Metrics , giúp người dùng đánh giá và diễn giải các mô hình như Ultralytics YOLOv8 .