Diện tích dưới đường cong (AUC)

Hiểu về Đường cong ROC

AUC được lấy từ đường cong Đặc tính hoạt động của máy thu (ROC) , là một đồ thị minh họa khả năng chẩn đoán của hệ thống phân loại nhị phân khi ngưỡng phân biệt của nó thay đổi. Đường cong ROC vẽ Tỷ lệ dương tính thực (TPR), còn được gọi là độ nhạy hoặc Thu hồi , so với Tỷ lệ dương tính giả (FPR) ở các cài đặt ngưỡng khác nhau. Số liệu AUC định lượng tổng diện tích hai chiều bên dưới toàn bộ đường cong ROC này, cung cấp một giá trị vô hướng duy nhất tóm tắt hiệu suất của mô hình trên tất cả các ngưỡng.

Giải thích về AUC

Điểm AUC cung cấp thước đo toàn diện về hiệu suất phân loại của mô hình, không phụ thuộc vào ngưỡng cụ thể được chọn để phân loại. Các giải thích chính bao gồm:

• AUC = 1: Phân loại hoàn hảo.
• AUC = 0,5: Phân loại ngẫu nhiên (không có khả năng phân biệt).
• AUC < 0.5: Classifier performs worse than random guessing (often indicates mislabeled data or model issues).
• 0.5 < AUC < 1: Classifier has some discriminative ability; higher values are better.

Một lợi thế đáng kể của AUC là tính không nhạy cảm tương đối của nó đối với sự mất cân bằng lớp so với các số liệu như Độ chính xác . Điều này làm cho nó đặc biệt hữu ích khi đánh giá các mô hình được đào tạo trên các tập dữ liệu trong đó một lớp vượt trội hơn đáng kể so với lớp kia. Để tìm hiểu sâu hơn về cách diễn giải các đường cong ROC, Wikipedia cung cấp một bản tổng quan tốt .

Ứng dụng trong AI và ML

AUC được sử dụng rộng rãi trong nhiều lĩnh vực mà phân loại nhị phân có vai trò quan trọng:

• Chẩn đoán y khoa: Đánh giá các mô hình dự đoán sự có mặt hoặc không có mặt của một căn bệnh dựa trên các triệu chứng của bệnh nhân hoặc các xét nghiệm chẩn đoán, chẳng hạn như trong phân tích hình ảnh y khoa . Ví dụ, đánh giá khả năng phân biệt giữa khối u lành tính và ác tính của mô hình AI từ các lần quét MRI. Tính hữu ích của nó trong nghiên cứu y khoa đã được ghi chép đầy đủ .
• Phát hiện gian lận: Đánh giá các mô hình được thiết kế để xác định các giao dịch hoặc hoạt động gian lận. Một ví dụ là đánh giá một mô hình đánh dấu các giao dịch thẻ tín dụng là có khả năng gian lận hoặc hợp pháp.
• Lọc thư rác: Đo lường hiệu quả của bộ lọc thư rác trong việc phân biệt giữa thư rác và email hợp lệ.
• Phân tích tình cảm: Đánh giá các mô hình phân loại văn bản (ví dụ: đánh giá của khách hàng) thành có tình cảm tích cực hay tiêu cực.

Các công cụ như Scikit-learn cung cấp các chức năng để tính điểm ROC AUC một cách dễ dàng.

AUC so với các số liệu khác

Mặc dù AUC có giá trị nhưng điều quan trọng là phải hiểu mối quan hệ của nó với các số liệu đánh giá khác:

• Độ chính xác: Không giống như AUC, độ chính xác đo lường tỷ lệ dự đoán đúng nói chung. Nó có thể gây hiểu lầm trên các tập dữ liệu mất cân bằng, trong khi AUC cung cấp thước đo khả năng tách biệt tốt hơn.
• Đường cong Precision-Recall (PRC): Đối với các tập dữ liệu mất cân bằng cao, trong đó lớp dương hiếm nhưng quan trọng (ví dụ: phát hiện gian lận), diện tích bên dưới đường cong Precision-Recall (AUC-PR hoặc PR-AUC) có thể cung cấp nhiều thông tin hơn ROC AUC. Độ chính xác tập trung vào tính chính xác của các dự đoán dương.
• Độ chính xác trung bình trung bình (mAP): Chỉ số này là tiêu chuẩn để đánh giá các mô hình phát hiện đối tượng như Ultralytics YOLO . mAP xem xét cả độ chính xác phân loại và độ chính xác định vị (thường sử dụng Giao điểm trên Liên hợp (IoU) ) trên nhiều lớp đối tượng và ngưỡng tin cậy, khiến nó khác biệt với trọng tâm phân loại nhị phân của AUC. Bạn có thể tìm hiểu thêm về chỉ số hiệu suất YOLO tại đây .

Những cân nhắc

Mặc dù AUC là một số liệu mạnh mẽ, nhưng nó tóm tắt hiệu suất trên tất cả các ngưỡng và không phản ánh hiệu suất tại một điểm vận hành cụ thể được chọn để triển khai. Tùy thuộc vào chi phí của ứng dụng liên quan đến kết quả dương tính giả so với kết quả âm tính giả, các số liệu khác hoặc kiểm tra trực tiếp đường cong ROC có thể là cần thiết. Một số cuộc thảo luận nêu bật những hạn chế tiềm ẩn hoặc diễn giải sai về AUC . Việc tích hợp AUC với các số liệu khác cung cấp góc nhìn toàn diện hơn trong quá trình đánh giá mô hình . Các nền tảng như Ultralytics HUB giúp quản lý và so sánh hiệu suất mô hình trên nhiều số liệu khác nhau trong quá trình đào tạo và triển khai.