Diện tích dưới đường cong (AUC)

Hiểu về Đường cong ROC

Giá trị AUC được lấy trực tiếp từ đường cong Đặc tính hoạt động của máy thu (ROC) . Đường cong ROC là một đồ thị minh họa khả năng chẩn đoán của bộ phân loại nhị phân khi ngưỡng phân biệt của nó thay đổi. Nó vẽ Tỷ lệ dương tính thực (TPR), còn được gọi là độ nhạy hoặc Thu hồi , trên trục y so với Tỷ lệ dương tính giả (FPR) trên trục x ở các cài đặt ngưỡng khác nhau. AUC biểu thị toàn bộ diện tích hai chiều bên dưới đường cong ROC này. Tổng quan toàn diện về các đường cong ROC có thể được tìm thấy trên Wikipedia .

Giải thích về AUC

AUC được hiểu là xác suất mà một mô hình sẽ xếp hạng một trường hợp dương được chọn ngẫu nhiên cao hơn một trường hợp âm được chọn ngẫu nhiên. Điều này làm cho nó trở thành thước đo sức mạnh phân biệt tổng thể của mô hình. Một trong những lợi thế chính của AUC là tính không nhạy cảm tương đối của nó đối với sự mất cân bằng lớp so với các số liệu như Độ chính xác . Trong các tập dữ liệu mà một lớp vượt trội hơn hẳn lớp kia (một tình huống phổ biến trong các vấn đề thực tế), độ chính xác có thể gây hiểu lầm, trong khi AUC cung cấp thước đo mạnh mẽ hơn về mức độ mô hình phân tách các lớp tốt như thế nào. AUC gần 1 biểu thị một mô hình có khả năng phân tách tuyệt vời, trong khi AUC gần 0,5 cho thấy khả năng phân biệt kém, tương tự như đoán ngẫu nhiên. Hiểu được những cách giải thích này là rất quan trọng để đánh giá mô hình hiệu quả.

Ứng dụng trong AI và ML

AUC được sử dụng rộng rãi trong nhiều lĩnh vực khác nhau, nơi mà nhiệm vụ phân loại nhị phân rất quan trọng. Sau đây là hai ví dụ:

1. Chẩn đoán y khoa: Trong phân tích hình ảnh y khoa , các mô hình thường được đào tạo để phát hiện sự hiện diện hoặc vắng mặt của bệnh (ví dụ: khối u, bệnh võng mạc tiểu đường). AUC được sử dụng để đánh giá mức độ các mô hình AI trong chăm sóc sức khỏe này có thể phân biệt giữa bệnh nhân khỏe mạnh và bệnh nhân mắc bệnh dựa trên hình ảnh, trên các ngưỡng chẩn đoán khác nhau. Tầm quan trọng của AUC trong nghiên cứu y khoa đã được ghi chép đầy đủ .
2. Phát hiện gian lận: Các tổ chức tài chính sử dụng mô hình ML để xác định các giao dịch gian lận. Đây là một vấn đề phân loại nhị phân cổ điển (gian lận so với không gian lận). AUC giúp đánh giá hiệu quả tổng thể của mô hình trong việc đánh dấu các hoạt động có khả năng gian lận đồng thời giảm thiểu báo động giả, điều này rất quan trọng đối với AI trong tài chính .

Nhiều khuôn khổ và thư viện học sâu (DL) , bao gồm PyTorch và TensorFlow , được sử dụng để xây dựng các bộ phân loại này. Các công cụ như Scikit-learn cung cấp các hàm tiện lợi để tính điểm ROC AUC , giúp đơn giản hóa quy trình đánh giá. Các nền tảng như Ultralytics HUB cũng tạo điều kiện thuận lợi cho việc đào tạo và đánh giá các mô hình khi các số liệu đó có liên quan.

AUC so với các số liệu khác

Mặc dù AUC là một số liệu có giá trị, nhưng điều quan trọng là phải hiểu nó khác với các biện pháp đánh giá khác được sử dụng trong thị giác máy tính (CV) và ML như thế nào:

• AUC so với Độ chính xác: Độ chính xác đo lường độ chính xác tổng thể của các dự đoán nhưng có thể gây hiểu lầm trên các tập dữ liệu mất cân bằng. AUC cung cấp một phép đo khả năng tách biệt không phụ thuộc vào ngưỡng, khiến nó đáng tin cậy hơn trong những trường hợp như vậy.
• AUC so với Precision-Recall: Đối với các tập dữ liệu mất cân bằng, trong đó lớp dương tính hiếm và là mối quan tâm chính (ví dụ: phát hiện bệnh hiếm), đường cong Precision-Recall và diện tích tương ứng của nó (AUC-PR) có thể cung cấp nhiều thông tin hơn ROC AUC. Các số liệu như Precision và Recall tập trung cụ thể vào hiệu suất liên quan đến lớp dương tính. Điểm F1 cũng cân bằng giữa Precision và Recall.
• AUC so với mAP/IoU: AUC chủ yếu được sử dụng cho các tác vụ phân loại nhị phân. Đối với các tác vụ phát hiện đối tượng phổ biến với các mô hình như Ultralytics YOLO , các số liệu như Độ chính xác trung bình (mAP) và Giao điểm trên hợp nhất (IoU) là tiêu chuẩn. Các số liệu này đánh giá cả độ chính xác phân loại và độ chính xác định vị của các đối tượng được phát hiện bằng cách sử dụng hộp giới hạn . Bạn có thể tìm hiểu thêm về số liệu hiệu suất YOLO tại đây . Việc so sánh các mô hình khác nhau thường liên quan đến việc phân tích các số liệu cụ thể này, như được thấy trong So sánh mô hình Ultralytics .

Việc lựa chọn số liệu phù hợp phụ thuộc vào vấn đề cụ thể, đặc điểm của tập dữ liệu (như cân bằng lớp) và mục tiêu của dự án AI . AUC vẫn là nền tảng để đánh giá hiệu suất phân loại nhị phân do tính mạnh mẽ và khả năng diễn giải của nó.