Diện tích dưới đường cong (AUC)

Đường cong Roc là gì?

AUC gắn liền với đường cong Đặc tính Hoạt động của Máy thu (ROC) . Đường cong ROC là một đồ thị biểu diễn Tỷ lệ Dương tính Thật (TPR), còn được gọi là Độ Nhớ Lại ( Recall ), so với Tỷ lệ Dương tính Giả (FPR) ở các ngưỡng cài đặt khác nhau. AUC đơn giản là diện tích bên dưới đường cong ROC này. Trong khi đường cong ROC thể hiện trực quan sự đánh đổi giữa độ nhạy và độ đặc hiệu của mô hình, điểm AUC định lượng sự đánh đổi này thành một con số duy nhất, giúp đơn giản hóa việc so sánh mô hình .

Diễn giải Điểm Auc

Giá trị của AUC nằm trong khoảng từ 0 đến 1, trong đó điểm số càng cao thì mô hình càng tốt.

• AUC = 1: Đây là một mô hình hoàn hảo, phân loại chính xác tất cả các trường hợp dương tính và âm tính. Mỗi mẫu dương tính có xác suất dự đoán cao hơn mỗi mẫu âm tính.
• AUC = 0,5: Điều này cho thấy mô hình không có khả năng phân biệt, tương đương với việc đoán ngẫu nhiên. Đường cong ROC của một mô hình như vậy sẽ là một đường chéo thẳng.
• AUC < 0.5: A score below 0.5 suggests the model is performing worse than random chance. In practice, this often points to an issue with the model or data, such as inverted predictions.
• 0.5 < AUC < 1: This range signifies that the model has some ability to discriminate. The closer the value is to 1, the better the model's performance.

Các công cụ như Scikit-learn cung cấp các hàm để dễ dàng tính điểm AUC, có thể được trực quan hóa bằng các nền tảng như TensorBoard .

Ứng dụng trong thế giới thực

AUC là một số liệu có giá trị trong nhiều lĩnh vực mà phân loại nhị phân rất quan trọng.

1. Phân tích hình ảnh y tế: Trong AI trong chăm sóc sức khỏe , các mô hình được phát triển cho các nhiệm vụ như phát hiện khối u từ hình ảnh chụp cắt lớp y tế . Điểm AUC được sử dụng để đánh giá mức độ phân biệt giữa các trường hợp ác tính (dương tính) và lành tính (âm tính) của mô hình. AUC cao rất quan trọng để xây dựng các công cụ chẩn đoán đáng tin cậy, hỗ trợ các bác sĩ X quang, đảm bảo độ nhạy cao mà không có quá nhiều báo động giả. Điều này rất quan trọng đối với các mô hình phân tích các tập dữ liệu như tập dữ liệu U não .
2. Phát hiện gian lận: Trong ngành tài chính, các mô hình AI được sử dụng để xác định các giao dịch gian lận . Các tập dữ liệu trong lĩnh vực này thường rất mất cân bằng, với nhiều giao dịch hợp pháp hơn là gian lận. AUC đặc biệt hữu ích ở đây vì nó cung cấp một thước đo hiệu suất mạnh mẽ, không bị ảnh hưởng bởi nhóm đa số, không giống như độ chính xác . Nó giúp các tổ chức tài chính xây dựng các hệ thống phát hiện gian lận hiệu quả, đồng thời giảm thiểu các kết quả dương tính giả có thể gây bất tiện cho khách hàng. Các tổ chức tài chính hàng đầu dựa vào các số liệu này để đánh giá rủi ro.

AUC so với các số liệu khác

Mặc dù AUC là một số liệu có giá trị, nhưng điều quan trọng là phải hiểu nó khác với các biện pháp đánh giá khác được sử dụng trong thị giác máy tính (CV) và ML như thế nào:

• AUC so với Độ chính xác: Độ chính xác đo lường độ chính xác tổng thể của các dự đoán nhưng có thể gây hiểu lầm trên các tập dữ liệu mất cân bằng. AUC cung cấp một phép đo khả năng tách biệt không phụ thuộc vào ngưỡng, khiến nó đáng tin cậy hơn trong những trường hợp như vậy.
• AUC so với Precision-Recall: Đối với các tập dữ liệu mất cân bằng, trong đó lớp dương tính hiếm và là mối quan tâm chính (ví dụ: phát hiện bệnh hiếm), đường cong Precision-Recall và diện tích tương ứng của nó (AUC-PR) có thể cung cấp nhiều thông tin hơn ROC AUC. Các số liệu như Precision và Recall tập trung cụ thể vào hiệu suất liên quan đến lớp dương tính. Điểm F1 cũng cân bằng giữa Precision và Recall.
• AUC so với mAP/IoU: AUC chủ yếu được sử dụng cho các tác vụ phân loại nhị phân. Đối với các tác vụ phát hiện đối tượng phổ biến với các mô hình như Ultralytics YOLO , các chỉ số như Độ chính xác Trung bình (mAP) và Giao điểm trên Hợp nhất (IoU) là tiêu chuẩn. Các chỉ số này đánh giá cả độ chính xác phân loại và độ chính xác định vị của các đối tượng được phát hiện bằng cách sử dụng hộp giới hạn . Bạn có thể tìm hiểu thêm về các chỉ số hiệu suất YOLO tại đây .

Việc lựa chọn số liệu phù hợp phụ thuộc vào vấn đề cụ thể, đặc điểm của tập dữ liệu (như cân bằng lớp) và mục tiêu của dự án AI . AUC vẫn là nền tảng để đánh giá hiệu suất phân loại nhị phân nhờ tính mạnh mẽ và khả năng diễn giải của nó. Việc theo dõi các thí nghiệm bằng các công cụ như Ultralytics HUB có thể giúp quản lý và so sánh các số liệu này một cách hiệu quả.