Đường cong đặc tính hoạt động của máy thu (ROC)

Hiểu về TPR và FPR

Để diễn giải đường cong ROC, điều cần thiết là phải hiểu các trục của nó:

• Tỷ lệ dương tính thực (TPR): Còn được gọi là Độ nhạy hoặc Độ thu hồi , TPR đo tỷ lệ các trường hợp dương tính thực tế được mô hình xác định chính xác. Tỷ lệ này được tính bằng Tỷ lệ dương tính thực / (Tỷ lệ dương tính thực + Tỷ lệ âm tính giả). TPR cao hơn cho biết mô hình có khả năng xác định các trường hợp dương tính tốt.
• Tỷ lệ dương tính giả (FPR): Đo lường tỷ lệ các trường hợp âm tính thực tế được xác định không chính xác là dương tính. Tỷ lệ này được tính bằng Số dương tính giả / (Số dương tính giả + Số âm tính thật). FPR thấp hơn có nghĩa là mô hình đưa ra ít dự đoán dương tính không chính xác hơn. Bạn có thể khám phá thêm các khái niệm này thông qua các nguồn như trang Wikipedia về Độ nhạy và Độ đặc hiệu .

Đường cong ROC cho thấy sự đánh đổi giữa TPR và FPR. Khi ngưỡng phân loại thay đổi, mô hình có thể xác định nhiều kết quả dương tính thực hơn (tăng TPR) nhưng có khả năng phải trả giá bằng việc xác định nhiều kết quả dương tính giả hơn (tăng FPR).

Diễn giải Đường cong ROC và AUC

Hình dạng của đường cong ROC cung cấp cái nhìn sâu sắc về hiệu suất của mô hình:

• Đường cong lý tưởng: Đường cong ôm lấy góc trên bên trái biểu thị bộ phân loại hoàn hảo, đạt được TPR cao với FPR thấp.
• Đường chéo: Đường chéo từ (0,0) đến (1,1) biểu thị bộ phân loại không có khả năng phân biệt, về cơ bản là thực hiện đoán ngẫu nhiên.
• Đường chéo dưới: Đường cong bên dưới đường chéo cho thấy hiệu suất kém hơn so với việc đoán ngẫu nhiên.

Một số liệu phổ biến có nguồn gốc từ đường cong ROC là Diện tích dưới đường cong (AUC) . AUC cung cấp một giá trị vô hướng duy nhất tóm tắt hiệu suất của bộ phân loại trên tất cả các ngưỡng có thể. AUC bằng 1,0 biểu thị một bộ phân loại hoàn hảo, trong khi AUC bằng 0,5 biểu thị một mô hình có hiệu suất ngẫu nhiên. Các công cụ như Scikit-learn cung cấp các hàm để tính AUC.

Ứng dụng trong thế giới thực

Đường cong ROC được sử dụng rộng rãi trong nhiều lĩnh vực khác nhau:

1. Chẩn đoán y khoa: Trong quá trình phát triển các hệ thống AI cho các nhiệm vụ như phát hiện khối u từ các lần quét , đường cong ROC giúp đánh giá mức độ phân biệt giữa các trường hợp ác tính (dương tính) và lành tính (âm tính) của mô hình trên các ngưỡng tin cậy khác nhau. Điều này cho phép các bác sĩ lâm sàng lựa chọn ngưỡng cân bằng giữa việc phát hiện khối u thực tế (TPR) với việc giảm thiểu báo động giả (FPR).
2. Phát hiện gian lận: Các tổ chức tài chính sử dụng các mô hình để phát hiện các giao dịch gian lận. Đường cong ROC có thể đánh giá khả năng của mô hình trong việc xác định gian lận (tích cực) so với các giao dịch hợp pháp (tiêu cực). Bằng cách phân tích đường cong, các ngân hàng có thể chọn một điểm hoạt động để tối đa hóa khả năng phát hiện gian lận trong khi vẫn giữ tỷ lệ các giao dịch hợp pháp bị gắn cờ không chính xác ở mức có thể chấp nhận được. Tìm hiểu thêm về các ứng dụng AI trong tài chính .

Đường cong ROC so với Độ chính xác, Độ chính xác và Thu hồi

Trong khi các số liệu như Độ chính xác , Độ chính xác và Độ thu hồi cung cấp thông tin có giá trị, đường cong ROC và AUC cung cấp góc nhìn toàn diện hơn, đặc biệt là với các tập dữ liệu mất cân bằng, trong đó một lớp có số lượng lớn hơn đáng kể so với lớp kia. Độ chính xác có thể gây hiểu lầm trong các tình huống như vậy vì điểm số cao có thể đạt được chỉ bằng cách dự đoán lớp đa số. Đường cong ROC, tập trung vào sự đánh đổi TPR/FPR, cung cấp đánh giá độc lập ngưỡng về khả năng phân biệt giữa các lớp của mô hình. Để biết thông tin chi tiết về việc đánh giá các mô hình như Ultralytics YOLO , hãy xem hướng dẫn của chúng tôi về YOLO Performance Metrics . Việc trực quan hóa các số liệu này thường có thể được thực hiện bằng các công cụ tích hợp với các nền tảng như Ultralytics HUB hoặc các thư viện như TensorBoard .