Đường cong đặc tính hoạt động của máy thu (ROC)

Đường cong đặc tính hoạt động của bộ thu (ROC) là một công cụ đồ họa cơ bản được sử dụng để đánh giá hiệu suất của các mô hình phân loại nhị phân. Trong lĩnh vực học máy (ML) , nó trực quan hóa sự đánh đổi giữa độ nhạy và độ đặc hiệu của mô hình trên tất cả các ngưỡng quyết định có thể. Không giống như các chỉ số đơn giá trị như độ chính xác , có thể gây hiểu lầm nếu tập dữ liệu không cân bằng, đường cong ROC cung cấp một cái nhìn toàn diện về cách thức hoạt động của bộ phân loại khi các tiêu chí để xác định các trường hợp tích cực trở nên nghiêm ngặt hơn hoặc ít nghiêm ngặt hơn. Hình ảnh trực quan này rất cần thiết cho các kỹ sư sử dụng các kỹ thuật học có giám sát để xác định điểm hoạt động tối ưu cho trường hợp sử dụng cụ thể của họ.

Giải thích các trục và sự đánh đổi

Để hiểu đường cong ROC, cần phải xem xét hai tham số được vẽ trên đồ thị so với nhau: Tỷ lệ dương tính thực (TPR) và Tỷ lệ dương tính giả (FPR).

• Tỷ lệ dương tính thực (TPR): Thường được gọi là Độ thu hồi hoặc Độ nhạy, chỉ số này trên trục y đo lường tỷ lệ các quan sát dương tính thực tế mà mô hình đã xác định chính xác. TPR cao có nghĩa là hệ thống hiếm khi bỏ sót mục tiêu.
• Tỷ lệ dương tính giả (FPR): Được biểu diễn trên trục x, tỷ lệ này thể hiện số trường hợp âm tính bị phân loại sai là dương tính, còn được gọi là "báo động sai".

Đường cong minh họa mối quan hệ động: khi bạn hạ thấp ngưỡng tin cậy để thu thập nhiều trường hợp tích cực hơn (tăng TPR), bạn chắc chắn sẽ tăng nguy cơ gắn cờ sai các trường hợp tiêu cực (tăng FPR). Một bộ phân loại hoàn hảo sẽ đạt đến góc trên bên trái của đồ thị, cho thấy độ nhạy 100% và tỷ lệ báo động sai là 0%. Một mô hình đưa ra dự đoán ngẫu nhiên sẽ xuất hiện dưới dạng một đường chéo từ dưới bên trái lên trên bên phải. Hiệu suất tổng thể thường được tóm tắt bằng Diện tích dưới đường cong (AUC) , trong đó giá trị 1,0 thể hiện sự hoàn hảo.

Các Ứng dụng Thực tế

Quyết định đặt ngưỡng ở đâu trên đường cong ROC hoàn toàn phụ thuộc vào chi phí của các lỗi trong một ứng dụng cụ thể của ngành.

1. Chẩn đoán y khoa: Trong lĩnh vực trí tuệ nhân tạo ứng dụng trong chăm sóc sức khỏe , đặc biệt là đối với các nhiệm vụ như phát hiện khối u trong phân tích hình ảnh y tế , việc bỏ sót một trường hợp dương tính (âm tính giả) có thể gây nguy hiểm đến tính mạng. Do đó, các bác sĩ thường chọn ngưỡng tối đa hóa tỷ lệ dương tính thật (TPR), ngay cả khi điều đó dẫn đến tỷ lệ dương tính giả (FPR) cao hơn, nghĩa là nhiều bệnh nhân khỏe mạnh hơn có thể ban đầu bị đánh dấu cần xét nghiệm thêm.
2. Phát hiện gian lận tài chính: Khi trí tuệ nhân tạo ( AI) được sử dụng trong lĩnh vực tài chính để giám sát các giao dịch thẻ tín dụng, các ngân hàng phải cân bằng giữa bảo mật và trải nghiệm khách hàng. Nếu hệ thống quá nhạy (TPR cao), nó có thể chặn các thẻ hợp lệ (FPR cao), gây khó chịu cho người dùng. Các nhà phân tích sử dụng đường cong ROC để tìm ra ngưỡng cân bằng giúp phát hiện hầu hết các trường hợp gian lận trong khi vẫn giữ tỷ lệ dương tính giả ở mức tối thiểu chấp nhận được.

Tạo xác suất cho phân tích ROC

Để vẽ đường cong ROC, bạn cần xác suất dự đoán thô chứ không chỉ nhãn lớp cuối cùng. Ví dụ sau sử dụng mô hình YOLO26 hiện đại để tạo ra điểm số phân loại.

from ultralytics import YOLO

# Load a pretrained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference to get probability distribution
results = model("bus.jpg")

# Access the probability score for the predicted class
# These continuous scores are required to calculate TPR/FPR at different thresholds
print(f"Top Class Index: {results[0].probs.top1}")
print(f"Confidence Score: {results[0].probs.top1conf:.4f}")

Sau khi thu thập các xác suất này cho một tập dữ liệu kiểm chứng, các nhà phát triển có thể sử dụng các thư viện như Scikit-learn để tính toán các điểm trên đường cong. Để quản lý tập dữ liệu và theo dõi các chỉ số này theo thời gian, Nền tảng Ultralytics cung cấp các công cụ tích hợp để đánh giá và triển khai mô hình.

Đường cong ROC so với các khái niệm liên quan

Điều quan trọng là phải phân biệt đường cong ROC với các công cụ đánh giá khác:

• So sánh với đường cong Độ chính xác-Độ thu hồi (PR): Trong khi đường cong ROC vẽ biểu đồ Tỷ lệ dương tính thật (TPR) so với Tỷ lệ dương tính giả (FPR), đường cong Độ chính xác-Độ thu hồi vẽ biểu đồ Độ chính xác so với Độ thu hồi. Đường cong PR thường được ưu tiên khi tập dữ liệu mất cân bằng nghiêm trọng (ví dụ: phát hiện các bất thường hiếm gặp), vì đường cong ROC đôi khi có thể đưa ra cái nhìn quá lạc quan trong những trường hợp như vậy.
• So sánh với Ma trận Nhầm lẫn: Ma trận nhầm lẫn cung cấp hình ảnh tổng quan về hiệu suất tại một ngưỡng cụ thể duy nhất . Ngược lại, đường cong ROC trực quan hóa hiệu suất trên tất cả các ngưỡng có thể, làm cho nó trở thành một công cụ rộng hơn để phân tích mô hình dự đoán trước khi thiết lập quy tắc quyết định cuối cùng.