Diện tích dưới đường cong (AUC)

Diện tích dưới đường cong (AUC) là một số liệu hiệu suất được công nhận rộng rãi được sử dụng để đánh giá hiệu quả của các mô hình phân loại trong học máy (ML). Nó định lượng khả năng tổng thể của một mô hình để phân biệt giữa các lớp khác nhau, cung cấp một giá trị vô hướng duy nhất biểu thị hiệu suất của mô hình trên tất cả các ngưỡng phân loại có thể. AUC đặc biệt hữu ích khi xử lý các tập dữ liệu mất cân bằng, trong đó một lớp vượt trội đáng kể so với các lớp khác. Nó thường được sử dụng kết hợp với đường cong Đặc tính hoạt động của máy thu (ROC), một biểu diễn đồ họa về hiệu suất của mô hình.

Hiểu về Đường cong ROC

Đường cong Đặc tính hoạt động của máy thu (ROC) là một khái niệm cơ bản để hiểu AUC. Đường cong ROC biểu diễn Tỷ lệ dương tính thật (TPR) so với Tỷ lệ dương tính giả (FPR) ở nhiều ngưỡng cài đặt khác nhau. TPR, còn được gọi là độ nhạy hoặc độ thu hồi, đo tỷ lệ dương tính thực tế được xác định chính xác. FPR đo tỷ lệ âm tính thực tế được phân loại không chính xác là dương tính. Một bộ phân loại hoàn hảo sẽ có TPR là 1 và FPR là 0, nghĩa là nó xác định chính xác tất cả các dương tính và âm tính.

Diễn giải các giá trị AUC

Giá trị AUC nằm trong khoảng từ 0 đến 1, trong đó:

• AUC = 1: Biểu thị một bộ phân loại hoàn hảo có thể phân biệt hoàn hảo giữa tất cả các trường hợp tích cực và tiêu cực.
• AUC = 0,5: Đề xuất rằng bộ phân loại không hoạt động tốt hơn so với sự ngẫu nhiên, về cơ bản là tung đồng xu để đưa ra dự đoán.
• AUC < 0.5: Implies that the classifier is performing worse than random, potentially indicating an issue with the model or data.
• AUC > 0,5: Biểu thị bộ phân loại hoạt động tốt hơn ngẫu nhiên, giá trị càng cao thì hiệu suất càng tốt.

Nhìn chung, AUC trên 0,8 thường được coi là tốt, trong khi AUC trên 0,9 được coi là tuyệt vời. Tuy nhiên, cách diễn giải AUC "tốt" có thể khác nhau tùy thuộc vào ứng dụng cụ thể và mức độ phức tạp của vấn đề.

Mối quan hệ giữa AUC và ROC

AUC thực chất là diện tích bên dưới đường cong ROC. Đường cong ROC mô tả trực quan sự đánh đổi giữa tỷ lệ dương tính thực và tỷ lệ dương tính giả cho một mô hình trên các ngưỡng phân loại khác nhau. Một mô hình có AUC cao hơn sẽ có đường cong ROC gần với góc trên bên trái của biểu đồ hơn, biểu thị hiệu suất tốt hơn trên tất cả các ngưỡng. Khám phá YOLO Performance Metrics để có được cái nhìn sâu sắc hơn về các số liệu đánh giá tương tự.

Ưu điểm của việc sử dụng AUC

AUC mang lại một số lợi thế như một thước đo hiệu suất:

• Ngưỡng bất biến: AUC đo lường hiệu suất tổng thể của một mô hình, không phụ thuộc vào ngưỡng phân loại đã chọn. Điều này hữu ích khi so sánh các mô hình có thể hoạt động ở các ngưỡng khác nhau.
• Độ mạnh của sự mất cân bằng lớp: AUC ít nhạy cảm hơn với sự mất cân bằng lớp so với các số liệu khác như độ chính xác . Nó cung cấp thước đo hiệu suất đáng tin cậy hơn khi một lớp phổ biến hơn đáng kể so với các lớp khác.
• Diễn giải theo xác suất: AUC có thể được diễn giải là xác suất mà mô hình sẽ xếp hạng một trường hợp tích cực được chọn ngẫu nhiên cao hơn một trường hợp tiêu cực được chọn ngẫu nhiên.

Ứng dụng thực tế của AUC

AUC được sử dụng trong nhiều ứng dụng thực tế, bao gồm:

• Chẩn đoán y khoa: Trong phân tích hình ảnh y khoa , AUC có thể được sử dụng để đánh giá hiệu suất của các mô hình phát hiện bệnh từ hình ảnh y khoa như X-quang hoặc MRI. Ví dụ, một mô hình phân biệt giữa khối u lành tính và ung thư có thể được đánh giá bằng AUC để đo độ chính xác chẩn đoán của nó. Tìm hiểu thêm về AI trong chăm sóc sức khỏe .
• Phát hiện gian lận: Trong tài chính, AUC được sử dụng để đánh giá hiệu quả của các mô hình xác định giao dịch gian lận. Một mô hình có AUC cao có thể phân biệt hiệu quả giữa các hoạt động hợp pháp và gian lận, giúp giảm thiểu tổn thất tài chính. Đọc về các ứng dụng khác của AI trong tài chính .

AUC so với các số liệu khác

Mặc dù AUC là một số liệu có giá trị, nhưng điều quan trọng là phải xem xét nó cùng với các biện pháp hiệu suất khác. Ví dụ, độ chính xác và độ thu hồi cung cấp thông tin chi tiết về hiệu suất của mô hình trên các lớp cụ thể, trong khi điểm F1 cân bằng độ chính xác và độ thu hồi. Không giống như Độ chính xác trung bình (mAP) , thường được sử dụng trong phát hiện đối tượng , AUC chủ yếu được sử dụng cho các vấn đề phân loại nhị phân.

Kết thúc

AUC là một số liệu mạnh mẽ để đánh giá hiệu suất của các mô hình phân loại, đặc biệt là trong các tình huống có tập dữ liệu mất cân bằng. Ngưỡng bất biến, độ mạnh mẽ đối với mất cân bằng lớp và cách giải thích xác suất của nó làm cho nó trở thành một công cụ có giá trị để đánh giá và so sánh các mô hình. Bằng cách hiểu đường cong ROC và ý nghĩa của các giá trị AUC, các học viên có thể hiểu sâu hơn về hiệu suất của mô hình và đưa ra quyết định sáng suốt về việc lựa chọn và tối ưu hóa mô hình. Bạn có thể tìm hiểu cách xuất Ultralytics YOLO mô hình hóa theo nhiều định dạng khác nhau, chẳng hạn như ONNX , để tối ưu hóa suy luận trên các nền tảng khác nhau.