Độ chính xác là một số liệu đánh giá cơ bản được sử dụng trong học máy (ML) và truy xuất thông tin, đặc biệt là đối với các nhiệm vụ phân loại và phát hiện đối tượng . Nó đo lường tỷ lệ các dự đoán tích cực thực sự trong số tất cả các dự đoán tích cực do một mô hình đưa ra. Nói một cách đơn giản hơn, độ chính xác trả lời câu hỏi: "Trong tất cả các trường hợp mà mô hình xác định là tích cực, có bao nhiêu trường hợp thực sự là tích cực?" Đây là một chỉ số quan trọng về độ tin cậy của mô hình khi đưa ra các dự đoán tích cực.
Hiểu về độ chính xác
Độ chính xác tập trung vào độ chính xác của các dự đoán tích cực. Nó được tính toán dựa trên các khái niệm về True Positives (TP) và False Positives (FP):
- True Positives (TP): Số lượng trường hợp dương tính được mô hình xác định chính xác.
- Dương tính giả (FP): Số trường hợp âm tính được mô hình xác định nhầm là dương tính (còn gọi là lỗi loại I).
Điểm số độ chính xác cao cho thấy mô hình tạo ra rất ít lỗi dương tính giả. Điều này có nghĩa là khi mô hình dự đoán kết quả dương tính, khả năng cao là nó sẽ đúng. Độ chính xác thường được đánh giá cùng với các số liệu khác có được từ ma trận nhầm lẫn , chẳng hạn như Recall và Accuracy .
Độ chính xác so với các số liệu liên quan
Điều quan trọng là phải phân biệt Độ chính xác với các số liệu đánh giá phổ biến khác:
- Recall (Độ nhạy) : Trong khi độ chính xác đo lường độ chính xác của các dự đoán tích cực, thì độ thu hồi đo lường khả năng của mô hình trong việc xác định tất cả các trường hợp tích cực thực tế. Độ thu hồi trả lời: "Trong tất cả các trường hợp tích cực thực tế, có bao nhiêu trường hợp mà mô hình xác định đúng?" Thường có sự đánh đổi giữa độ chính xác và độ thu hồi; cải thiện một trong hai có thể làm giảm độ thu hồi còn lại. Điều này được hình dung bằng cách sử dụng các đường cong Precision-Recall .
- Độ chính xác : Độ chính xác đo lường tỷ lệ chung của các dự đoán đúng (cả tích cực và tiêu cực) trong số tất cả các dự đoán được đưa ra. Tuy nhiên, độ chính xác có thể gây hiểu lầm, đặc biệt là khi xử lý các tập dữ liệu mất cân bằng , trong đó một lớp có số lượng lớn hơn đáng kể so với lớp kia.
- Điểm F1 : Điểm F1 là giá trị trung bình hài hòa của Độ chính xác và Độ thu hồi, cung cấp một số liệu duy nhất cân bằng cả hai. Đặc biệt hữu ích khi bạn cần sự thỏa hiệp giữa việc giảm thiểu các kết quả dương tính giả (độ chính xác cao) và giảm thiểu các kết quả âm tính giả (độ thu hồi cao).
Việc lựa chọn số liệu phù hợp phụ thuộc vào mục tiêu cụ thể của dự án ML . Độ chính xác được ưu tiên khi chi phí cho kết quả dương tính giả cao.
Ứng dụng trong AI và ML
Độ chính xác là một số liệu quan trọng trong nhiều ứng dụng trí tuệ nhân tạo (AI) mà hậu quả của kết quả dương tính giả là rất đáng kể:
- Chẩn đoán y khoa : Trong các nhiệm vụ như phát hiện khối u trong hình ảnh y khoa , độ chính xác cao là rất quan trọng. Một kết quả dương tính giả (chẩn đoán khối u khi không có khối u) có thể dẫn đến căng thẳng không cần thiết, các thủ thuật tốn kém và các phương pháp điều trị có hại cho bệnh nhân. Do đó, mô hình phải rất chính xác khi xác định các khối u tiềm ẩn.
- Lọc thư rác : Các dịch vụ email hướng đến độ chính xác cao trong bộ lọc thư rác của họ. Một kết quả dương tính giả xảy ra khi một email hợp lệ bị đánh dấu nhầm là thư rác. Điều này có thể khiến người dùng bỏ lỡ các thông tin liên lạc quan trọng. Độ chính xác cao đảm bảo rằng phần lớn các email được đánh dấu là thư rác thực sự là thư rác.
- Kiểm soát chất lượng trong sản xuất : Hệ thống AI được sử dụng để phát hiện sản phẩm lỗi trên dây chuyền lắp ráp cần độ chính xác cao. Việc xác định sai sản phẩm tốt là lỗi (kết quả dương tính giả) dẫn đến lãng phí không cần thiết và tăng chi phí.
- Phát hiện gian lận : Trong hệ thống tài chính, việc đánh dấu một giao dịch hợp pháp là gian lận (dương tính giả) gây bất tiện cho khách hàng và có thể dẫn đến mất doanh nghiệp. Độ chính xác cao giúp giảm thiểu những gián đoạn này.
- Truy xuất thông tin và tìm kiếm ngữ nghĩa : Các công cụ tìm kiếm cố gắng đạt được độ chính xác cao để đảm bảo rằng các kết quả trả về hàng đầu có liên quan cao đến truy vấn của người dùng. Các kết quả không liên quan (trong ngữ cảnh này là kết quả dương tính giả) dẫn đến trải nghiệm người dùng kém.
Độ chính xác trong Ultralytics YOLO Mô hình
Trong bối cảnh của thị giác máy tính (CV) , đặc biệt là trong các mô hình phát hiện đối tượng như Ultralytics YOLO , độ chính xác là một chỉ số hiệu suất chính. Nó đo lường số lượng hộp giới hạn được phát hiện xác định chính xác một đối tượng.
Việc tối ưu hóa độ chính xác cho phép các nhà phát triển xây dựng các hệ thống AI đáng tin cậy hơn, đặc biệt là khi việc giảm thiểu các kết quả dương tính giả là tối quan trọng.