Độ chính xác trung bình trung bình (mAP)

Cách thức hoạt động của mAP

Để hiểu mAP, trước tiên chúng ta cần nắm được các thành phần cốt lõi của nó: Độ chính xác, Thu hồi và Giao nhau trên Hợp nhất (IoU).

• Độ chính xác : Đo lường mức độ chính xác của các dự đoán của mô hình. Nó trả lời câu hỏi: "Trong số tất cả các đối tượng mà mô hình phát hiện, tỷ lệ nào là chính xác?"
• Recall : Đo lường mức độ mô hình tìm thấy tất cả các vật thể thực tế. Nó trả lời câu hỏi: "Trong số tất cả các vật thể thực có trong ảnh, mô hình đã phát hiện thành công bao nhiêu phần trăm?"
• Giao điểm trên hợp (IoU) : Một số liệu định lượng mức độ chồng lấn của một hộp giới hạn dự đoán với một hộp giới hạn thực tế (được gắn nhãn thủ công). Một phát hiện thường được coi là dương tính thực nếu IoU vượt quá một ngưỡng nhất định (ví dụ: 0,5).

Tính toán mAP tổng hợp các khái niệm này. Đối với mỗi lớp đối tượng, một đường cong Độ chính xác-Triệu hồi được tạo ra bằng cách so sánh độ chính xác với triệu hồi ở các ngưỡng điểm tin cậy khác nhau. Độ chính xác trung bình (AP) cho lớp đó là diện tích bên dưới đường cong này, cung cấp một con số duy nhất biểu thị hiệu suất của mô hình trên lớp cụ thể đó. Cuối cùng, mAP được tính bằng cách lấy giá trị trung bình của điểm AP trên tất cả các lớp đối tượng. Một số lược đồ đánh giá, chẳng hạn như lược đồ cho tập dữ liệu COCO phổ biến, còn tiến xa hơn nữa bằng cách lấy trung bình mAP trên nhiều ngưỡng IoU để cung cấp một đánh giá mạnh mẽ hơn nữa.

Phân biệt mAP với các số liệu khác

Mặc dù liên quan đến các số liệu đánh giá khác, mAP có mục đích riêng biệt.

• Độ chính xác : Độ chính xác đo lường tỷ lệ dự đoán đúng trên tổng số dự đoán. Chỉ số này thường được sử dụng cho các tác vụ phân loại và không phù hợp cho việc phát hiện đối tượng, trong đó dự đoán phải được phân loại chính xác và định vị chính xác.
• Điểm F1 : Điểm F1 là giá trị trung bình hài hòa của Độ chính xác và Độ thu hồi. Mặc dù hữu ích, điểm này thường được tính toán dựa trên một ngưỡng tin cậy duy nhất. Ngược lại, mAP cung cấp đánh giá toàn diện hơn bằng cách tính trung bình hiệu suất trên tất cả các ngưỡng.
• Độ tin cậy : Đây không phải là thước đo đánh giá cho toàn bộ mô hình mà là điểm số được gán cho từng dự đoán riêng lẻ, cho biết mức độ chắc chắn của mô hình về phát hiện đó. Tính toán mAP sử dụng các điểm số tin cậy này để tạo đường cong Độ chính xác-Triệu hồi.

Công cụ và chuẩn mực

Các tập dữ liệu chuẩn hóa đóng vai trò quan trọng trong việc thúc đẩy lĩnh vực phát hiện đối tượng. Các tập dữ liệu như PASCAL VOC và COCO sử dụng mAP làm thước đo chính để xếp hạng các bài dự thi trên bảng xếp hạng công khai. Điều này cho phép các nhà nghiên cứu và chuyên gia so sánh khách quan các mô hình khác nhau , chẳng hạn như YOLOv8 và YOLO11 .

Các nền tảng như Ultralytics HUB nổi bật với mAP để giúp người dùng theo dõi hiệu suất trong quá trình đào tạo và xác thực mô hình. Các khung học sâu nền tảng hỗ trợ các mô hình này, chẳng hạn như PyTorch và TensorFlow , cung cấp các công cụ cần thiết để xây dựng và đào tạo các mô hình, cuối cùng được đánh giá bằng mAP.

Ứng dụng trong thế giới thực

Chỉ số mAP đóng vai trò cơ bản trong việc phát triển các hệ thống AI đáng tin cậy.

1. Xe tự hành : Trong AI dành cho xe tự lái , mô hình nhận thức phải phát hiện chính xác nhiều đối tượng khác nhau như ô tô, người đi bộ, người đi xe đạp và biển báo giao thông. Điểm mAP cao trên một tập dữ liệu đầy thách thức như Argoverse cho thấy mô hình mạnh mẽ và đáng tin cậy trên tất cả các lớp quan trọng, điều này rất cần thiết để đảm bảo an toàn. Các công ty hàng đầu trong lĩnh vực này, chẳng hạn như Waymo , phụ thuộc rất nhiều vào các đánh giá nghiêm ngặt sử dụng các chỉ số như mAP.
2. Phân tích hình ảnh y tế : Khi huấn luyện một mô hình để phát hiện các bất thường như khối u hoặc tổn thương từ hình ảnh chụp cắt lớp bằng một tập dữ liệu như tập dữ liệu U não , mAP được sử dụng để đánh giá độ chính xác chẩn đoán tổng thể của nó. Một mAP cao đảm bảo mô hình không chỉ phát hiện tốt các loại bất thường phổ biến nhất mà còn hiệu quả trong việc xác định các tình trạng hiếm gặp hơn nhưng cũng quan trọng không kém. Đánh giá toàn diện này là một bước quan trọng trước khi một mô hình có thể được xem xét triển khai trong các cơ sở chăm sóc sức khỏe .