Độ chính xác trung bình trung bình (mAP)

Hiểu những điều cơ bản: Độ chính xác và khả năng nhớ lại

Để hiểu mAP, trước tiên cần nắm được Precision và Recall . Trong phát hiện đối tượng:

• Độ chính xác: Đo lường số lượng đối tượng được phát hiện thực sự chính xác. Độ chính xác cao có nghĩa là mô hình ít phát hiện dương tính giả.
• Thu hồi: Đo lường số lượng đối tượng thực tế hiện diện được mô hình phát hiện chính xác. Thu hồi cao có nghĩa là mô hình tìm thấy hầu hết các đối tượng có liên quan, giảm thiểu các kết quả âm tính giả.

Hai số liệu này thường có mối quan hệ nghịch đảo; cải thiện số liệu này đôi khi có thể làm giảm số liệu kia. mAP cung cấp một cách để đánh giá mô hình trên các điểm khác nhau của sự đánh đổi này. Bạn có thể tìm hiểu thêm về các nguyên tắc cơ bản của Độ chính xác và Thu hồi trên Wikipedia .

Cách tính mAP

Việc tính toán mAP bao gồm một số bước. Đầu tiên, đối với mỗi lớp đối tượng, các dự đoán của mô hình được sắp xếp theo điểm tin cậy của chúng. Sau đó, một đường cong Precision-Recall được tạo ra bằng cách tính toán các giá trị Precision và Recall ở nhiều ngưỡng tin cậy khác nhau. Diện tích dưới đường cong này (AUC) cung cấp Độ chính xác trung bình (AP) cho lớp cụ thể đó. Cuối cùng, mAP được tính bằng cách tính trung bình các giá trị AP trên tất cả các lớp đối tượng trong tập dữ liệu.

Thông thường, mAP được báo cáo tại các ngưỡng Giao điểm trên Liên hợp (IoU) cụ thể, đo lường mức độ hộp giới hạn dự đoán chồng lên hộp sự thật cơ bản. Các biến thể phổ biến bao gồm:

• mAP@0.5: Được tính toán bằng ngưỡng IoU là 0,5. Đây là số liệu chuẩn thường được sử dụng trong các chuẩn mực như PASCAL VOC .
• mAP@0.5:0.95: Giá trị mAP trung bình được tính toán qua nhiều ngưỡng IoU (từ 0,5 đến 0,95, thường theo các bước 0,05). Đây là số liệu chính được bộ dữ liệu COCO sử dụng và cung cấp đánh giá chặt chẽ hơn về độ chính xác định vị.

Để có cái nhìn chi tiết về cách các số liệu này áp dụng cho YOLO mô hình, hãy xem hướng dẫn về Chỉ số hiệu suất YOLO .

Tại sao mAP lại quan trọng

Độ chính xác trung bình trung bình rất quan trọng vì nó cung cấp góc nhìn toàn diện về hiệu suất của mô hình phát hiện đối tượng. Nó tính đến cả độ chính xác phân loại (lớp đối tượng có đúng không?) và độ chính xác định vị (hộp giới hạn có được đặt đúng không?) trên tất cả các lớp. Điều này làm cho nó cung cấp nhiều thông tin hơn so với việc chỉ xem xét độ chính xác hoặc khả năng thu hồi, đặc biệt là trong các tập dữ liệu có nhiều loại đối tượng hoặc phân phối lớp không cân bằng. Điểm mAP cao hơn thường chỉ ra mô hình phát hiện đối tượng mạnh mẽ và đáng tin cậy hơn. Việc cải thiện mAP thường liên quan đến các kỹ thuật như điều chỉnh siêu tham số và sử dụng dữ liệu đào tạo tốt hơn.

Ứng dụng trong thế giới thực

mAP rất quan trọng trong việc đánh giá các mô hình cho các nhiệm vụ thực tế, trong đó độ chính xác là tối quan trọng:

• Xe tự hành: Xe tự lái cần phát hiện người đi bộ, xe khác, đèn giao thông và chướng ngại vật một cách đáng tin cậy. Điểm mAP cao đảm bảo hệ thống nhận thức đủ chính xác để điều hướng an toàn. Khám phá AI trong các giải pháp Tự lái để xem cách áp dụng các mô hình phát hiện.
• Phân tích hình ảnh y tế: Trong chăm sóc sức khỏe, các mô hình phát hiện khối u, tổn thương hoặc các bất thường khác trong quá trình quét (như chụp X-quang hoặc MRI) đòi hỏi mAP cao. Điều này đảm bảo chẩn đoán chính xác, giảm thiểu cả phát hiện bị bỏ sót (cần thu hồi cao) và báo động sai (cần độ chính xác cao). Tìm hiểu thêm về AI trong các ứng dụng chăm sóc sức khỏe .

mAP so với các số liệu khác

Điều quan trọng là phải phân biệt mAP với các số liệu đánh giá liên quan:

• Độ chính xác : Mặc dù hữu ích cho các tác vụ phân loại, độ chính xác thường không phù hợp để phát hiện đối tượng. Nó không tính đến chất lượng định vị và có thể gây hiểu lầm trên các tập dữ liệu có sự thống trị nền hoặc mất cân bằng lớp.
• Giao điểm trên hợp nhất (IoU) : IoU đo lường sự chồng chéo giữa một hộp giới hạn dự đoán duy nhất và hộp sự thật cơ bản tương ứng của nó. Trong khi ngưỡng IoU được sử dụng trong phép tính mAP để xác định xem phát hiện có đúng không, bản thân IoU không cung cấp điểm hiệu suất tổng thể trên tất cả các lớp và ngưỡng như mAP. Có thể tìm thấy thông tin chi tiết về cách sử dụng các số liệu này trong hướng dẫn Đánh giá và tinh chỉnh mô hình .

Công cụ và chuẩn mực

Các công cụ như Ultralytics HUB cho phép người dùng đào tạo, theo dõi và đánh giá các mô hình, đặc biệt là mAP như một chỉ số hiệu suất chính. Các khuôn khổ như PyTorch và TensorFlow cung cấp các khối xây dựng cho các mô hình này. Các tập dữ liệu chuẩn như COCO và PASCAL VOC sử dụng mAP làm số liệu chính để so sánh các mô hình phát hiện đối tượng, thúc đẩy tiến trình trong lĩnh vực này. Bạn có thể khám phá và so sánh các hiệu suất mô hình khác nhau, thường được đo bằng mAP, trên các trang So sánh mô hình Ultralytics .