Средняя точность (mAP)

Понимание основ: Precision и Recall

Чтобы понять mAP, необходимо сначала разобраться с Precision и Recall. При обнаружении объектов:

• Точность: Измеряет, сколько из обнаруженных объектов на самом деле являются правильными. Высокая точность означает, что модель делает мало ложных положительных обнаружений.
• Вспомни: Измеряет, сколько из реально присутствующих объектов было правильно обнаружено моделью. Высокий показатель recall означает, что модель находит большинство релевантных объектов, сводя к минимуму количество ложноотрицательных результатов.

Эти две метрики часто имеют обратную зависимость: улучшение одной из них иногда может привести к снижению другой. mAP дает возможность оценить модель в разных точках этого компромисса. Подробнее об основах Precision и Recall ты можешь узнать в Википедии.

Как рассчитывается mAP

Вычисление mAP включает в себя несколько этапов. Во-первых, для каждого класса объектов предсказания модели сортируются по баллам доверия. Затем строится кривая Precision-Recall путем вычисления значений precision и recall при различных порогах доверия. Площадь под этой кривой (AUC) дает среднюю точность (AP) для данного конкретного класса. Наконец, mAP рассчитывается путем усреднения значений AP по всем классам объектов в наборе данных.

Часто mAP сообщается при определенных пороговых значениях Intersection over Union (IoU), которые измеряют, насколько хорошо предсказанное ограничительное поле перекрывается с истинным полем. Распространенные варианты включают:

• mAP@0.5: Рассчитано с использованием порога IoU, равного 0,5. Это стандартная метрика, часто используемая в бенчмарках вроде PASCAL VOC.
• mAP@0.5:0.95: среднее значение mAP, рассчитанное по нескольким порогам IoU (от 0,5 до 0,95, обычно с шагом 0,05). Это основная метрика, используемая в наборе данных COCO, и она обеспечивает более строгую оценку точности локализации.

Подробно о том, как эти метрики применяются к моделям YOLO , читай в руководстве "Метрики производительностиYOLO ".

Почему mAP имеет значение

Среднее значение точности очень важно, потому что оно дает целостное представление о работе модели обнаружения объектов. Он учитывает как точность классификации (правильно ли определен класс объекта?), так и точность локализации (правильно ли размещена ограничительная рамка?) для всех классов. Это делает его более информативным, чем рассмотрение только точности или отзыва, особенно в наборах данных с несколькими категориями объектов или несбалансированным распределением классов. Более высокий показатель mAP обычно указывает на более надежную и прочную модель обнаружения объектов. Улучшение mAP часто включает в себя такие техники, как настройка гиперпараметров и использование более качественных обучающих данных.

Применение в реальном мире

mAP имеет решающее значение при оценке моделей для реальных задач, где точность имеет первостепенное значение:

• Автономные транспортные средства: Самоуправляемые автомобили должны надежно обнаруживать пешеходов, другие транспортные средства, светофоры и препятствия. Высокий показатель mAP гарантирует, что система восприятия достаточно точна для безопасной навигации. Изучи решения AI in Self-Driving, чтобы узнать, как применяются модели обнаружения.
• Анализ медицинских изображений: В здравоохранении для моделей, обнаруживающих опухоли, повреждения или другие аномалии на снимках (например, рентгеновских или магнитно-резонансных), требуется высокий показатель mAP. Это гарантирует точность диагнозов, сводя к минимуму как пропущенные обнаружения (требуется высокий отзыв), так и ложные тревоги (требуется высокая точность). Узнай больше о применении ИИ в здравоохранении.

mAP по сравнению с другими показателями

Важно отличать mAP от родственных оценочных метрик:

• Точность: Хотя точность полезна для задач классификации, она, как правило, не подходит для обнаружения объектов. Она не учитывает качество локализации и может вводить в заблуждение на наборах данных с преобладанием фона или дисбалансом классов.
• Пересечение над объединением (Intersection over Union, IoU): IoU измеряет перекрытие между одним предсказанным ограничительным боксом и соответствующим ему боксом истины. Хотя пороговые значения IoU используются в расчете mAP для определения правильности обнаружения, сам по себе IoU не дает общей оценки эффективности для всех классов и пороговых значений, как это делает mAP. О том, как использовать эти метрики, можно прочитать в руководстве по оценке и тонкой настройке модели.

Инструменты и контрольные показатели

Такие инструменты, как Ultralytics HUB, позволяют пользователям обучать, отслеживать и оценивать модели, а в качестве ключевого показателя эффективности используют mAP. Такие фреймворки, как PyTorch и TensorFlow обеспечивают строительные блоки для этих моделей. Стандартные наборы данных, такие как COCO и PASCAL VOC, используют mAP в качестве основной метрики для сравнения моделей обнаружения объектов, что способствует прогрессу в этой области. Ты можешь изучить и сравнить производительность различных моделей, часто измеряемую с помощью mAP, на страницах сравнения моделейUltralytics .