Recall - это важнейшая метрика производительности в машинном обучении (ML) и статистической классификации, измеряющая способность модели определять все релевантные случаи в наборе данных. В частности, она определяет долю реальных положительных случаев, которые были правильно предсказаны моделью как положительные. Также известный как чувствительность или показатель истинных положительных результатов (TPR), Recall особенно важен в сценариях, где неспособность обнаружить положительный случай (False Negative) приводит к значительным последствиям. Он помогает ответить на вопрос: "Сколько из всех реальных положительных случаев модель определила правильно?". Оценка моделей требует понимания различных метрик, и Recall обеспечивает жизненно важный взгляд на полноту.
Как вычисляется отзыв
Recall рассчитывается путем деления количества истинно положительных результатов (TP) на сумму истинно положительных и ложноотрицательных результатов (FN). Истинно положительные - это экземпляры, правильно идентифицированные как положительные, а ложноотрицательные - это положительные экземпляры, которые модель неправильно классифицировала как отрицательные. Высокий показатель Recall указывает на то, что модель эффективно находит большинство положительных экземпляров в данных. Эта метрика является основополагающей для оценки эффективности модели, особенно в таких задачах, как обнаружение объектов и классификация изображений. Инструменты и платформы вроде Ultralytics HUB часто отображают Recall наряду с другими метриками во время оценки модели.
Recall Vs. Связанные метрики
Понимание Recall часто предполагает его сравнение с другими распространенными метриками оценки:
- Точность: В то время как Recall фокусируется на выявлении всех реальных положительных случаев, Precision измеряет точность положительных предсказаний, сделанных моделью (TP / (TP + False Positives)). Часто существует компромисс между Precision и Recall; улучшение одного может привести к снижению другого. Это известно как компромисс Precision-Recall.
- Точность: Точность измеряет общую корректность модели по всем классам ((TP + True Negatives) / Total Predictions). Однако точность может вводить в заблуждение, особенно в несбалансированных наборах данных, где один класс значительно превосходит другие. В таких случаях Recall для меньшинства классов часто является более информативной метрикой.
- F1-Score: F1-Score - это среднее гармоническое между Precision и Recall, представляющее собой единую метрику, которая уравновешивает оба показателя. Он полезен, когда тебе нужен компромисс между поиском всех положительных экземпляров (Recall) и гарантией того, что выявленные экземпляры действительно положительные (Precision). Ты можешь изучить подробные руководства по метрикам производительностиYOLO , чтобы получить больше информации.
Важность и применение
Высокий показатель Recall критически важен в приложениях, где пропуск положительных случаев обходится дорого или опасен. Основное внимание уделяется минимизации ложноотрицательных результатов.
- Анализ медицинских изображений: В диагностических системах, таких как обнаружение раковых опухолей по снимкам, максимизация Recall имеет первостепенное значение. Невозможность обнаружить заболевание (ложноотрицательный результат) может иметь серьезные последствия для здоровья пациента, поэтому предпочтительнее иметь некоторое количество ложноположительных результатов (отмечать здоровые ткани как потенциально больные), которые можно исключить путем дальнейшего тестирования. ИИ в здравоохранении в значительной степени опирается на модели с высоким коэффициентом возврата для скрининга, способствуя достижениям, обсуждаемым в таких журналах, как Radiology: Artificial Intelligence. Например, обнаружение опухолей мозга требует высокой чувствительности.
- Обнаружение мошенничества: В финансовых системах выявление мошеннических операций имеет решающее значение. Модель с высоким показателем Recall гарантирует, что большинство реальных попыток мошенничества будут пойманы, минимизируя финансовые потери. Хотя это может привести к тому, что некоторые законные транзакции будут отмечены для проверки (False Positives), стоимость пропуска мошеннической транзакции (False Negative) обычно намного выше. Многие ИИ в финансовых приложениях отдают приоритет Recall.
- Системы безопасности: Для систем наблюдения, предназначенных для обнаружения злоумышленников или угроз, высокий показатель Recall гарантирует, что потенциальная опасность не будет упущена. Пропуск реальной угрозы (False Negative) может поставить под угрозу безопасность, как это наблюдается в приложениях безопасности, управляемых искусственным интеллектом.
- Контроль качества в производстве: В автоматизированных системах контроля высокий показатель Recall помогает выявить почти все дефектные продукты на производственной линии, предотвращая попадание бракованных изделий к потребителям. Пропуск дефекта (False Negative) может привести к недовольству клиентов и проблемам с безопасностью. Узнай больше об искусственном интеллекте в производстве.
Отзыв в Ultralytics моделяхYOLO
В контексте компьютерного зрения (КВ) и таких моделей, как Ultralytics YOLORecall является ключевой метрикой, используемой наряду с Precision и mean Average Precision (mAP) для оценки производительности в таких задачах, как обнаружение объектов и сегментация экземпляров. Достижение хорошего баланса между Recall и Precision часто необходимо для надежной работы в реальном мире. Например, при сравнении таких моделей, как YOLOv8 и YOLO11, Recall помогает понять, насколько хорошо каждая модель идентифицирует все целевые объекты. Пользователи могут обучать пользовательские модели с помощью таких фреймворков, как PyTorch или TensorFlow и отслеживать Recall с помощью таких инструментов, как Weights & Biases или встроенные функции в Ultralytics HUB. Понимание Recall помогает оптимизировать модели для конкретных случаев использования, что может включать в себя настройку гиперпараметров или изучение различных архитектур моделей, таких как YOLOv10 или последняя версия YOLO11. Такие ресурсы, как документацияUltralytics , предлагают исчерпывающие руководства по обучению и оценке.