Площадь под кривой (AUC)

Площадь под кривой (AUC) — это комплексный показатель эффективности, используемый в машинном обучении (ML) для оценки дискриминационной способности классификационной модели. В частности, он измеряет двумерную площадь под кривой рабочих характеристик приемника (ROC), предоставляя одно скалярное значение в диапазоне от 0 до 1. AUC равная 1,0 указывает на идеальный классификатор, а AUC равная 0,5 — на то, что модель работает не лучше, чем случайный выбор. Поскольку AUC агрегирует производительность по всем возможным порогам классификации, она особенно эффективна для оценки возможностей прогнозного моделирования в сценариях, где оптимальная граница принятия решений неизвестна или изменчива.

Взаимосвязь между ROC и AUC

Чтобы полностью понять AUC, необходимо понимать лежащую в его основе кривую ROC. На этом графике отображается коэффициент истинных положительных результатов (Recall) в сопоставлении с коэффициентом ложных положительных результатов при различных настройках порогового значения. AUC, по сути, количественно оценивает вероятность того, что модель присвоит случайно выбранному положительному экземпляру более высокий рейтинг, чем случайно выбранному отрицательному.

• Разделимость: AUC измеряет, насколько хорошо модель различает классы (например, «собака» и «кошка»). Более высокая разделимость означает более точные прогнозы.
• Пороговая инвариантность: в отличие от F1-показателя, который зависит от конкретного порогового значения, AUC дает общее представление о качестве модели.
• Масштабная инвариантность: измеряет, насколько хорошо ранжируются прогнозы, а не их абсолютные значения вероятности.

Применение в реальном мире

AUC является предпочтительным показателем в отраслях, связанных с принятием критически важных решений и несбалансированными наборами данных, где один класс встречается значительно реже другого.

1. Медицинская диагностика: В области ИИ в здравоохранении модели обучаются выявлять патологии на основе анализа медицинских изображений. Например, модель, обнаруживающая редкие опухоли, должна уделять приоритетное внимание чувствительности. Высокий AUC гарантирует, что система надежно присваивает более высокие оценки риска реальным пациентам по сравнению со здоровыми людьми, снижая количество опасных ложноотрицательных результатов.
2. Обнаружение финансового мошенничества: Финансовые учреждения используют ИИ в финансах для выявления мошеннических транзакций. Поскольку законные транзакции значительно превосходят по количеству мошеннические, модель может достичь 99% точности, просто называя все «законным». AUC предотвращает это, оценивая, насколько хорошо модель отделяет фактические попытки мошенничества от нормального поведения, независимо от распределения классов.

Отличие AUC от связанных показателей

Очень важно отличать AUC от других методов оценки моделей, чтобы выбрать подходящий инструмент для вашего проекта.

• AUC против точности: Точность — это просто отношение правильных предсказаний к общему количеству предсказаний. В случае сильно смещенных наборов данных точность может быть ложно высокой. AUC устойчив к дисбалансу классов и обеспечивает более честную оценку эффективности классификатора.
• AUC против Precision-Recall: в то время как ROC-AUC является стандартом для сбалансированных результатов, площадь под кривой Precision-Recall (AUPRC) часто предпочтительна, когда «положительный» класс встречается крайне редко, а ложные положительные результаты являются серьезной проблемой.
• AUC против mAP: в задачах обнаружения объектов с использованием моделей, таких как YOLO26, стандартным показателем является средняя средняя точность (mAP). Хотя mAP концептуально mAP — mAP рассчитывает площадь под кривой «точность-восстановление» для различных пороговых значений пересечения над объединением (IoU) — AUC строго относится к кривой ROC в бинарной или многоклассовой классификации.

Пример кода

Следующий пример демонстрирует, как загрузить предварительно обученную классификационную модель YOLO26 и запустить валидацию. В то время как модели YOLO в основном сообщают о точности top-1 и top-5, процесс валидации генерирует данные прогнозирования, необходимые для анализа метрик на основе кривых.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")

# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")

Для комплексного управления жизненным циклом, включая аннотирование наборов данных и обучение в облаке, где эти метрики визуализируются автоматически, разработчики могут использовать Ultralytics . Это упрощает процесс интерпретации сложных метрик, таких как AUC, без ручного вычисления.