Площадь под кривой (AUC)

Что такое кривая Рока?

AUC неразрывно связана с кривой Receiver Operating Characteristic (ROC). ROC-кривая - это график, на котором отображается соотношение истинно положительных результатов (TPR), также известных как Recall, и ложноположительных результатов (FPR) при различных пороговых значениях. AUC - это просто площадь под этой ROC-кривой. В то время как ROC-кривая дает визуальное представление о компромиссе между чувствительностью и специфичностью модели, показатель AUC выражает этот компромисс в виде одного числа, что упрощает сравнение моделей.

Интерпретация оценки Auc

Значение AUC варьируется от 0 до 1, где более высокий показатель указывает на лучшую модель.

• AUC = 1: это идеальная модель, которая правильно классифицирует все положительные и отрицательные экземпляры. Каждый положительный образец имеет более высокую предсказанную вероятность, чем каждый отрицательный образец.
• AUC = 0,5: Это означает, что модель не обладает дискриминационной способностью, что эквивалентно случайному угадыванию. ROC-кривая для такой модели будет представлять собой прямую диагональную линию.
• AUC < 0.5: A score below 0.5 suggests the model is performing worse than random chance. In practice, this often points to an issue with the model or data, such as inverted predictions.
• 0.5 < AUC < 1: This range signifies that the model has some ability to discriminate. The closer the value is to 1, the better the model's performance.

Такие инструменты, как Scikit-learn, предоставляют функции для простого вычисления оценок AUC, которые можно визуализировать с помощью таких платформ, как TensorBoard.

Применение в реальном мире

AUC - ценная метрика во многих областях, где бинарная классификация имеет решающее значение.

1. Анализ медицинских изображений: В области ИИ в здравоохранении разрабатываются модели для таких задач, как обнаружение опухолей на медицинских снимках. Для оценки того, насколько хорошо модель может различать злокачественные (положительные) и доброкачественные (отрицательные) опухоли, используется показатель AUC. Высокий показатель AUC крайне важен для создания надежных диагностических инструментов, которые могут помочь радиологам, обеспечивая высокую чувствительность без чрезмерного количества ложных срабатываний. Это очень важно для моделей, анализирующих такие наборы данных, как набор данных "Опухоли головного мозга".
2. Обнаружение мошенничества: В финансовой отрасли модели ИИ используются для выявления мошеннических операций. Наборы данных в этой области обычно очень несбалансированы, в них гораздо больше легитимных транзакций, чем мошеннических. AUC особенно полезен здесь, поскольку он обеспечивает надежный показатель эффективности, который, в отличие от точности, не подвержен влиянию класса большинства. Он помогает финансовым учреждениям создавать системы, которые эффективно ловят мошенников и при этом минимизируют количество ложных срабатываний, которые могут доставить неудобства клиентам. Ведущие финансовые учреждения используют такие метрики для оценки рисков.

Auc по сравнению с другими показателями. Другие метрики

Хотя AUC является ценной метрикой, важно понимать, чем она отличается от других оценочных показателей, используемых в компьютерном зрении (CV) и ML:

• AUC по сравнению с точностью: Точность измеряет общую правильность предсказаний, но может вводить в заблуждение на несбалансированных наборах данных. AUC обеспечивает независимую от порога меру разделимости, что делает ее более надежной в таких случаях.
• AUC против Precision-Recall: Для несбалансированных наборов данных, где положительный класс встречается редко и представляет основной интерес (например, обнаружение редких заболеваний), кривая Precision-Recall и соответствующая ей площадь (AUC-PR) могут быть более информативными, чем ROC AUC. Такие метрики, как Precision и Recall, фокусируются именно на производительности в отношении положительного класса. Показатель F1-score также уравновешивает точность и отзыв.
• AUC по сравнению с mAP/IoU: AUC в основном используется для задач бинарной классификации. Для задач обнаружения объектов, характерных для таких моделей, как Ultralytics YOLO, стандартными являются такие метрики, как средняя точность (mAP) и пересечение над объединением (IoU). Эти метрики оценивают как точность классификации, так и точность локализации обнаруженных объектов с помощью ограничительных рамок. Подробнее о метриках производительности YOLO можно узнать здесь.

Выбор правильной метрики зависит от конкретной задачи, характеристик набора данных (например, баланса классов) и целей проекта ИИ. AUC остается краеугольным камнем для оценки эффективности бинарной классификации благодаря своей надежности и интерпретируемости. Отслеживание экспериментов с помощью таких инструментов, как Ultralytics HUB, поможет эффективно управлять и сравнивать эти метрики.