Área sob a curva (AUC)

Compreender a curva ROC

O valor AUC é derivado diretamente da curva ROC (Receiver Operating Characteristic). A curva ROC é um gráfico que ilustra a capacidade de diagnóstico de um classificador binário à medida que o seu limiar de discriminação é variado. Traça a Taxa de Verdadeiros Positivos (TPR), também conhecida como sensibilidade ou Recuperação, no eixo y contra a Taxa de Falsos Positivos (FPR) no eixo x em várias definições de limiar. A AUC representa toda a área bidimensional por baixo desta curva ROC. Encontra uma visão geral abrangente das curvas ROC na Wikipédia.

Interpretação da AUC

A AUC é interpretada como a probabilidade de um modelo classificar uma instância positiva escolhida aleatoriamente como superior a uma instância negativa escolhida aleatoriamente. Isto torna-a uma medida do poder discriminativo global do modelo. Uma das principais vantagens da AUC é a sua relativa insensibilidade ao desequilíbrio das classes em comparação com métricas como a Precisão. Em conjuntos de dados em que uma classe supera amplamente a outra (um cenário comum em problemas do mundo real), a precisão pode ser enganadora, enquanto a AUC fornece uma medida mais robusta de quão bem o modelo separa as classes. Uma AUC próxima de 1 indica um modelo com excelente capacidade de separação, enquanto uma AUC próxima de 0,5 sugere uma fraca capacidade de discriminação, semelhante à adivinhação aleatória. Compreender estas interpretações é crucial para uma avaliação eficaz do modelo.

Aplicações em IA e ML

A AUC é amplamente utilizada em vários domínios em que as tarefas de classificação binária são críticas. Eis dois exemplos:

1. Diagnóstico médico: Na análise de imagens médicas, os modelos são frequentemente treinados para detetar a presença ou ausência de doenças (por exemplo, tumores, retinopatia diabética). A AUC é utilizada para avaliar até que ponto estes modelos de IA nos cuidados de saúde conseguem distinguir entre pacientes saudáveis e doentes com base em imagens, através de diferentes limiares de diagnóstico. A importância da AUC na investigação médica está bem documentada.
2. Deteção de fraudes: As instituições financeiras utilizam modelos de ML para identificar transacções fraudulentas. Trata-se de um problema clássico de classificação binária (fraudulento vs. não fraudulento). A AUC ajuda a avaliar a eficácia geral do modelo na identificação de actividades potencialmente fraudulentas, minimizando os falsos alarmes, o que é vital para a IA nas finanças.

Muitas estruturas e bibliotecas de aprendizagem profunda (DL), incluindo PyTorch e TensorFlowsão utilizadas para construir estes classificadores. Ferramentas como o Scikit-learn oferecem funções convenientes para calcular as pontuações ROC AUC, simplificando o processo de avaliação. Plataformas como o Ultralytics HUB também facilitam o treinamento e a avaliação de modelos em que essas métricas são relevantes.

AUC vs. outras métricas

Embora a AUC seja uma métrica valiosa, é importante compreender a sua diferença em relação a outras medidas de avaliação utilizadas na visão computacional (CV) e no ML:

• AUC vs. Precisão: A precisão mede a correção geral das previsões, mas pode ser enganadora em conjuntos de dados desequilibrados. A AUC fornece uma medida de separabilidade independente do limiar, tornando-a mais fiável nesses casos.
• AUC vs. Precisão-Recall: Para conjuntos de dados desequilibrados em que a classe positiva é rara e de interesse primário (por exemplo, deteção de doenças raras), a curva Precisão-Recall e a sua área correspondente (AUC-PR) podem ser mais informativas do que a AUC ROC. Métricas como a Precisão e a Recuperação centram-se especificamente no desempenho relativo à classe positiva. A pontuação F1 também equilibra a precisão e a recuperação.
• AUC vs. mAP/IoU: O AUC é utilizado principalmente para tarefas de classificação binária. Para tarefas de deteção de objectos comuns a modelos como Ultralytics YOLOas métricas como a precisão média (mAP) e a intersecção sobre a união (IoU) são o padrão. Essas métricas avaliam a precisão da classificação e a precisão da localização de objetos detectados usando caixas delimitadoras. Podes saber mais sobre as métricas de desempenhoYOLO aqui. A comparação de modelos diferentes envolve frequentemente a análise destas métricas específicas, como se pode ver nas comparações de modelosUltralytics .

A escolha da métrica correta depende do problema específico, das caraterísticas do conjunto de dados (como o equilíbrio das classes) e dos objectivos do projeto de IA. A AUC continua a ser uma pedra angular para avaliar o desempenho da classificação binária devido à sua robustez e interpretabilidade.