Área sob a curva (AUC)

Compreender a curva ROC

A AUC é derivada da curva ROC (Receiver Operating Characteristic), que é um gráfico que ilustra a capacidade de diagnóstico de um sistema classificador binário à medida que o seu limiar de discriminação é variado. A curva ROC representa a taxa de verdadeiros positivos (TPR), também conhecida como sensibilidade ou recordação, em relação à taxa de falsos positivos (FPR) em várias definições de limiar. A métrica AUC quantifica a área bidimensional total sob toda essa curva ROC, fornecendo um único valor escalar que resume o desempenho do modelo em todos os limites.

Interpretação da AUC

A pontuação AUC fornece uma medida abrangente do desempenho de classificação de um modelo, independentemente do limiar específico escolhido para a classificação. As principais interpretações incluem:

• AUC = 1: Classificador perfeito.
• AUC = 0,5: Classificador aleatório (sem capacidade de discriminação).
• AUC < 0.5: Classifier performs worse than random guessing (often indicates mislabeled data or model issues).
• 0.5 < AUC < 1: Classifier has some discriminative ability; higher values are better.

Uma vantagem significativa da AUC é a sua relativa insensibilidade ao desequilíbrio das classes em comparação com métricas como a Precisão. Isto torna-a particularmente útil ao avaliar modelos treinados em conjuntos de dados em que uma classe supera significativamente a outra. Para uma análise mais aprofundada da interpretação das curvas ROC, a Wikipedia fornece uma boa visão geral.

Aplicações em IA e ML

A AUC é amplamente utilizada em vários domínios em que a classificação binária é fundamental:

• Diagnóstico médico: Avalia modelos que prevêem a presença ou ausência de uma doença com base nos sintomas do paciente ou em testes de diagnóstico, como na análise de imagens médicas. Por exemplo, avaliar a capacidade de um modelo de IA para distinguir entre tumores benignos e malignos a partir de exames de ressonância magnética. A sua utilidade na investigação médica está bem documentada.
• Deteção de fraudes: Avaliação de modelos concebidos para identificar transacções ou actividades fraudulentas. Um exemplo é a avaliação de um modelo que assinala as transacções com cartões de crédito como potencialmente fraudulentas ou legítimas.
• Filtragem de spam: Mede a eficácia dos filtros de spam de e-mail na distinção entre spam e e-mails legítimos.
• Análise de sentimento: Avalia os modelos que classificam o texto (por exemplo, comentários de clientes) como tendo um sentimento positivo ou negativo.

Ferramentas como o Scikit-learn oferecem funções para calcular facilmente as pontuações ROC AUC.

AUC vs. outras métricas

Embora a AUC seja valiosa, é importante compreender a sua relação com outras métricas de avaliação:

• Precisão: Ao contrário da AUC, a precisão mede a proporção de previsões corretas em geral. Pode ser enganadora em conjuntos de dados desequilibrados, enquanto a AUC fornece uma melhor medida de separabilidade.
• Curva de precisão-recuperação (PRC): Para conjuntos de dados altamente desequilibrados em que a classe positiva é rara mas importante (por exemplo, deteção de fraudes), a área sob a curva Precisão-Recall (AUC-PR ou PR-AUC) pode ser mais informativa do que a AUC ROC. A precisão centra-se na correção das previsões positivas.
• Precisão média média (mAP): Esta métrica é padrão para avaliar modelos de deteção de objectos como o Ultralytics YOLOA mAP considera tanto a precisão da classificação como a precisão da localização (muitas vezes utilizando a Intersecção sobre a União (IoU)) em várias classes de objectos e limiares de confiança, o que a torna diferente do foco da classificação binária da AUC. Podes saber mais sobre as métricas de desempenhoYOLO aqui.

Considerações

Embora a AUC seja uma métrica poderosa, resume o desempenho em todos os limiares e não reflecte o desempenho num ponto de funcionamento específico escolhido para a implementação. Dependendo dos custos da aplicação associados a falsos positivos ou falsos negativos, podem ser necessárias outras métricas ou a análise direta da curva ROC. Algumas discussões destacam potenciais limitações ou interpretações incorrectas da AUC. A integração da AUC com outras métricas proporciona uma visão mais holística durante a avaliação do modelo. Plataformas como o Ultralytics HUB ajudam a gerenciar e comparar o desempenho do modelo em várias métricas durante o treinamento e a implantação.