Glossário

Curva Caraterística de Funcionamento do Recetor (ROC)

Saiba como as curvas ROC e AUC avaliam o desempenho do classificador em IA/ML, optimizando TPR vs. FPR para tarefas como deteção de fraude e diagnóstico médico.

Uma curva ROC (Receiver Operating Characteristic) é um gráfico que ilustra a capacidade de diagnóstico de um modelo de classificação binária à medida que o seu limiar de discriminação é variado. É uma ferramenta fundamental na aprendizagem automática (ML) para avaliar e comparar o desempenho dos classificadores. A curva é criada traçando a taxa de verdadeiros positivos (TPR) em relação à taxa de falsos positivos (FPR) em várias definições de limiar, fornecendo uma visão abrangente do desempenho de um modelo em todos os limiares de classificação possíveis. Isto torna-a um recurso inestimável para compreender os compromissos entre sensibilidade e especificidade em tarefas de aprendizagem supervisionada.

Compreender a curva Roc

Para compreender o conceito de uma curva ROC, é essencial compreender os seus dois eixos:

  • Taxa de verdadeiros positivos (TPR): Também conhecida como Recuperação ou sensibilidade, a TPR mede a proporção de positivos reais que são corretamente identificados. Por exemplo, num teste médico, esta seria a percentagem de pacientes com uma doença que são corretamente diagnosticados.
  • Taxa de falsos positivos (FPR): A FPR mede a proporção de negativos reais que são incorretamente identificados como positivos. No mesmo exemplo do teste médico, esta seria a percentagem de pacientes saudáveis que são incorretamente diagnosticados com a doença.

Um modelo de classificação produz normalmente uma probabilidade ou uma pontuação de confiança para cada instância. Um limiar é então aplicado a esta pontuação para tomar uma decisão binária final (por exemplo, positiva ou negativa). A curva ROC é gerada variando sistematicamente este limiar de 0 a 1 e traçando os pares TPR e FPR resultantes para cada valor. A visualização do desempenho do modelo pode ser feita frequentemente com ferramentas como o TensorBoard ou através de plataformas como o Ultralytics HUB.

Como interpretar uma curva Roc

A forma e a posição da curva ROC revelam muito sobre o desempenho de um modelo.

  • Classificador aleatório: Uma linha diagonal de (0,0) a (1,1) representa um modelo sem poder discriminativo - é equivalente a uma adivinhação aleatória.
  • Bom classificador: Uma curva que se inclina em direção ao canto superior esquerdo indica um bom classificador. Quanto mais próxima a curva estiver do canto superior esquerdo, melhor será o seu desempenho, uma vez que atinge um TPR elevado mantendo um FPR baixo.
  • Classificador perfeito: Um classificador perfeito teria uma curva que vai de (0,0) diretamente para (0,1) e depois para (1,1), atingindo um TPR de 100% com um FPR de 0%.

Uma métrica comum derivada da curva ROC é a área sob a curva (AUC). A AUC representa a probabilidade de o classificador classificar uma instância positiva escolhida aleatoriamente num nível superior ao de uma instância negativa escolhida aleatoriamente. Uma AUC de 1,0 significa um modelo perfeito, enquanto uma AUC de 0,5 corresponde a um modelo aleatório. Este valor escalar único é útil para comparar modelos diferentes.

Aplicações no mundo real

As curvas ROC são amplamente utilizadas em várias indústrias para avaliar e selecionar os modelos ideais para implementação.

  1. Diagnóstico médico: Na análise de imagens médicas, um modelo de aprendizagem profunda pode ser treinado para detetar cancro a partir de mamografias. A curva ROC ajuda radiologistas e engenheiros a avaliar a capacidade do modelo de distinguir entre tumores malignos e benignos. Ao analisar a curva, podem escolher um limiar de classificação que equilibre a necessidade de detetar o maior número possível de cancros (TPR elevado) com o risco de causar biópsias desnecessárias devido a falsos alarmes (FPR baixo). Este é um passo fundamental para o desenvolvimento responsável da IA e para garantir que o modelo cumpre as normas clínicas definidas por organismos como a FDA.

  2. Deteção de fraudes com cartões de crédito: As instituições financeiras utilizam modelos de ML para identificar transacções fraudulentas em tempo real. Pode ser utilizada uma curva ROC para avaliar a capacidade de um modelo separar as transacções fraudulentas das legítimas. Um banco pode utilizar a curva para selecionar um limiar que maximize a deteção de fraudes, minimizando o número de transacções legítimas que são incorretamente recusadas, o que pode frustrar os clientes. Isto ajuda a criar sistemas robustos para a IA no sector financeiro.

Curva Roc Vs. Outras métricas

Embora as curvas ROC sejam poderosas, é importante compreender a sua diferença em relação a outras métricas de avaliação.

Junte-se à comunidade Ultralytics

Junte-se ao futuro da IA. Ligue-se, colabore e cresça com inovadores globais

Aderir agora
Ligação copiada para a área de transferência