Matriz de confusão

Compreender os componentes

Uma matriz de confusão compara as etiquetas das classes previstas com as etiquetas das classes reais para um conjunto de dados de teste. Para um problema de classificação binária (duas classes, por exemplo, Positivo/Negativo), a matriz contém normalmente quatro valores-chave:

• Verdadeiros positivos (TP): O número de instâncias corretamente previstas como Positivas.
• Verdadeiros negativos (TN): O número de instâncias corretamente previstas como Negativas.
• Falsos positivos (FP): Também conhecidos como erros do tipo I. O número de instâncias incorretamente previstas como Positivas (na verdade eram Negativas).
• Falsos negativos (FN): Também conhecido como erros do Tipo II. O número de instâncias incorretamente previstas como Negativas (na realidade eram Positivas).

Estes quatro componentes formam a base para o cálculo de várias métricas de desempenho. Para problemas de classificação multi-classe, a matriz expande-se, mostrando a interação entre todas as classes.

Porquê utilizar uma matriz de confusão?

Embora a precisão global dê uma ideia geral do desempenho, pode ser enganadora, especialmente com conjuntos de dados desequilibrados em que uma classe supera significativamente as outras. Uma matriz de confusão fornece uma visão mais granular:

• Identifica os tipos de erros: Mostra explicitamente se o modelo confunde classes específicas e distingue entre falsos positivos e falsos negativos, que muitas vezes têm consequências diferentes no mundo real.
• Calcula as principais métricas: É a base para o cálculo de métricas de avaliação cruciais, como Precisão, Recuperação (Sensibilidade), Especificidade e o F1-Score. Compreender essas métricas é essencial, conforme abordado no guia Métricas de desempenhoYOLO .
• Melhora o modelo: Ao destacar pontos fracos específicos (por exemplo, uma taxa FN elevada para uma classe crítica), orienta os esforços de aperfeiçoamento do modelo ou de aumento dos dados. Podes encontrar mais informações nos guias sobre avaliação e aperfeiçoamento de modelos.

Aplicações no mundo real

As matrizes de confusão são amplamente utilizadas em vários domínios que aplicam a Inteligência Artificial (IA):

1. Diagnóstico médico: Em aplicações como a deteção de tumores em imagiologia médica, uma matriz de confusão ajuda a avaliar os modelos de IA. Um Falso Negativo (não detetar um tumor) pode ter consequências graves, enquanto um Falso Positivo (assinalar um tecido saudável como um tumor) pode levar a stress desnecessário e a mais testes. A análise da matriz ajuda a equilibrar estes riscos. Podes saber mais sobre as soluções de IA nos cuidados de saúde.
2. Filtragem de correio eletrónico de spam: Os serviços de correio eletrónico utilizam classificadores para classificar o spam. Uma matriz de confusão avalia o desempenho do filtro. Um Falso Positivo (classificar um e-mail legítimo como spam) é muitas vezes mais problemático do que um Falso Negativo (deixar passar um e-mail de spam). A matriz ajuda a afinar o filtro para obter o equilíbrio desejado, contribuindo para técnicas eficazes de filtragem de correio eletrónico.

Matriz de confusão vs. outras métricas

É importante distinguir a matriz de confusão das ferramentas de avaliação relacionadas:

• Precisão: Uma única percentagem que representa a correção geral. Não detalha como o modelo está errado.
• Precisão, Recall, F1-Score: São calculados a partir dos valores da matriz de confusão (TP, FP, FN, TN) para resumir aspectos específicos do desempenho.
• Curva ROC: Um gráfico que mostra a relação entre a Taxa de Verdadeiros Positivos (Recall) e a Taxa de Falsos Positivos em diferentes limiares de classificação. Embora derivado de conceitos subjacentes semelhantes, visualiza o desempenho através de limiares em vez de mostrar contagens brutas num único limiar, como a matriz de confusão.

Utilização em Ultralytics

Ao treinar modelos como o Ultralytics YOLO para tarefas como a deteção de objectos ou a classificação de imagens, as matrizes de confusão são geradas automaticamente durante a fase de validação(modo Val). Estas matrizes ajudam os utilizadores a visualizar o desempenho do modelo em diferentes classes de conjuntos de dados como o COCO ou conjuntos de dados personalizados. Ferramentas como o Ultralytics HUB fornecem ambientes para treinar modelos e analisar resultados, incluindo matrizes de confusão, para obter uma visão abrangente da avaliação do modelo. Para um mergulho mais profundo nas matrizes de confusão na prática, recursos como a documentação do Scikit-learn oferecem mais exemplos.