Pontuação F1

Compreender a precisão e a recuperação

Antes de mergulhares no F1-Score, é crucial compreenderes os seus componentes:

• Precisão: Esta métrica responde à pergunta: "De todas as instâncias que o modelo previu como positivas, quantas foram realmente positivas?" Concentra-se na correção das previsões positivas, minimizando os falsos positivos (erros do tipo I). Uma precisão elevada é importante quando o custo de um falso positivo é elevado.
• Recuperação (Sensibilidade ou Taxa de Verdadeiros Positivos): Esta métrica responde à pergunta: "De todas as instâncias positivas reais, quantas o modelo identificou corretamente?" Concentra-se em encontrar todas as instâncias relevantes, minimizando os falsos negativos (erros do tipo II). Uma alta recuperação é crucial quando a perda de uma instância positiva é dispendiosa.

Estas métricas são calculadas utilizando as contagens de Verdadeiros Positivos (TP), Falsos Positivos (FP) e Falsos Negativos (FN) derivadas de uma matriz de confusão.

Porque é que a pontuação F1 é importante

A precisão por si só pode ser enganadora, particularmente com conjuntos de dados desequilibrados. Por exemplo, se um conjunto de dados tiver 95% de instâncias negativas e 5% de instâncias positivas, um modelo que preveja sempre "negativo" alcançará 95% de exatidão, mas será inútil para identificar casos positivos (recuperação zero).

O F1-Score resolve este problema calculando a média harmónica de Precisão e Recuperação. A média harmónica penaliza os valores extremos mais do que uma simples média aritmética. Conseqüentemente, um F1-Score alto requer alta precisão e alta recuperação, garantindo um equilíbrio entre os dois. Varia de 0 (pior) a 1 (melhor).

Aplicações do F1-Score

O F1-Score é uma métrica de avaliação padrão em muitos domínios de IA e ML:

• Recuperação de informação: Avalia a relevância e a exaustividade dos resultados da pesquisa.
• Processamento de linguagem natural (PNL): Avalia o desempenho em tarefas como Reconhecimento de Entidades Nomeadas (NER) e classificação de texto (por exemplo, deteção de spam). Na filtragem de spam, o F1-Score ajuda a equilibrar a captura de e-mails de spam (recall) e a minimizar a classificação incorrecta de e-mails legítimos (precisão).
• Visão computacional: Embora métricas como a precisão média (mAP) sejam comuns para modelos de deteção de objectos como o Ultralytics YOLOo F1-Score pode ser utilizado para avaliar o desempenho de classes de objectos específicas ou em tarefas de segmentação. Podes saber mais sobre estas métricas no guiaYOLO Performance Metrics.
• Análise de imagens médicas: Em sistemas de diagnóstico, tais como a deteção de tumores a partir de exames, a falta de um caso positivo (baixa recuperação) pode ter consequências graves, enquanto os falsos alarmes (baixa precisão) podem levar a stress e procedimentos desnecessários. O F1-Score ajuda a encontrar um equilíbrio ótimo para o limiar de decisão do modelo. Lê mais sobre a avaliação de testes de diagnóstico.
• Deteção de anomalias: Identifica transacções fraudulentas raras ou falhas do sistema, em que as instâncias positivas são pouco frequentes, mas essenciais para a deteção.

F1-Score vs Métricas relacionadas

• Precisão: Mede a correção global. Adequado para conjuntos de dados equilibrados, mas enganador para os desequilibrados.
• Precisão: Concentra-se na qualidade das previsões positivas (minimizando o FP).
• Recorda: Concentra-se na quantidade de positivos reais encontrados (minimizando o FN).
• Precisão média média (mAP): Uma métrica comum em problemas de deteção e classificação de objectos, que calcula a média da precisão em vários limiares de recuperação e/ou classes. Fornece uma visão mais ampla do desempenho em diferentes pontos de funcionamento, ao contrário do F1-Score, que normalmente avalia um único ponto.
• Área sob a curva (AUC): Refere-se frequentemente à área sob a curva ROC, resumindo o desempenho do modelo em todos os limiares de classificação.

A escolha da métrica correta depende do problema específico e da importância relativa de minimizar os falsos positivos em relação aos falsos negativos. Ferramentas como o Ultralytics HUB permitem seguir várias métricas, incluindo o F1-Score, durante o treino e a avaliação do modelo para ajudar os utilizadores a tomar decisões informadas. Explora os tutoriaisUltralytics para obter orientações práticas sobre a avaliação de modelos.