Precisão

A precisão é uma métrica que mede a exatidão com que um modelo de IA identifica verdadeiros positivos (casos em que o modelo identifica corretamente um objeto ou condição como é suposto). Por exemplo, num sistema de reconhecimento facial, um verdadeiro positivo ocorreria quando o sistema reconhece e identifica corretamente o rosto de uma pessoa que foi treinado para detetar. 

Para calcular a precisão, comece por contar o número de verdadeiros positivos. De seguida, pode dividir este valor pelo número total de itens que o modelo classificou como positivos. Este total inclui tanto as identificações corretas como os erros, que são designados por falsos positivos. Essencialmente, a precisão indica a frequência com que o modelo está correto quando afirma ter reconhecido algo.

‍

‍

É particularmente importante em cenários onde as consequências de falsos positivos podem ser dispendiosas ou perturbadoras. Por exemplo, no fabrico automatizado, uma taxa de precisão elevada indica que o sistema pode assinalar com maior exatidão os produtos defeituosos e evitar a eliminação desnecessária ou o retrabalho de artigos em bom estado. Outro bom exemplo é a vigilância de segurança. Uma elevada precisão ajuda a minimizar os falsos alarmes e a concentrar-se apenas nas ameaças genuínas que necessitam de uma resposta de segurança.

Recall

A recuperação ajuda a medir a capacidade de um modelo de IA para identificar todas as instâncias relevantes, ou verdadeiros positivos, num conjunto de dados. Em termos simples, representa a capacidade de um sistema de IA para captar todos os casos reais de uma condição ou objeto que foi concebido para detetar. A recuperação pode ser calculada dividindo o número de detecções corretas pelo número total de casos positivos que deveriam ter sido detectados (inclui tanto os casos que o modelo identificou corretamente como os que não detectou).

Considere-se um sistema de imagiologia médica com IA utilizado para a deteção de cancro. A recuperação, neste contexto, reflecte a percentagem de casos reais de cancro que o sistema identifica corretamente. Uma elevada taxa de recuperação é vital nestes cenários, porque a omissão de um diagnóstico de cancro pode ter consequências graves para os cuidados prestados aos doentes.

Precisão versus recuperação

A precisão e a recuperação são como duas faces da mesma moeda quando se trata de avaliar o desempenho de um modelo de IA, e muitas vezes exigem um equilíbrio. O desafio é que a melhoria de uma métrica pode muitas vezes ser feita à custa da outra. 

Digamos que se procura uma maior precisão. O modelo pode tornar-se mais seletivo e ser capaz de identificar apenas os positivos de que tem a certeza. Por outro lado, se o seu objetivo for melhorar a recuperação, o modelo pode identificar mais positivos, mas isto pode incluir mais falsos positivos e acabar por diminuir a precisão. 

A chave é encontrar o equilíbrio correto entre a precisão e a recuperação com base nas necessidades específicas da sua aplicação. Uma ferramenta útil para isso é a curva de precisão-recuperação, que mostra a relação entre as duas métricas em diferentes limites. Ao analisar esta curva, pode determinar o ponto ideal onde o modelo tem o melhor desempenho para o seu caso de utilização específico. Compreender o compromisso ajuda a afinar os modelos de IA para que tenham um desempenho ótimo para os casos de utilização pretendidos.

‍

Precisão média média (mAP)

A precisão média média (mAP) é uma métrica utilizada para avaliar o desempenho dos modelos de IA para tarefas como a deteção de objectos, em que o modelo tem de identificar e classificar vários objectos numa imagem. A mAP fornece uma pontuação única que mostra o desempenho do modelo em todas as diferentes categorias que foi treinado para reconhecer. Vejamos como é calculada.

A área sob uma curva de precisão-recuperação fornece a precisão média (AP) para essa classe. A PA mede a exatidão com que o modelo faz previsões para uma classe específica, considerando tanto a precisão como a recuperação em vários níveis de confiança (os níveis de confiança referem-se ao grau de certeza do modelo nas suas previsões). Uma vez calculado o PA para cada classe, o mAP é determinado pela média desses valores de PA em todas as classes.

‍

O mAP é útil em aplicações como a condução autónoma, em que é necessário detetar simultaneamente vários objectos, como peões, veículos e sinais de trânsito. Uma pontuação mAP elevada significa que o modelo tem um desempenho consistente em todas as categorias, tornando-o fiável e preciso numa vasta gama de cenários.