Precisão

A precisão é uma métrica que mede a exatidão com que um modelo de IA identifica verdadeiros positivos (casos em que o modelo identifica corretamente um objeto ou condição como é suposto). Por exemplo, num sistema de reconhecimento facial, um verdadeiro positivo ocorre quando o sistema reconhece e identifica corretamente o rosto de uma pessoa que foi treinado para detetar. 

Para calcular a precisão, começa por contar o número de verdadeiros positivos. Depois, divide este valor pelo número total de itens que o modelo classificou como positivos. Este total inclui tanto as identificações corretas como os erros, que são designados por falsos positivos. Essencialmente, a precisão diz-te com que frequência o modelo está correto quando afirma ter reconhecido algo.

1<pre style="width: 75%;">
2<code>
3Precision = True Positives / (True Positives + False Positives)
4</code>
5</pre>

‍

‍

É particularmente importante em cenários onde as consequências de falsos positivos podem ser dispendiosas ou perturbadoras. Por exemplo, na produção automatizada, uma taxa de precisão elevada indica que o sistema pode assinalar com maior exatidão os produtos defeituosos e evitar o descarte desnecessário ou o retrabalho de artigos em bom estado. Outro bom exemplo é a vigilância de segurança. Uma elevada precisão ajuda a minimizar os falsos alarmes e a concentrar-se apenas nas ameaças genuínas que necessitam de uma resposta de segurança.

Recall

A recuperação ajuda a medir a capacidade de um modelo de IA para identificar todas as instâncias relevantes, ou verdadeiros positivos, num conjunto de dados. Em termos simples, representa a capacidade de um sistema de IA para captar todos os casos reais de uma condição ou objeto que foi concebido para detetar. A recuperação pode ser calculada dividindo o número de detecções corretas pelo número total de casos positivos que deveriam ter sido detectados (inclui tanto os casos que o modelo identificou corretamente como os que não detectou).

1<pre style="width: 75%;">
2<code>
3Recall = True Positives / (True Positives + False Negatives)
4</code>
5</pre>

‍

Considera um sistema de imagiologia médica com IA utilizado para a deteção de cancro. A recuperação, neste contexto, reflecte a percentagem de casos reais de cancro que o sistema identifica corretamente. Uma elevada taxa de recuperação é vital nestes cenários, porque a omissão de um diagnóstico de cancro pode ter consequências graves para os cuidados prestados aos doentes.

Precisão versus Recuperação

A precisão e a recuperação são como duas faces da mesma moeda quando se trata de avaliar o desempenho de um modelo de IA, e muitas vezes requerem um equilíbrio. O desafio é que a melhoria de uma métrica pode muitas vezes ser feita à custa da outra. 

Digamos que queres uma maior precisão. O modelo pode tornar-se mais seletivo e ser capaz de identificar apenas os positivos de que tem a certeza. Por outro lado, se o teu objetivo for melhorar a recuperação, o modelo pode identificar mais positivos, mas isso pode incluir mais falsos positivos e acabar por diminuir a precisão. 

A chave é encontrar o equilíbrio certo entre precisão e recuperação com base nas necessidades específicas da tua aplicação. Uma ferramenta útil para isso é a curva Precisão-Rechamada, que mostra a relação entre as duas métricas em diferentes limites. Ao analisar esta curva, podes determinar o ponto ideal onde o modelo tem o melhor desempenho para o teu caso de utilização específico. Compreender o compromisso ajuda a afinar os modelos de IA para que tenham um desempenho ótimo para os casos de utilização pretendidos.

‍

Precisão média média (mAP)

A precisão média média (mAP) é uma métrica utilizada para avaliar o desempenho dos modelos de IA para tarefas como a deteção de objectos, em que o modelo tem de identificar e classificar vários objectos numa imagem. A mAP dá-te uma pontuação única que mostra o desempenho do modelo em todas as diferentes categorias que foi treinado para reconhecer. Vejamos como é calculada.

A área sob uma curva de precisão-recuperação fornece a precisão média (AP) para essa classe. A PA mede a exatidão com que o modelo faz previsões para uma classe específica, considerando a precisão e a recuperação em vários níveis de confiança (os níveis de confiança referem-se ao grau de certeza do modelo nas suas previsões). Uma vez calculado o PA para cada classe, o mAP é determinado pela média desses valores de PA em todas as classes.

‍

O mAP é útil em aplicações como a condução autónoma, em que vários objectos, como peões, veículos e sinais de trânsito, têm de ser detectados simultaneamente. Uma pontuação mAP elevada significa que o modelo tem um desempenho consistente em todas as categorias, tornando-o fiável e preciso numa vasta gama de cenários.