Precisão média média (mAP)

Compreender os princípios básicos: Precisão e recuperação

Para compreender o mAP, é essencial começar por compreender a Precisão e a Recuperação. No contexto da deteção de objectos:

• Precisão: Mede quantos dos objectos identificados estavam realmente corretos. Uma precisão elevada significa que o modelo faz poucas previsões de falsos positivos.
• Recorda: Mede quantos dos objectos reais presentes foram corretamente identificados pelo modelo. Uma elevada recuperação significa que o modelo encontra a maioria dos objectos relevantes (poucos falsos negativos).

Estas duas métricas têm frequentemente uma relação inversa; melhorar uma pode por vezes diminuir a outra. O mAP fornece uma forma de avaliar o modelo em diferentes pontos deste compromisso, oferecendo uma visão mais equilibrada do desempenho. Podes saber mais sobre os fundamentos da Precisão e da Recuperação na Wikipedia.

Como é calculado o mAP

O cálculo do mAP envolve várias etapas, proporcionando uma avaliação robusta do desempenho de um modelo em diferentes classes de objectos e limiares de deteção:

1. Classificação de confiança: Para cada classe de objeto, as previsões do modelo ( caixas delimitadoras detectadas) são ordenadas com base nas suas pontuações de confiança, da mais alta para a mais baixa.
2. Curva de precisão-recall: É gerada uma curva de precisão-recuperação para cada classe. Esta curva traça a precisão em relação aos valores de recuperação calculados em vários limites de confiança. À medida que o limiar diminui, a recuperação geralmente aumenta (são detectados mais objectos), enquanto a precisão pode diminuir (podem ser incluídos mais falsos positivos).
3. Precisão média (AP): A precisão média (AP) para uma única classe é calculada como a área sob sua curva de precisão-recuperação. Isto fornece um único número que resume o desempenho do modelo para essa classe específica em todos os níveis de recuperação. Existem diferentes métodos para aproximar esta área.
4. Precisão média média (mAP): Finalmente, o mAP é calculado calculando a média dos valores de AP em todas as classes de objectos do conjunto de dados. Obtém assim uma pontuação de desempenho global para o modelo em todo o conjunto de dados.

Frequentemente, o mAP é reportado em limiares específicos de Intersecção sobre União (IoU). A IoU mede a sobreposição entre a caixa delimitadora prevista e a caixa delimitadora da verdade terrestre (real). As variantes comuns do mAP incluem:

• mAP@0.5 (ou mAP50): Calcula utilizando um limiar IoU fixo de 0,5. Esta é uma métrica padrão utilizada em testes de referência como o desafio PASCAL VOC. Uma deteção é considerada correta apenas se o seu IoU com a verdade terrestre for igual ou superior a 0,5.
• mAP@.5:.95 (ou mAP[.5:.95]): Calcula a média do mAP através de vários limiares de IoU, normalmente de 0,5 a 0,95 com um passo de 0,05. Esta métrica, normalmente utilizada na avaliação do conjunto de dados COCO, fornece uma avaliação mais abrangente, considerando o desempenho sob diferentes requisitos de precisão de localização.

Para uma análise detalhada da forma como estas métricas se aplicam especificamente aos modelos YOLO , consulta o guiaUltralytics YOLO Performance Metrics.

Porque é que o mAP é importante

A precisão média média é vital porque oferece uma visão holística do desempenho de um modelo de deteção de objectos. Considera simultaneamente a precisão da classificação (a classe do objeto está correta?) e a precisão da localização (a caixa delimitadora está colocada corretamente?) em todas as classes definidas nos dados de treino. Isto torna-o mais informativo do que olhar para a precisão ou a recuperação isoladamente, especialmente em conjuntos de dados com várias categorias de objectos ou distribuições de classes desequilibradas. Uma pontuação mAP mais elevada indica geralmente um modelo de deteção de objectos mais robusto e fiável. Técnicas como o aumento cuidadoso dos dados, a afinação de hiperparâmetros e a escolha de uma arquitetura de modelo adequada (como YOLO11) são estratégias comuns para melhorar o mAP.

Aplicações no mundo real

O mAP é fundamental na avaliação de modelos para tarefas do mundo real em que a precisão e a fiabilidade são primordiais:

• Veículos autónomos: Na IA para soluções de condução autónoma, os modelos de deteção de objectos devem detetar com precisão peões, veículos, semáforos e obstáculos. O mAP fornece uma forma padrão de medir e comparar o desempenho de diferentes modelos de deteção (por exemplo, comparar YOLOv8 vs YOLOv11), garantindo uma elevada fiabilidade para decisões críticas em termos de segurança.
• Imagiologia médica: Para aplicações de IA nos cuidados de saúde, como a deteção de tumores em exames médicos, o mAP ajuda a avaliar a capacidade dos modelos para identificar e delinear anomalias. Um mAP elevado garante que os médicos recebem um apoio preciso das ferramentas de IA, ajudando no diagnóstico e no planeamento do tratamento. Isto envolve frequentemente a formação em conjuntos de dados especializados, como os conjuntos de dados de deteção de tumores cerebrais.

Outras aplicações incluem a vigilância da segurança, a robótica(integração da visão por computador na robótica), a análise do comércio retalhista(IA para uma gestão mais inteligente do inventário do comércio retalhista) e a agricultura.

mAP vs. outras métricas

É importante distinguir o mAP das métricas de avaliação relacionadas utilizadas na aprendizagem automática (ML):

• Precisão: Utilizada principalmente em tarefas de classificação, a exatidão mede a proporção global de previsões corretas (tanto os verdadeiros positivos como os verdadeiros negativos) entre o número total de instâncias. Não avalia diretamente a qualidade da localização e pode ser enganadora na deteção de objectos, especialmente com conjuntos de dados desequilibrados em que a classe de fundo domina.
• Intersecção sobre União (IoU): Mede a sobreposição espacial entre uma caixa delimitadora prevista e uma caixa delimitadora da verdade terrestre. Enquanto o IoU avalia a qualidade da localização para detecções individuais, o mAP incorpora limiares de IoU (como 0,5 ou o intervalo 0,5:0,95) para determinar se uma deteção é considerada um verdadeiro positivo e, em seguida, agrega o desempenho entre classes e níveis de confiança. O IoU em si é um componente usado no cálculo do mAP, e não um substituto para ele.

Compreender estas diferenças é crucial para selecionar a métrica adequada com base na tarefa específica e nos objectivos de avaliação. Para obter mais informações, consulta o guia Avaliação e aperfeiçoamento de modelos.

Ferramentas e indicadores

Ferramentas como o Ultralytics HUB permitem que os utilizadores treinem, acompanhem e avaliem modelos, apresentando de forma proeminente o mAP como um indicador-chave de desempenho durante os processos de treino e validação do modelo. Estruturas de ML como o PyTorch e TensorFlow fornecem os componentes fundamentais para construir e treinar estes modelos de deteção de objectos. Conjuntos de dados padronizados como o COCO e o PASCAL VOC utilizam o mAP como a principal métrica para comparar modelos de deteção de objectos em tabelas de classificação públicas e artigos de investigação, impulsionando o progresso no campo. Podes explorar e comparar vários desempenhos de modelos, muitas vezes medidos pelo mAP, nas páginas de comparação de modelosUltralytics .