Confiança

Como é que a confiança é determinada

As pontuações de confiança são normalmente derivadas da camada de saída de uma rede neural (NN). Para tarefas de classificação, isso geralmente envolve a aplicação de uma função de ativação como Softmax ou Sigmoid às saídas brutas (logits) para produzir valores semelhantes a probabilidade para cada classe. Em modelos de deteção de objectos como o YOLO, a pontuação de confiança pode combinar a probabilidade de um objeto estar presente numa caixa delimitadora proposta (frequentemente designada por "pontuação de objetividade") e a probabilidade de esse objeto pertencer a uma classe específica, condicionada pela presença de um objeto. É um resultado fundamental utilizado durante o processo de inferência para avaliar a validade das detecções. Esta pontuação é calculada com base nos pesos do modelo aprendidos com conjuntos de dados como o COCO.

O limiar de confiança

Na prática, nem todas as previsões de um modelo são igualmente úteis ou fiáveis. As previsões com valores de confiança muito baixos representam frequentemente ruído de fundo ou classificações incertas. Para as filtrar, é normalmente aplicado um "limiar de confiança". Trata-se de um valor definido pelo utilizador (por exemplo, 0,5 ou 50%); apenas as previsões com uma pontuação de confiança acima deste limiar são consideradas saídas válidas. A definição de um limiar adequado é vital e depende frequentemente da aplicação específica:

• Cenários de elevada taxa de recolha: Em aplicações como a análise de imagens médicas para rastreio, pode ser utilizado inicialmente um limiar mais baixo para minimizar a possibilidade de perder potenciais descobertas (elevada recuperação), mesmo que isso signifique mais falsos positivos que exijam revisão humana. A IA nos cuidados de saúde envolve frequentemente uma afinação cuidadosa dos limiares.
• Cenários de elevada precisão: Em aplicações como a condução autónoma ou o controlo de qualidade em IA no fabrico, é preferível um limiar mais elevado para garantir que as acções são tomadas apenas com base em previsões altamente certas (alta precisão), reduzindo o risco de erros. A investigação sobre a segurança da IA dá ênfase à tomada de decisões robustas.

O limiar de confiança funciona frequentemente em conjunto com técnicas como a supressão não máxima (NMS) para refinar o conjunto final de detecções através da remoção de caixas delimitadoras sobrepostas para o mesmo objeto. Podes configurar facilmente este limiar quando utilizas modelos Ultralytics através da interface de linha de comandos (CLI) ou da APIPython . Encontrar o limite ideal pode envolver o ajuste de hiperparâmetros.

Aplicações no mundo real

As pontuações de confiança são fundamentais para a implementação de modelos de IA de forma responsável e eficaz:

1. Apoio ao diagnóstico médico: Em sistemas que analisam exames médicos (como raios X ou ressonâncias magnéticas) para detetar possíveis anomalias(como a deteção de tumores), a pontuação de confiança ajuda a priorizar os casos. Uma previsão com baixa confiança pode indicar um achado ambíguo que requer um exame mais detalhado por um radiologista, enquanto as previsões de alta confiança podem simplificar o processo de revisão. A investigação em IA de Radiologia discute frequentemente os níveis de confiança.
2. Sistemas autónomos: Para carros autónomos ou robótica, as pontuações de confiança são essenciais para a segurança. A deteção de um peão ou de outro veículo(saiba mais sobre a abordagem da Waymo) deve atingir um limiar de confiança elevado antes de o sistema iniciar uma ação como travar ou desviar. As deteções de baixa confiança podem ser ignoradas ou desencadear alertas menos críticos. Isto garante que o sistema actua de forma decisiva apenas quando tem a certeza.

Confiança vs. outras métricas

É importante não confundir a pontuação de confiança de uma previsão individual com as métricas gerais de avaliação do modelo. Embora relacionadas, elas medem aspectos diferentes do desempenho:

• Precisão: Mede a percentagem global de previsões corretas em todo o conjunto de dados. Fornece uma noção geral do desempenho do modelo, mas não reflecte a certeza das previsões individuais. Um modelo pode ter uma precisão elevada, mas ainda assim fazer algumas previsões com pouca confiança.
• Precisão: Indica a proporção de previsões positivas que estavam realmente corretas (Positivos Verdadeiros / (Positivos Verdadeiros + Falsos Positivos)). Uma precisão elevada significa menos alarmes falsos. A confiança reflecte a crença do modelo na sua previsão, que pode ou não estar alinhada com a correção.
• Recuperação (Sensibilidade): Mede a proporção de instâncias positivas reais que o modelo identificou corretamente (Positivos Verdadeiros / (Positivos Verdadeiros + Falsos Negativos)). Uma alta recuperação significa menos detecções perdidas. A confiança não está diretamente relacionada com o número de positivos reais encontrados.
• F1-Score: A média harmónica de Precisão e Recuperação, fornecendo uma única métrica que equilibra ambas. A confiança continua a ser uma pontuação ao nível da previsão.
• Precisão média (mAP): Uma métrica comum na deteção de objectos que resume a curva de precisão-recuperação em diferentes limiares de confiança e classes. Enquanto o cálculo da mAP envolve limiares de confiança, a pontuação de confiança em si aplica-se a cada deteção individual.
• Calibração: Refere-se ao grau de alinhamento das pontuações de confiança com a probabilidade real de correção. As previsões de um modelo bem calibrado com 80% de confiança devem estar corretas em cerca de 80% das vezes. As pontuações de confiança dos modelos nem sempre são inerentemente bem calibradas(ver investigação sobre calibração).

Em resumo, a confiança é um resultado valioso para avaliar a certeza de previsões individuais de IA, permitindo uma melhor filtragem, priorização e tomada de decisões em aplicações do mundo real. Complementa, mas é diferente das métricas que avaliam o desempenho geral de um modelo, como as rastreadas no Ultralytics HUB.