Já explorámos anteriormente a forma como a IA pode ser utilizada em diferentes sectores, como os cuidados de saúde, a indústria transformadora e o turismo. Também analisámos a forma como a IA pode melhorar as tarefas diárias de trabalho e discutimos as principais ideias de negócio de IA. Todos estes debates conduzem inevitavelmente à mesma questão-chave: como podemos medir o sucesso dessas implementações de IA? É uma questão importante porque a simples implementação de soluções de IA não é suficiente. Garantir que essas soluções estão realmente a produzir resultados é o que as torna revolucionárias. 

Podemos medir as métricas de desempenho da IA para determinar se um modelo de IA é verdadeiramente eficaz para tornar os processos mais eficientes, estimular a inovação ou resolver problemas. Ao concentrarmo-nos nos indicadores-chave de desempenho (KPIs) corretos, podemos compreender até que ponto uma solução de IA está a funcionar bem e onde pode precisar de ser melhorada.

Neste artigo, vamos dar uma olhada em como medir o sucesso das implementações de IA com os KPIs mais relevantes. Abordaremos as diferenças entre os KPIs de negócios e os KPIs de desempenho de IA, analisaremos as principais métricas, como precisão e recall, e ajudaremos a escolher os melhores KPIs para suas soluções específicas de IA.

A diferença entre os KPIs de negócio da IA e os KPIs de desempenho da IA

‍

Quando pensas em KPIs, é natural assumir que se tratam de métricas empresariais como o retorno do investimento (ROI), a poupança de custos ou as receitas geradas - especialmente quando se fala de IA empresarial. Esses KPIs de negócios de IA medem como a IA afeta o sucesso geral de uma empresa e se alinha com objetivos de negócios mais amplos. 

No entanto, os KPIs de desempenho da IA concentram-se no bom funcionamento do próprio sistema de IA, utilizando métricas como a exatidão, a precisão e a recordação. Entraremos em detalhes sobre essas métricas abaixo, mas, em essência, enquanto os KPIs de negócios mostram os benefícios financeiros e estratégicos da IA, os KPIs de desempenho garantem que um modelo de IA esteja fazendo seu trabalho com eficácia.

Certas métricas podem, de facto, servir ambos os objectivos. Por exemplo, os ganhos de eficiência, como a redução do tempo ou dos recursos necessários para concluir uma tarefa, podem ser tanto um KPI de desempenho (mostrando até que ponto a solução de IA está a funcionar bem) como um KPI empresarial (medindo a poupança de custos e as melhorias de produtividade). A satisfação do cliente é outra métrica transversal. Pode refletir o sucesso de uma ferramenta de serviço ao cliente orientada para a IA, tanto em termos do seu desempenho técnico como do seu impacto nos objectivos empresariais globais.

Compreender as principais métricas de desempenho da IA

Existem algumas métricas comuns utilizadas para medir o desempenho de um modelo de IA. Primeiro, vamos ver a sua definição e como são calculadas. Depois, veremos como estas métricas podem ser monitorizadas.

Precisão

A precisão é uma métrica que mede a exatidão com que um modelo de IA identifica verdadeiros positivos (casos em que o modelo identifica corretamente um objeto ou condição como é suposto). Por exemplo, num sistema de reconhecimento facial, um verdadeiro positivo ocorre quando o sistema reconhece e identifica corretamente o rosto de uma pessoa que foi treinado para detetar. 

Para calcular a precisão, começa por contar o número de verdadeiros positivos. Depois, divide este valor pelo número total de itens que o modelo classificou como positivos. Este total inclui tanto as identificações corretas como os erros, que são designados por falsos positivos. Essencialmente, a precisão diz-te com que frequência o modelo está correto quando afirma ter reconhecido algo.

Precision = True Positives / (True Positives + False Positives)

‍

É particularmente importante em cenários onde as consequências de falsos positivos podem ser dispendiosas ou perturbadoras. Por exemplo, na produção automatizada, uma taxa de precisão elevada indica que o sistema pode assinalar com maior exatidão os produtos defeituosos e evitar o descarte desnecessário ou o retrabalho de artigos em bom estado. Outro bom exemplo é a vigilância de segurança. Uma elevada precisão ajuda a minimizar os falsos alarmes e a concentrar-se apenas nas ameaças genuínas que necessitam de uma resposta de segurança.

Recall

A recuperação ajuda a medir a capacidade de um modelo de IA para identificar todas as instâncias relevantes, ou verdadeiros positivos, num conjunto de dados. Em termos simples, representa a capacidade de um sistema de IA para captar todos os casos reais de uma condição ou objeto que foi concebido para detetar. A recuperação pode ser calculada dividindo o número de detecções corretas pelo número total de casos positivos que deveriam ter sido detectados (inclui tanto os casos que o modelo identificou corretamente como os que não detectou).

Recall = True Positives / (True Positives + False Negatives)

Considera um sistema de imagiologia médica com IA utilizado para a deteção de cancro. A recuperação, neste contexto, reflecte a percentagem de casos reais de cancro que o sistema identifica corretamente. Uma elevada taxa de recuperação é vital nestes cenários, porque a omissão de um diagnóstico de cancro pode ter consequências graves para os cuidados prestados aos doentes.

Precisão versus Recuperação

A precisão e a recuperação são como duas faces da mesma moeda quando se trata de avaliar o desempenho de um modelo de IA, e muitas vezes requerem um equilíbrio. O desafio é que a melhoria de uma métrica pode muitas vezes ser feita à custa da outra. 

Digamos que queres uma maior precisão. O modelo pode tornar-se mais seletivo e ser capaz de identificar apenas os positivos de que tem a certeza. Por outro lado, se o teu objetivo for melhorar a recuperação, o modelo pode identificar mais positivos, mas isso pode incluir mais falsos positivos e acabar por diminuir a precisão. 

A chave é encontrar o equilíbrio certo entre precisão e recuperação com base nas necessidades específicas da tua aplicação. Uma ferramenta útil para isso é a curva Precisão-Rechamada, que mostra a relação entre as duas métricas em diferentes limites. Ao analisar esta curva, podes determinar o ponto ideal onde o modelo tem o melhor desempenho para o teu caso de utilização específico. Compreender o compromisso ajuda a afinar os modelos de IA para que tenham um desempenho ótimo para os casos de utilização pretendidos.

‍

Precisão média média (mAP)

A precisão média média (mAP) é uma métrica utilizada para avaliar o desempenho dos modelos de IA para tarefas como a deteção de objectos, em que o modelo tem de identificar e classificar vários objectos numa imagem. A mAP dá-te uma pontuação única que mostra o desempenho do modelo em todas as diferentes categorias que foi treinado para reconhecer. Vejamos como é calculada.

A área sob uma curva de precisão-recuperação fornece a precisão média (AP) para essa classe. A PA mede a exatidão com que o modelo faz previsões para uma classe específica, considerando a precisão e a recuperação em vários níveis de confiança (os níveis de confiança referem-se ao grau de certeza do modelo nas suas previsões). Uma vez calculado o PA para cada classe, o mAP é determinado pela média desses valores de PA em todas as classes.

‍

O mAP é útil em aplicações como a condução autónoma, em que vários objectos, como peões, veículos e sinais de trânsito, têm de ser detectados simultaneamente. Uma pontuação mAP elevada significa que o modelo tem um desempenho consistente em todas as categorias, tornando-o fiável e preciso numa vasta gama de cenários.

Calcula métricas de desempenho sem esforço

As fórmulas e os métodos de cálculo das principais métricas de desempenho da IA podem parecer assustadores. No entanto, ferramentas como o pacoteUltralytics podem tornar isso simples e rápido. Quer estejas a trabalhar em tarefas de deteção, segmentação ou classificação de objectos, o Ultralytics fornece os utilitários necessários para calcular rapidamente métricas importantes, como a precisão, a recuperação e a precisão média (mAP).

Para começar a calcular métricas de desempenho usando Ultralytics, podes instalar o pacote Ultralytics como mostrado abaixo.

pip install ultralytics

Para este exemplo, vamos carregar um modelo YOLOv8 pré-treinado e utilizá-lo para validar as métricas de desempenho, mas podes carregar qualquer um dos modelos suportados fornecidos por Ultralytics. Eis como o podes fazer:

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n.pt")

Assim que o modelo for carregado, podes executar a validação no teu conjunto de dados. O seguinte trecho de código irá ajudar-te a calcular várias métricas de desempenho, incluindo precisão, recuperação e mAP:

# Run the evaluation
results = model.val()

# Print specific metrics
print("Mean average precision:", results.box.map)
print("Precision:", results.box.p)
print("Recall:", results.box.r)

A utilização de ferramentas como Ultralytics facilita muito o cálculo das métricas de desempenho, para que possas passar mais tempo a melhorar o teu modelo e menos tempo a preocupares-te com os detalhes do processo de avaliação.

Como é medido o desempenho da IA após a implementação?

Ao desenvolver o teu modelo de IA, é fácil testar o seu desempenho num ambiente controlado. No entanto, quando o modelo é implementado, as coisas podem tornar-se mais complicadas. Felizmente, existem ferramentas e melhores práticas que podem ajudar-te a monitorizar a tua solução de IA após a implementação. 

Ferramentas como o Prometheus, o Grafana e o Evidently AI foram concebidas para acompanhar continuamente o desempenho do teu modelo. Podem fornecer informações em tempo real, detetar anomalias e alertar-te para quaisquer problemas potenciais. Essas ferramentas vão além do monitoramento tradicional, oferecendo soluções automatizadas e escalonáveis que se adaptam à natureza dinâmica dos modelos de IA em produção.

Para medir o sucesso do teu modelo de IA após a implementação, eis algumas práticas recomendadas a seguir:

• Define métricas de desempenho claras: Decide quais são as principais métricas, como a exatidão, a precisão e o tempo de resposta, para verificar regularmente o desempenho do teu modelo.
• Verifica regularmente a existência de desvios de dados: Fica atento às alterações nos dados que o teu modelo está a tratar, uma vez que isso pode afetar as suas previsões se não for gerido corretamente.
• Realiza testes A/B: Utiliza o teste A/B para comparar o desempenho do teu modelo atual com novas versões ou ajustes. Isto permitir-te-á avaliar quantitativamente as melhorias ou regressões no comportamento do modelo.
• Documenta e audita o desempenho: Mantém registos detalhados das métricas de desempenho e das alterações efectuadas ao seu sistema de IA. É crucial para auditorias, conformidade e para melhorar a arquitetura do teu modelo ao longo do tempo.

Selecionar os melhores KPIs de IA é apenas o começo

A implementação e a gestão bem-sucedidas de uma solução de IA dependem da escolha dos KPIs certos e da sua atualização. Em geral, é vital escolher métricas que realcem o desempenho técnico da solução de IA e em termos de impacto no negócio. À medida que as coisas mudam, quer se trate de avanços tecnológicos ou de alterações na sua estratégia empresarial, é importante rever e ajustar estes KPIs. 

Ao manteres as tuas análises de desempenho dinâmicas, podes manter o teu sistema de IA relevante e eficaz. Ao manteres-te a par destas métricas, obterás informações valiosas que ajudarão a melhorar as tuas operações. Uma abordagem proactiva garante que os teus esforços de IA são verdadeiramente valiosos e ajudam a impulsionar o teu negócio!

Junta-te à nossa comunidade e inova connosco! Explora o nosso repositório GitHub para veres os nossos avanços em IA. Aprende como estamos a remodelar indústrias como o fabrico e os cuidados de saúde com tecnologia de IA pioneira. 🚀