IA explicável (XAI)

Porque é que a IA explicável é importante

A procura de XAI resulta da crescente integração da IA na tomada de decisões de alto risco em diversos sectores. Embora os modelos de IA, como o Ultralytics YOLO para a deteção de objectos, possam atingir uma precisão notável, é vital compreender por que razão chegam a conclusões específicas. Esta falta de interpretabilidade pode ser um obstáculo em domínios como a IA nos cuidados de saúde e a IA nas finanças. As principais motivações para adotar a XAI incluem:

• Criar confiança: É mais provável que os utilizadores e as partes interessadas confiem e adoptem sistemas de IA se puderem compreender o raciocínio subjacente aos seus resultados.
• Depuração e melhoria: Compreender o comportamento do modelo ajuda os programadores a identificarem falhas, a efectuarem uma avaliação eficaz do modelo e o seu aperfeiçoamento, e a melhorarem o desempenho.
• Conformidade regulamentar: Regulamentos como o Regulamento Geral de Proteção de Dados (RGPD) da UE podem exigir explicações para decisões automatizadas que afectem indivíduos.
• Identificar preconceitos: A XAI pode ajudar a descobrir e a atenuar os preconceitos na IA, promovendo a equidade na IA.
• Aumenta a responsabilidade: Explicações claras facilitam a atribuição de responsabilidades quando os sistemas de IA cometem erros, em conformidade com os princípios da ética da IA.

Benefícios e aplicações

A implementação da XAI proporciona benefícios substanciais, incluindo uma maior confiança dos utilizadores, processos de depuração simplificados e a promoção de uma implantação responsável da IA. As técnicas de XAI têm aplicação em numerosos domínios:

• Cuidados de saúde - Análise de imagens médicas: Na análise de imagens médicas, uma IA pode detetar sinais de uma doença numa radiografia. As técnicas de XAI podem realçar as regiões ou caraterísticas específicas da imagem (por exemplo, textura, forma) que levaram o modelo ao seu diagnóstico. Isto permite que os radiologistas verifiquem as conclusões da IA em relação aos seus conhecimentos, aumentando a confiança na ferramenta e, potencialmente, detectando erros. Isto é crucial para cumprir normas como as da FDA para IA/ML em dispositivos médicos. Explora as soluções de IA nos cuidados de saúde para obteres mais contexto.
• Finanças - Pontuação de crédito: Quando um modelo de IA nega um pedido de empréstimo, a XAI pode explicar quais os factores (por exemplo, duração do histórico de crédito, rácio dívida/rendimento, transacções específicas) que mais influenciaram a decisão. Isto ajuda as instituições financeiras a cumprir regulamentos como o Equal Credit Opportunity Act, que exige que os credores forneçam as razões para a recusa, e ajuda a garantir que as decisões não são influenciadas por algoritmos.

Técnicas de XAI

Existem vários métodos para alcançar a explicabilidade, muitas vezes com abordagens diferentes (por exemplo, explicar previsões individuais ou o comportamento geral do modelo). Algumas técnicas comuns incluem:

• LIME (Local Interpretable Model-agnostic Explanations): Aproxima o comportamento de um modelo complexo localmente em torno de uma previsão específica usando um modelo mais simples e interpretável. Saiba mais sobre o LIME.
• SHAP (SHapley Additive exPlanations): Utiliza conceitos da teoria dos jogos cooperativos para atribuir um valor de importância a cada caraterística para uma determinada previsão. Descobre os valores SHAP.
• Mecanismos de atenção: Particularmente em modelos como os Transformers, as pontuações de atenção podem, por vezes, indicar quais as partes dos dados de entrada em que o modelo se concentrou mais ao gerar um resultado.

Iniciativas de investigação como o programa XAI da DARPA fizeram avançar significativamente o desenvolvimento destas técnicas.

XAI vs. Conceitos relacionados

É importante distinguir a XAI de termos relacionados:

• Transparência na IA: A transparência na IA refere-se à visibilidade do funcionamento de um sistema de IA, incluindo a sua arquitetura, os dados em que foi treinado e as suas métricas de desempenho. Embora a transparência forneça informações fundamentais, a XAI centra-se especificamente na criação de explicações compreensíveis para os humanos sobre o motivo pelo qual um modelo tomou uma determinada decisão ou fez uma previsão.
• Observabilidade: A observabilidade é uma propriedade mais ampla do sistema que diz respeito à capacidade de compreender o estado interno de um sistema (incluindo modelos de IA/ML) examinando os seus resultados externos, como registos, métricas e traços. É crucial para os MLOps e a monitorização de modelos, permitindo a depuração e o controlo do desempenho. A XAI é um subconjunto específico centrado em tornar interpretável o raciocínio subjacente aos resultados dos modelos.

Desafios e considerações

Conseguir uma explicabilidade significativa pode ser complexo. Existe frequentemente um compromisso entre o desempenho do modelo (exatidão) e a interpretabilidade; os modelos altamente complexos podem ser mais exactos mas mais difíceis de explicar, tal como discutido em"Uma história dos modelos de visão". Além disso, expor a lógica detalhada do modelo pode levantar preocupações sobre propriedade intelectual ou manipulação adversária. Organizações como a Partnership on AI trabalham para ultrapassar estes desafios éticos e práticos.

Ultralytics promove a compreensão do comportamento do modelo através de ferramentas e recursos. As capacidades de visualização no Ultralytics HUB e os guias detalhados nos Ultralytics Docs, como a explicação da YOLO Performance Metrics, ajudam os utilizadores a avaliar e interpretar modelos como Ultralytics YOLOv8.