Alucinação (em LLMs)

Porque ocorrem as alucinações

Os LLM, frequentemente construídos em arquitecturas como o Transformer, são fundamentalmente modelos probabilísticos. Aprende padrões e relações a partir de grandes quantidades de dados de texto durante o treino. No entanto, não possuem uma verdadeira compreensão ou consciência. As alucinações podem resultar de vários factores:

• Limitações dos dados de treino: O modelo pode ter sido treinado com dados ruidosos, tendenciosos ou incompletos, levando-o a gerar afirmações plausíveis, mas falsas. A qualidade dos dados de treino tem um impacto significativo na fiabilidade dos resultados.
• Arquitetura do modelo: A natureza inerente à previsão de sequências pode levar os modelos a dar prioridade à fluência em detrimento da exatidão factual, por vezes "inventando" detalhes para completar um padrão.
• Estratégia de descodificação: O método utilizado para selecionar a próxima ficha durante a geração (por exemplo, pesquisa gulosa vs. pesquisa de feixe) pode influenciar a probabilidade de alucinações.
• Falta de fundamentação: Os modelos carecem frequentemente de acesso direto a informações verificáveis em tempo real ou de um mecanismo para fundamentar as suas afirmações em bases de conhecimento externas, a menos que sejam especificamente concebidos com sistemas como o Retrieval-Augmented Generation (RAG).
• Ambiguidade do prompt: Prompts vagos ou mal construídos podem levar o modelo a caminhos de geração não intencionais. A engenharia eficaz de avisos é fundamental.

Exemplos do mundo real e impacto

As alucinações podem manifestar-se de várias formas, apresentando riscos como a disseminação de informações erradas ou a erosão da confiança dos utilizadores.

1. Citações legais fictícias: Num incidente amplamente divulgado, os advogados utilizaram um chatbot para pesquisa jurídica, que gerou citações de casos totalmente fabricadas que foram apresentadas num processo judicial. Este facto realça o perigo de confiar em LLMs para obter informações críticas sem verificação.
2. Biografias inventadas: Um LLM a quem seja pedido que forneça uma biografia de um indivíduo menos conhecido pode inventar detalhes sobre a sua vida, educação ou realizações, misturando factos reais com declarações plausíveis mas falsas. Isto pode ser particularmente problemático em áreas como o jornalismo ou a investigação académica.

O impacto vai além de simples erros; põe em causa a fiabilidade dos sistemas de IA, especialmente à medida que se integram em motores de busca, assistentes virtuais e ferramentas de criação de conteúdos. Abordar esta questão é um desafio fundamental para a ética e a segurança da IA.

Distingue as alucinações

É importante distinguir as alucinações de outros tipos de erros:

• Preconceito: As alucinações são diferentes do preconceito na IA, que reflecte distorções sistemáticas aprendidas com os dados de treino (por exemplo, perpetuando estereótipos). As alucinações são frequentemente fabricações mais aleatórias e sem sentido.
• Erros simples: Um modelo pode cometer um erro factual com base em informações desactualizadas no seu conjunto de treino. Uma alucinação, no entanto, envolve a geração de informações que provavelmente nunca existiram nos dados de treinamento.
• Sobreajuste: Enquanto o sobreajuste envolve um modelo que aprende demasiado bem os dados de treino e não consegue generalizar, as alucinações têm mais a ver com a geração de conteúdo novo e incorreto.

Estratégias de atenuação

Os investigadores e engenheiros estão a desenvolver ativamente métodos para reduzir as alucinações dos LLM:

• Melhorar os dados de formação: Curadoria de conjuntos de dados de maior qualidade, diversificados e factualmente exactos.
• Geração Aumentada por Recuperação (RAG): Integração de fontes de conhecimento externas para fundamentar as respostas em factos verificáveis. Vê como a RAG funciona na prática com ferramentas como a LangChain.
• Afinação: Adaptação de modelos pré-treinados em conjuntos de dados específicos e de alta qualidade, utilizando técnicas como o ajuste fino ou o ajuste fino eficiente de parâmetros (PEFT).
• Engenharia de sugestões: Conceber prompts que orientem o modelo para respostas factuais e contextualmente relevantes.
• Camadas de verificação de factos: Implementa etapas de pós-processamento para verificar as afirmações geradas em relação a fontes fiáveis.
• Pontuação de confiança: Treinar os modelos para que emitam um nível de confiança para as suas afirmações, embora isto continue a ser um desafio. As técnicas relacionadas com a IA explicável (XAI) podem ajudar a compreender a certeza do modelo.

Compreender e mitigar as alucinações é vital para a construção de sistemas de IA fiáveis que possam ser integrados com segurança em várias aplicações, desde simples chatbots a ferramentas complexas utilizadas em fluxos de trabalho de aprendizagem automática e tarefas de processamento de linguagem natural (PNL). A investigação e o desenvolvimento contínuos, incluindo plataformas como o Ultralytics HUB, que facilitam a gestão e a avaliação de modelos, são essenciais para este esforço contínuo.