Alucinação (em LLMs)

Os modelos de linguagem de grande dimensão (LLM), como o GPT e outros, foram concebidos para gerar texto com base em padrões aprendidos a partir de conjuntos de dados maciços. No entanto, estes modelos podem, por vezes, produzir informações que parecem factuais, mas que são totalmente fabricadas ou inexactas. Este fenómeno é conhecido como "alucinação" nos LLM. A alucinação ocorre quando um modelo gera conteúdo que não se baseia nos dados em que foi treinado ou se desvia do resultado pretendido.

Compreender a alucinação nos LLMs

A alucinação surge devido à natureza probabilística dos LLMs. Estes modelos prevêem a palavra seguinte numa sequência com base na probabilidade derivada dos seus dados de treino. Ocasionalmente, este processo pode resultar em resultados que são plausíveis mas falsos. As alucinações podem variar de pequenas imprecisões a factos, eventos ou citações totalmente fabricados.

Por exemplo:

• Um LLM pode afirmar com segurança que uma figura histórica nasceu num determinado ano, mesmo que a data esteja incorrecta.
• Pode fabricar uma referência a um artigo científico inexistente quando lhe pedem citações.

As alucinações são particularmente preocupantes em aplicações em que a precisão e a fiabilidade são críticas, como os cuidados de saúde, a lei ou a investigação científica. Sabe mais sobre as implicações mais amplas da ética da IA e a importância de garantir um desenvolvimento responsável da IA.

Causas da alucinação

A alucinação pode resultar de vários factores:

1. Limitações dos dados de treino: O modelo pode não ter dados precisos suficientes sobre um tópico específico, levando-o a "adivinhar" com base em informações incompletas ou não relacionadas.
2. Sobregeneralização: Os LLMs podem sobreajustar ou aplicar padrões dos dados de treino a contextos em que são inadequados.
3. Ambiguidade do prompt: Se o prompt de entrada não for claro ou for demasiado amplo, o modelo pode gerar respostas irrelevantes ou fabricadas.
4. Conceção do modelo: A arquitetura subjacente aos LLMs, como os Transformers, centra-se na coerência linguística e não na exatidão factual. Sabe mais sobre a arquitetura do Transformador e as suas aplicações.

Exemplos reais de alucinação

Exemplo 1: Diagnóstico médico

Um LLM utilizado num chatbot de cuidados de saúde pode sugerir incorretamente um tratamento com base em sintomas ou referências alucinadas. Por exemplo, pode recomendar um medicamento inexistente para uma doença específica. Para mitigar esta situação, os programadores integram a IA explicável (XAI) para garantir a transparência e a rastreabilidade das sugestões geradas pela IA.

Exemplo 2: Assistência jurídica

Na geração de documentos jurídicos, um LLM pode fabricar jurisprudência ou citar erradamente estatutos jurídicos. Isto é particularmente problemático em aplicações em que os profissionais do direito dependem de precedentes precisos. A utilização de métodos baseados na recuperação, como o Retrieval Augmented Generation (RAG), pode ajudar a fundamentar as respostas em documentos verificados.

Como lidar com a alucinação

Técnicas para reduzir as alucinações

1. Curadoria de dados melhorada: Fornecer conjuntos de dados de treino diversificados e de alta qualidade reduz a probabilidade de alucinação. Por exemplo, os conjuntos de dados selecionados para aplicações de aprendizagem automática (ML) são frequentemente submetidos a uma validação rigorosa para garantir a precisão.
2. Aprendizagem por reforço com feedback humano (RLHF): Esta abordagem afina os modelos utilizando o feedback humano para alinhar os resultados com respostas desejáveis e factuais.
3. Engenharia de instruções: A criação de avisos precisos e específicos pode orientar o modelo para resultados mais exactos. Saiba mais sobre a engenharia de prompts e seu papel na otimização do desempenho do LLM.
4. Integração de conhecimento externo: A incorporação de bases de conhecimento externas ou APIs garante que o modelo pode aceder a informações actualizadas e precisas durante a inferência.

Ferramentas e estruturas

• A OpenAI e outras organizações estão a investigar ativamente métodos para detetar e minimizar as alucinações nos seus modelos. Por exemplo, o GPT-4 da OpenAI inclui mecanismos para reduzir as imprecisões factuais.

Aplicações e riscos

Embora a alucinação coloque desafios, também tem aplicações criativas. Em domínios como a narração de histórias ou a criação de conteúdos, a alucinação pode promover a inovação ao gerar ideias imaginativas ou especulativas. No entanto, em aplicações críticas como os cuidados de saúde ou os veículos autónomos, a alucinação pode ter consequências graves, incluindo desinformação ou riscos para a segurança.

Direcções futuras

Para resolver o problema da alucinação, são necessários avanços tanto na formação como na avaliação dos modelos. Técnicas como a integração da IA explicável e o desenvolvimento de modelos específicos de um domínio são caminhos promissores. Além disso, plataformas como o Ultralytics HUB permitem que os programadores experimentem soluções de IA de ponta, centrando-se simultaneamente em práticas robustas de avaliação e implementação.

Ao compreender e atenuar a alucinação, podemos libertar todo o potencial dos LLMs, assegurando simultaneamente que os seus resultados são fiáveis e dignos de confiança em aplicações do mundo real.