Alucinación (en los LLM)

Por qué se producen las alucinaciones

Los LLM, a menudo construidos sobre arquitecturas como el Transformer (presentado en el artículo"La atención es todo lo que necesitas"), son fundamentalmente modelos probabilísticos. Aprenden patrones, gramáticas y asociaciones factuales a partir de grandes cantidades de datos de texto durante el entrenamiento utilizando marcos como PyTorch o TensorFlow. Sin embargo, carecen de verdadera comprensión, conciencia o capacidad para verificar la información de forma intrínseca. Las alucinaciones pueden deberse a varios factores:

• Limitaciones de los datos de entrenamiento: El modelo puede haberse entrenado con datos ruidosos, sesgados o incorrectos, o puede carecer de información suficiente sobre un tema concreto. Intenta "rellenar los huecos" basándose en patrones aprendidos, lo que conduce a fabricaciones.
• Arquitectura del modelo y entrenamiento: La forma en que los modelos como el GPT-4 procesan la información y generan secuencias palabra por palabra puede llevarles por caminos estadísticamente plausibles pero fácticamente incorrectos. La complejidad de los modelos de aprendizaje profundo los hace propensos a comportamientos impredecibles.
• Estrategia de descodificación: Los parámetros utilizados durante la generación del texto (inferencia), como la "temperatura", influyen en la aleatoriedad. Las temperaturas más altas fomentan la creatividad, pero aumentan el riesgo de alucinación.
• Falta de fundamentación: Sin mecanismos que conecten el texto generado con el conocimiento del mundo real o con documentos fuente específicos, el modelo puede derivar hacia afirmaciones sin fundamento. Técnicas como la fundamentación pretenden solucionar este problema.
• Ambigüedad de las instrucciones: Las instrucciones vagas o mal formuladas pueden llevar al modelo a hacer suposiciones o a generar resultados menos limitados, aumentando la probabilidad de imprecisiones. La ingeniería eficaz de las instrucciones es clave.

Ejemplos reales e impacto

Las alucinaciones pueden manifestarse de diversas formas, lo que plantea riesgos importantes, como difundir información errónea, generar contenidos perjudiciales o erosionar la confianza de los usuarios en los sistemas de IA.

1. Fabricación de hechos en los chatbots: Un usuario podría preguntar a un chatbot sobre un descubrimiento científico concreto, y el chatbot podría inventar detalles, atribuir el descubrimiento a la persona equivocada o describir un acontecimiento inexistente con gran confianza.
2. Citas jurídicas inventadas: En un incidente ampliamente difundido, los abogados utilizaron una herramienta de IA para la investigación jurídica que generó citas de casos totalmente inventadas que se presentaron en documentos judiciales, lo que dio lugar a sanciones.

El impacto va más allá de los simples errores; pone en tela de juicio la fiabilidad de los sistemas de IA, especialmente a medida que se integran en los motores de búsqueda(como las Perspectivas de la IA de Google), los asistentes virtuales y las herramientas de creación de contenidos. Abordar este problema es un reto fundamental de la ética y la seguridad de la IA, que requiere estrategias sólidas de validación y supervisión.

Distinguir las alucinaciones de otros errores

Es importante diferenciar las alucinaciones de otros tipos de errores de IA:

• Sesgo en IA: Se refiere a errores sistemáticos o resultados sesgados que reflejan sesgos presentes en los datos de entrenamiento (por ejemplo, estereotipos raciales o de género). Las alucinaciones suelen ser más fabricaciones aleatorias que resultados consistentes y sesgados. Comprender el sesgo del conjunto de datos es crucial aquí.
• Sobreajuste: Se produce cuando un modelo aprende demasiado bien los datos de entrenamiento, incluido el ruido, y no consigue generalizar a datos nuevos no vistos(datos de validación). Aunque el sobreajuste conduce a un rendimiento deficiente, es distinto de generar información totalmente nueva y falsa.
• Información obsoleta: Un LLM puede proporcionar información incorrecta simplemente porque sus datos de entrenamiento no son actuales. Se trata de un error de hecho basado en el corte del conocimiento, no de una alucinación en la que se inventa la información.

Estrategias de mitigación

Los investigadores y desarrolladores trabajan activamente para reducir las alucinaciones LLM:

• Datos de entrenamiento mejorados: Conservar conjuntos de datos de mayor calidad, diversidad y comprobación de hechos. Utilizar conjuntos de datos de referencia de alta calidad ayuda.
• Generación mejorada por recuperación (RAG): Dotar a los LLM de la capacidad de obtener y citar información de bases de conocimiento externas y fiables(como bases de datos vectoriales) antes de generar una respuesta.
• Ajuste fino y RLHF: Perfeccionar los modelos base en tareas o conjuntos de datos específicos y utilizar técnicas como el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF) para alinear el comportamiento del modelo con los resultados deseados (por ejemplo, la veracidad).
• Mejores estímulos: Técnicas como el estímulo de la cadena de pensamiento animan a los modelos a "pensar paso a paso", reduciendo potencialmente los errores.
• Verificación de los resultados: Implementar mecanismos para cotejar las declaraciones generadas con hechos conocidos o fuentes múltiples.
• Ajustar los parámetros de inferencia: Bajar parámetros como la "temperatura" puede hacer que los resultados sean más centrados y menos aleatorios, reduciendo el riesgo de alucinaciones.

Mientras que los LLM se centran en el lenguaje, los modelos especializados en Visión por Computador (CV), como los Ultralytics YOLO para la detección de objetos, funcionan de forma diferente y se enfrentan a retos distintos, como garantizar la precisión de la detección. Sin embargo, la tendencia hacia modelos multimodales que combinan lenguaje y visión(como CLIP) significa que la comprensión de cuestiones como la alucinación se vuelve relevante en todos los dominios. Plataformas como Ultralytics HUB apoyan el entrenamiento y despliegue de varios modelos de IA, facilitando el desarrollo a través de diferentes modalidades.