Галлюцинации (у людей с низким уровнем образования)

Почему возникают галлюцинации

LLM, часто построенные на архитектурах вроде Transformer (представленной в статье"Attention Is All You Need"), по своей сути являются вероятностными моделями. Они изучают шаблоны, грамматику и фактические ассоциации из огромных массивов текстовых данных в процессе обучения с помощью таких фреймворков, как PyTorch или TensorFlow. Однако им не хватает истинного понимания, сознания или способности проверять информацию на собственном опыте. Галлюцинации могут возникать под влиянием нескольких факторов:

• Ограничения в обучающих данных: Модель могла быть обучена на зашумленных, необъективных или фактически неверных данных, или же ей может не хватать информации по конкретной теме. Она пытается "заполнить пробелы", основываясь на выученных шаблонах, что приводит к выдумкам.
• Архитектура модели и обучение: То, как модели вроде GPT-4 обрабатывают информацию и генерируют последовательности слово за словом, может вести их по статистически правдоподобным, но фактически неверным путям. Сложность моделей глубокого обучения делает их склонными к непредсказуемому поведению.
• Стратегия декодирования: Параметры, используемые во время создания текста (инференции), такие как "температура", влияют на случайность. Более высокая температура способствует творчеству, но увеличивает риск галлюцинаций.
• Отсутствие обоснования: Без механизмов, связывающих сгенерированный текст с реальными знаниями или конкретными исходными документами, модель может дрейфовать в сторону неподтвержденных утверждений. Такие техники, как заземление, направлены на решение этой проблемы.
• Неоднозначность подсказок: Нечеткие или плохо сформулированные подсказки могут заставить модель делать предположения или генерировать менее ограниченный результат, что увеличивает вероятность неточностей. Эффективная разработка подсказок - ключевой момент.

Реальные примеры и влияние

Галлюцинации могут проявляться по-разному, создавая значительные риски, такие как распространение дезинформации, генерация вредного контента или подрыв доверия пользователей к системам ИИ.

1. Подтасовка фактов в чатботах: Пользователь может спросить чатбота о конкретном научном открытии, и тот может выдумать детали, приписать открытие не тому человеку или с большой долей уверенности описать несуществующее событие.
2. Придуманные юридические цитаты: В широко известном инциденте юристы использовали инструмент искусственного интеллекта для юридических исследований, который генерировал полностью сфабрикованные цитаты из дел, которые были представлены в судебных документах, что привело к санкциям.

Последствия выходят за рамки простых ошибок; они ставят под сомнение надежность систем ИИ, особенно по мере их интеграции в поисковые системы(например, в ИИ-обзоры Google), виртуальных помощников и инструменты для создания контента. Решение этой проблемы - основная задача этики и безопасности ИИ, требующая надежных стратегий проверки и мониторинга.

Отличить галлюцинации от других ошибок

Важно отличать галлюцинации от других типов ошибок ИИ:

• Предвзятость в ИИ: речь идет о систематических ошибках или перекосах в выводах, отражающих предвзятость, присутствующую в обучающих данных (например, гендерные или расовые стереотипы). Галлюцинации, как правило, являются скорее случайными выдумками, чем последовательными, предвзятыми выводами. Понимание предвзятости набора данных здесь крайне важно.
• Оверфиттинг: Это происходит, когда модель слишком хорошо усваивает обучающие данные, включая шум, и не может обобщить их на новые, невидимые данные(данные проверки). Хотя чрезмерная подгонка приводит к плохой производительности, она отличается от генерации совершенно новой, ложной информации.
• Устаревшая информация: LLM может предоставлять неверную информацию просто потому, что его тренировочные данные неактуальны. Это фактическая ошибка, основанная на отсечении знаний, а не галлюцинация, в которой информация выдумана.

Стратегии смягчения последствий

Исследователи и разработчики активно работают над уменьшением галлюцинаций LLM:

• Улучшенные обучающие данные: Набирай более качественные, разнообразные и проверенные фактами наборы данных. Использование высококачественных эталонных наборов данных помогает.
• Retrieval-Augmented Generation (RAG): Оснащение LLM способностью извлекать и приводить информацию из внешних, надежных баз знаний(например, векторных баз данных), прежде чем генерировать ответ.
• Тонкая настройка и RLHF: доработка базовых моделей на конкретных задачах или наборах данных и использование таких техник, как Reinforcement Learning from Human Feedback (RLHF), чтобы согласовать поведение модели с желаемыми результатами (например, правдивостью).
• Улучшенные подсказки: Такие техники, как подсказки в виде цепочки мыслей, побуждают моделей "думать шаг за шагом", что потенциально снижает количество ошибок.
• Верификация вывода: Реализация механизмов перекрестной проверки сгенерированных утверждений по известным фактам или нескольким источникам.
• Настройка параметров умозаключения: Снижение таких параметров, как "температура", может сделать вывод более целенаправленным и менее случайным, что снизит риск галлюцинаций.

В то время как LLM сосредоточены на языке, модели, специализирующиеся на компьютерном зрении (CV), такие как Ultralytics YOLO для обнаружения объектов, работают по-другому и сталкиваются с разными проблемами, такими как обеспечение точности обнаружения. Однако тенденция к созданию мультимодальных моделей, объединяющих язык и зрение(например, CLIP), означает, что понимание таких проблем, как галлюцинации, становится актуальным во всех областях. Платформы вроде Ultralytics HUB поддерживают обучение и развертывание различных моделей ИИ, облегчая разработку в разных модальностях.