Обогащение с помощью подсказок

Как работает обогащение с помощью подсказок

Обычно этот процесс включает в себя анализ исходной подсказки и использование дополнительных источников информации или предопределенных правил для ее дополнения. Это может включать в себя доступ к истории пользователя, извлечение соответствующих документов из базы знаний, включение контекста разговора или применение определенных инструкций по форматированию. Например, нечеткая подсказка вроде "Расскажи мне об Ultralytics YOLO" может быть дополнена контекстом, указывающим, что пользователя интересует последняя версия(YOLOv11) или ее производительность по сравнению с другими моделями, такими как YOLOv8. Часто используются такие техники, как Retrieval-Augmented Generation (RAG), когда система находит соответствующие фрагменты данных и добавляет их в контекстное окно подсказки.

Применение и примеры

Оперативное обогащение находит применение в различных задачах, управляемых ИИ:

1. Чат-боты для поддержки клиентов: Пользовательский запрос вроде "Мой заказ не пришел" может быть автоматически дополнен идентификатором заказа пользователя, адресом доставки и предполагаемой датой доставки, полученными из базы данных. Это позволит чатботу сразу же предоставить конкретное и полезное обновление, а не задавать уточняющие вопросы. Таким образом используются контекстные данные, аналогичные тому, как работают виртуальные помощники.
2. Инструменты для создания контента: Пользователь может попросить: "Напишите письмо с анонсом нового продукта". Система может обогатить этот запрос, добавив детали о фирменном стиле компании (например, официальный, непринужденный), целевой аудитории (например, существующие клиенты, потенциальные лиды), ключевых особенностях продукта, которые нужно подчеркнуть, и призыве к действию, основанном на заранее определенных целях кампании или шаблонах. Это приводит к более индивидуальной генерации текста.

Обогащение подсказок по сравнению со смежными понятиями

Важно отличать быстрое обогащение от похожих терминов:

• Инженерия подсказок: Это более широкая практика разработки и создания эффективных подсказок вручную. Обогащение подсказок часто является автоматизированной техникой, используемой в рамках более широкой стратегии разработки подсказок.
• Настройка подсказок: Это предполагает обучение "мягким подсказкам" или модификацию входных вкраплений в процессе тонкой настройки модели, а не изменение самой текстовой подсказки. Это одна из форм параметрически эффективной тонкой настройки (PEFT).
• Retrieval-Augmented Generation (RAG): RAG - это особый метод, часто используемый для обогащения подсказок, сфокусированный на извлечении внешней информации для улучшения контекста подсказки, особенно полезный для задач, требующих актуальных или специфических для домена знаний, как это изучается в некоторых передовых исследованиях в области ИИ.

Хотя эта концепция менее распространена в традиционных задачах компьютерного зрения, таких как стандартное обнаружение объектов, она актуальна для новых подсказывающих моделей зрения, таких как YOLOE, использующих текстовые или графические подсказки, которые потенциально могут выиграть от контекстного обогащения для улучшения работы с нулевым выстрелом. Платформы вроде Ultralytics HUB потенциально могут включать подобные техники для упрощения взаимодействия с пользователем при определении сложных задач зрения.