Тонкая настройка промптов (Prompt Tuning)

Быстрая настройка — это ресурсоэффективная техника, используемая для адаптации предварительно обученных базовых моделей к конкретным задачам без затрат на переобучение всей сети. В отличие от традиционной точной настройки, при которой обновляются все или большинство параметров модели, быстрая настройка замораживает предварительно обученные веса модели и оптимизирует только небольшой набор обучаемых векторов, называемых «мягкими подсказками», которые добавляются к входным данным. Этот подход позволяет одной массивной базовой модели одновременно обслуживать несколько специализированных приложений, что значительно снижает требования к хранению и затраты на переключение задержки вывода.

Механика быстрой настройки

В стандартных рабочих процессах машинного обучения (ML) входные данные, такие как текст или изображения, преобразуются в числовые представления, известные как вложения. Настройка подсказок вставляет дополнительные обучаемые векторы вложения в эту последовательность входных данных. На этапе обучения система использует обратное распространение для вычисления градиентов, но алгоритм оптимизации обновляет только значения мягких подсказок, оставляя массивную структуру модели неизменной.

Этот метод является формой эффективной настройки параметров (PEFT). Путем обучения этим непрерывным векторам модель «направляется» к желаемому результату. Хотя эта концепция возникла в области обработки естественного языка (NLP), она была успешно адаптирована для задач компьютерного зрения (CV) и часто называется визуальной настройкой подсказок (VPT).

Различение смежных понятий

Чтобы понять полезность быстрой настройки, необходимо отличать ее от схожих терминов в сфере искусственного интеллекта :

• Программирование подсказок: это включает в себя ручное создание удобочитаемых текстовых инструкций (жестких подсказок) для управления генеративной моделью ИИ. Это не требует программирования или обучения. Настройка подсказок, напротив, использует автоматическое обучение с учителем для поиска оптимальных числовых вложений, которые могут не соответствовать словам естественного языка.
• Полная точная настройка: традиционные методы обновляют всю нейронную сеть, что часто приводит к «катастрофическому забыванию» исходного обучения. Быстрая настройка сохраняет исходные возможности модели, упрощая использование переноса обучения между несвязанными задачами.
• Обучение по нескольким примерам: обычно имеется в виду предоставление нескольких примеров в контекстном окне LLM. Настройка подсказок отличается тем, что она постоянно изучает параметры, которые сохраняются и используются повторно, а не просто предоставляет временный контекст.

Применение в реальном мире

Быстрая настройка позволяет масштабируемо развертывать ИИ в средах с ограниченными ресурсами, что является основополагающей философией Ultralytics для управления моделями.

1. Многоязычная поддержка клиентов: глобальная компания может использовать одну центральную, «замороженную» языковую модель. Благодаря обучению легких программных подсказок для испанского, японского и немецкого языков система может мгновенно переключаться между языками. Это позволяет избежать огромных затрат на хостинг трех отдельных моделей размером в гигабайты, вместо этого полагаясь на файлы подсказок размером в килобайты .
2. ИИ в здравоохранении: в медицинской визуализации часто возникают проблемы из-за нехватки данных. Исследователи могут взять универсальную базовую модель для распознавания изображений (например, Vision Transformer) и с помощью быстрой настройки адаптировать ее для обнаружения конкретных аномалий, таких как заболевания сетчатки или опухоли. Это позволяет сохранить конфиденциальность данных пациентов и быстро адаптироваться к новому медицинскому оборудованию без полного переобучения модели.

Пример реализации

Следующее PyTorch демонстрирует основную механическую концепцию: замораживание основных слоев модели и создание отдельного обучаемого параметра («мягкий промпт»), который оптимизирован для влияния на вывод.

import torch
import torch.nn as nn

# 1. Define a dummy backbone (e.g., a pre-trained layer)
backbone = nn.Linear(10, 5)

# 2. Freeze the backbone weights (crucial for prompt tuning)
for param in backbone.parameters():
    param.requires_grad = False

# 3. Create a 'soft prompt' vector that IS trainable
# This represents the learnable embeddings prepended to inputs
soft_prompt = nn.Parameter(torch.randn(1, 10), requires_grad=True)

# 4. Initialize an optimizer that targets ONLY the soft prompt
optimizer = torch.optim.SGD([soft_prompt], lr=0.1)

# Verify that only the prompt is being trained
trainable_params = sum(p.numel() for p in [soft_prompt] if p.requires_grad)
print(f"Optimizing {trainable_params} parameters (Soft Prompt only)")

Актуальность для современного Edge AI

По мере увеличения размера моделей возможность их недорогой адаптации становится критически важной. Хотя архитектуры, такие как YOLO26, уже в значительной степени оптимизированы с точки зрения эффективности, принципы замораживания базовых структур и эффективной адаптации имеют фундаментальное значение для будущего Edge AI. Техники, аналогичные быстрой настройке, позволяют устройствам с ограниченным объемом памяти выполнять различные задачи — от обнаружения объектов до сегментации — путем простой замены небольших файлов конфигурации вместо перезагрузки огромных нейронных сетей.

Для разработчиков, стремящихся к эффективному обучению и развертыванию, использование таких инструментов, как Ultralytics , гарантирует оптимизацию моделей для их конкретных аппаратных целей с использованием передовых методов современного MLOps.