LoRA (Low-Rank Adaptation)

Как работает ЛОРА

Вместо того чтобы обновлять миллиарды весов в предварительно обученной модели, LoRA замораживает их все. Затем он вводит пару небольших матриц, поддающихся обучению, так называемых адаптеров низкого ранга, в определенные слои модели, часто в механизм внимания архитектуры Transformer. В процессе обучения обновляются только параметры этих новых, гораздо меньших по размеру матриц. Основная идея заключается в том, что изменения, необходимые для адаптации модели к новой задаче, могут быть представлены с гораздо меньшим количеством параметров, чем содержит исходная модель. Это позволяет использовать принципы, схожие с уменьшением размерности, чтобы собрать важную информацию для адаптации в компактной форме. После завершения обучения небольшой адаптер может быть объединен с исходными весами или храниться отдельно для модульного переключения задач.

Применение в реальном мире

Эффективность LoRA делает ее идеальной для широкого спектра приложений, особенно там, где требуется несколько пользовательских моделей.

• Настройка чат-ботов: Компания может взять мощный LLM общего назначения и использовать LoRA для его обучения на своей внутренней базе знаний. Таким образом создается специализированный чат-бот для обслуживания клиентов, понимающий специфическую терминологию компании, без огромных затрат на полную настройку.
• Искусство ИИ и передача стиля: Художники и дизайнеры используют LoRA для адаптации генеративных моделей ИИ, таких как Stable Diffusion, к определенному художественному стилю. Обучив адаптер на небольшом наборе собственных изображений, они могут генерировать новое искусство, имитирующее их уникальную эстетику, что является популярной практикой на таких платформах, как Hugging Face.

LoRA в сравнении со смежными понятиями

Следует отличать LoRA от других методов адаптации моделей:

• Полная точная настройка: Этот метод обновляет все веса предварительно обученной модели на новом наборе данных. Хотя этот метод часто бывает эффективным, он требует значительных вычислительных ресурсов(GPU) и памяти для каждой адаптированной модели. LoRA, напротив, замораживает исходные веса и обучает только небольшие адаптивные матрицы. Более подробную информацию вы найдете в нашем глоссарии по тонкой настройке и в обзоре тонкой настройки от NVIDIA.
• Настройка подсказок: Эта техника не изменяет весовые коэффициенты модели и вместо этого обучается непрерывным "мягким подсказкам" (векторам, добавленным к входным вкраплениям), чтобы направлять поведение модели для решения конкретных задач. В отличие от LoRA, она не изменяет весовые коэффициенты модели, а фокусируется исключительно на адаптации входного представления. Подробнее о настройке подсказок и разработке подсказок.
• Другие методы PEFT: LoRA - это всего лишь одна из методик в более широкой области эффективной тонкой настройки параметров (PEFT). Другие методы включают Adapter Tuning (аналогичный, но с несколько иной структурой адаптера), Prefix Tuning и IA³, каждый из которых предлагает различные компромиссы в эффективности параметров и производительности. Эти методы обычно доступны в таких фреймворках, как библиотека Hugging Face PEFT.

Таким образом, LoRA предоставляет мощный и ресурсосберегающий способ настройки больших предварительно обученных базовых моделей для широкого спектра специфических задач в области обработки естественного языка (NLP) и компьютерного зрения, делая передовой ИИ более практичным и доступным. Такой подход позволяет легко управлять и развертывать множество специализированных моделей, что упрощает процесс управления жизненным циклом моделей с помощью таких платформ, как Ultralytics HUB.