Эффективная по параметрам донастройка (PEFT)

Параметрически эффективная точная настройка (PEFT) — это сложная стратегия оптимизации в машинном обучении (ML), которая позволяет настраивать большие, предварительно обученные модели под конкретные задачи, минимизируя при этом вычислительные затраты. Поскольку современные базовые модели выросли до миллиардов параметров, традиционные методы обучения, которые обновляют каждый вес в сети, стали непомерно дорогостоящими с точки зрения аппаратного обеспечения и энергии. PEFT решает эту проблему, замораживая подавляющее большинство весов предварительно обученной модели и обновляя только небольшой поднабор параметров или добавляя легкие адаптерные слои. Такой подход снижает барьер для входа, позволяя разработчикам достигать передовых результатов на потребительских графических процессорах без необходимости использования промышленных центров обработки данных.

Механика эффективности

Основной принцип PEFT основан на переносе обучения, когда модель использует представления признаков, полученные из огромных общедоступных наборов данных, таких как ImageNet , для решения новых задач. В стандартном рабочем процессе адаптация модели может включать «полную настройку», при которой обратная пропагация корректирует каждый параметр в нейронной сети.

Технологии PEFT, такие как LoRA (Low-Rank Adaptation), идут по другому пути. Они сохраняют статичной «основу» модели, сохраняя ее общие знания, и вводят небольшие обучаемые матрицы в определенные слои. Это предотвращает катастрофическое забывание, явление, при котором модель теряет свои исходные возможности при обучении новой информации. Уменьшая количество обучаемых параметров до 99%, PEFT значительно снижает требования к хранению и позволяет заменить несколько адаптеров для конкретных задач в одной базовой модели во время вывода в реальном времени.

Применение в реальном мире

PEFT особенно ценен в отраслях, где крайне важны периферийные вычисления и конфиденциальность данных.

• ИИ в сельском хозяйстве: Стартапы в сфере агротехнологий часто используют модели на дронах с ограниченным сроком службы батареи и вычислительной мощностью. Используя PEFT, инженеры могут взять высокоэффективную модель, такую как YOLO26, и настроить ее для detect региональных вредителей, таких как осенняя армия, с помощью небольшого настраиваемого набора данных. Благодаря замораживанию основной части, обучение может быть быстро выполнено на ноутбуке, а полученная модель остается достаточно легкой для обработки на борту.
• ИИ в здравоохранении: при анализе медицинских изображений аннотированные данные часто являются дефицитными и их получение обходится дорого. Больницы используют PEFT для адаптации универсальных моделей зрительного восприятия с целью выявления аномалий на МРТ-сканах. Поскольку базовые параметры зафиксированы, модель менее подвержена переобучению на небольшом наборе данных, что обеспечивает надежную диагностическую эффективность при сохранении конфиденциальности данных пациентов.

Внедрение замороженных слоев с помощью Ultralytics

В Ultralytics эффективность параметров часто достигается путем «замораживания» начальных слоев сети . Это гарантирует, что надежные экстракторы признаков остаются неизменными, в то время как только головные или более поздние слои адаптируются к новым классам. Это практическая реализация принципов PEFT для обнаружения объектов.

Следующий пример демонстрирует, как обучить модель YOLO26, заморозив первые 10 слоев базовой сети, чтобы сэкономить вычислительные ресурсы:

from ultralytics import YOLO

# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")

# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

Для команд, стремящихся масштабировать этот процесс, Ultralytics предлагает унифицированный интерфейс для управления наборами данных, автоматизации аннотирования и мониторинга этих эффективных тренировочных прогонов из облака.

Отличие PEFT от смежных понятий

Чтобы выбрать правильную стратегию адаптации модели, полезно отличать PEFT от похожих терминов:

• Точная настройка: Часто называемая «полной точной настройкой», эта процедура обновляет все параметры в модели. Хотя она обеспечивает максимальную пластичность, она требует больших вычислительных затрат и сохранения полной копии модели для каждой задачи. PEFT — это подкатегория точной настройки, ориентированная на эффективность.
• Программирование подсказок: это включает в себя создание текстовых входов для управления выходом модели без изменения внутренних весов. PEFT, напротив, математически изменяет подмножество весов или адаптеров, чтобы навсегда изменить способ обработки данных моделью.
• Дистилляция знаний: Эта техника обучает небольшую модель-ученика имитировать большую модель-учителя. Хотя в результате получается эффективная модель, это метод сжатия, тогда как PEFT — метод адаптации, используемый для обучения существующей модели новым навыкам.

Благодаря демократизации доступа к высокопроизводительному ИИ, PEFT позволяет разработчикам создавать специализированные инструменты для автономных транспортных средств и интеллектуального производства без необходимости использования суперкомпьютерной инфраструктуры.