Réglage fin efficace des paramètres (PEFT)

Comment fonctionne le PEFT ?

Le principe de base de la méthode PEFT consiste à apporter des modifications ciblées et minimales à un modèle pré-entraîné. Au lieu de mettre à jour tous les paramètres, les méthodes PEFT introduisent un petit ensemble de paramètres entraînables ou sélectionnent un minuscule sous-ensemble de paramètres existants à mettre à jour pendant la formation. Il s'agit d'une forme d'apprentissage par transfert qui optimise l'efficacité. Il existe plusieurs méthodes PEFT populaires, chacune ayant une stratégie différente :

• LoRA (Low-Rank Adaptation): Cette technique consiste à injecter de petites matrices de faible rang pouvant être entraînées dans les couches du modèle pré-entraîné, souvent dans le mécanisme d'attention. Ces matrices "adaptatrices" sont nettement plus petites que les matrices de poids originales, ce qui rend la formation rapide et efficace. Le document de recherche LoRA original fournit plus de détails techniques.
• Réglage des messages-guides: Au lieu de modifier l'architecture du modèle, cette méthode maintient le modèle entièrement gelé et apprend un ensemble d'"invites douces" ou de vecteurs d'intégration entraînables. Ces vecteurs sont ajoutés à la séquence d'entrée pour guider la sortie du modèle pour une tâche spécifique, comme indiqué dans l'article fondateur.
• Ajustement par adaptateur : Cette méthode consiste à insérer de petits modules de réseau neuronal entièrement connectés, appelés "adaptateurs", entre les couches du modèle pré-entraîné. Seuls les paramètres de ces nouveaux adaptateurs sont entraînés.

Ces méthodes, ainsi que d'autres, sont largement accessibles grâce à des cadres tels que la bibliothèque PEFT Hugging Face, ce qui simplifie leur mise en œuvre.

PEFT et concepts connexes

Il est important de différencier le PEFT des autres stratégies d'adaptation des modèles :

• Ajustement complet : Contrairement au PEFT, le réglage fin complet met à jour tous les poids d'un modèle pré-entraîné. Cette méthode est gourmande en ressources, car elle nécessite un puissant GPU et une grande capacité de stockage pour chaque version de modèle affiné.
• Ingénierie des messages-guides: Cette technique consiste à concevoir manuellement des invites textuelles efficaces pour guider le comportement d'un modèle. Elle n'implique aucune formation ou mise à jour des paramètres ; il s'agit simplement de concevoir l'entrée pour obtenir la sortie souhaitée d'un modèle figé.
• Distillation des connaissances: Il s'agit d'entraîner un modèle "étudiant" plus petit à imiter le comportement d'un modèle "enseignant" plus grand et entraîné au préalable. Bien qu'il crée un modèle plus petit, le processus lui-même peut encore être intensif en termes de calcul.

Applications dans le monde réel

PEFT permet l'application pratique de grands modèles dans divers domaines :

• Traitement du langage naturel (NLP) : Une entreprise peut utiliser PEFT pour adapter un modèle général comme GPT-4 ou BERT afin de créer un chatbot spécialisé pour sa base de connaissances interne. Au lieu de procéder à un recyclage complet et coûteux, elle peut utiliser une méthode comme LoRA pour enseigner au modèle la terminologie et les procédures propres à l'entreprise, ce qui permet d'obtenir des réponses plus précises pour le service clientèle ou l'assistance interne. Des groupes de recherche comme le Stanford NLP Group explorent ce type d'applications.
• Vision par ordinateur (CV) : PEFT peut adapter de grands modèles de vision tels que les Vision Transformers (ViT) ou les modèles YOLO d'Ultralytics à des tâches de reconnaissance visuelle spécifiques. Par exemple, un modèle pré-entraîné sur le vaste ensemble de données COCO peut être adapté à l'aide de PEFT pour la détection précise d'objets présentant des défauts uniques dans le cadre du contrôle de la qualité de la fabrication, pour la segmentation d'images spécialisées dans le cadre de l'analyse d'images médicales ou pour l'identification de certaines espèces animales dans les pièges photographiques utilisés pour la conservation de la faune et de la flore. Des plateformes comme Ultralytics HUB peuvent aider à gérer ces modèles et expériences adaptés.

Par essence, le paramétrage fin efficace rend les modèles d'IA de pointe plus polyvalents et plus rentables, démocratisant ainsi l'accès à de puissantes capacités d'IA pour un large éventail d'applications spécifiques.