Prompt Tuning

Comment fonctionne le Prompt Tuning

Dans Prompt Tuning, l'idée principale est de garder la grande majorité des paramètres du modèle pré-entraîné gelés. Lors de l'adaptation du modèle à une tâche telle que l'analyse des sentiments ou la génération de texte, au lieu d'ajuster les milliards de weights and biases du modèle, seul un petit ensemble de paramètres de l'invite (l'intégration douce de l'invite) est entraîné à l'aide de la descente de gradient. Ces incrustations apprises agissent comme des instructions ou un contexte, guidant le modèle figé pour qu'il produise les résultats souhaités pour la tâche spécifique. Il s'agit donc d'une forme de paramétrage fin efficace (PEFT), qui réduit considérablement la barrière à la spécialisation de modèles de base massifs.

Avantages de la mise au point rapide

Prompt Tuning offre plusieurs avantages :

• Efficacité informatique : Nécessite beaucoup moins de calculs et de mémoire par rapport à un réglage fin complet, car seule une infime partie des paramètres est mise à jour pendant la formation.
• Stockage réduit : Seul le petit ensemble d'incrustations d'invite doit être stocké pour chaque tâche, plutôt qu'une copie complète du modèle affiné.
• Adaptation plus rapide : La formation d'invites spécifiques à une tâche est beaucoup plus rapide que la mise au point du modèle entier.
• Atténuation de l'oubli catastrophique : Puisque les paramètres originaux du modèle restent inchangés, le modèle conserve ses capacités générales apprises lors du pré-entraînement, ce qui permet d'éviter le problème où un réglage fin sur une tâche dégrade les performances sur d'autres(interférence catastrophique).
• Déploiement simplifié : Plusieurs invites spécifiques à une tâche peuvent être utilisées avec un seul modèle de base partagé, ce qui simplifie le déploiement et la gestion des modèles dans les pipelines MLOps.

Applications dans le monde réel

Prompt Tuning est particulièrement efficace pour personnaliser les grands modèles de langage pour des applications spécialisées :

1. Chatbots de service à la clientèle personnalisés : Une entreprise peut prendre un LLM général pré-entraîné comme GPT-4 et utiliser Prompt Tuning pour créer des messages-guides spécialisés pour différents domaines d'assistance (par exemple, la facturation, l'assistance technique, les demandes de renseignements sur les produits). Chaque message guide le modèle de base pour qu'il réponde de manière appropriée dans ce contexte spécifique, en utilisant le langage et les connaissances propres à l'entreprise, sans qu'il soit nécessaire d'avoir recours à des modèles distincts finement réglés. Cela permet une mise à l'échelle efficace des capacités du chatbot.
2. Génération de contenu spécialisé : Une agence de marketing pourrait utiliser Prompt Tuning pour adapter un grand modèle de génération de texte afin de créer du contenu dans des voix ou des styles de marque spécifiques (par exemple, des rapports formels, des articles de blog décontractés, des textes publicitaires accrocheurs). Des messages-guides distincts sont formés pour chaque style, ce qui permet au même modèle de base puissant provenant d'organisations comme OpenAI ou Google AI d'être polyvalent pour répondre aux différents besoins des clients.

Tuning de l'invite et concepts connexes

Il est important de distinguer le Prompt Tuning des techniques similaires :

• Mise au point: Implique la mise à jour d'une grande partie, voire de la totalité, des paramètres du modèle pré-entraîné sur un nouvel ensemble de données. C'est un processus plus intensif en termes de calcul, mais qui permet parfois d'obtenir de meilleures performances en adaptant en profondeur les représentations internes du modèle. Les conseils sur l'entraînement des modèles couvrent souvent certains aspects du réglage fin.
• Prompt Engineering: Se concentre sur la conception manuelle d'invites textuelles efficaces (hard prompts) pour susciter le comportement souhaité à partir d'un modèle pré-entraîné figé. Il s'agit d'élaborer des instructions et des exemples à partir du texte d'entrée lui-même, sans avoir à former de nouveaux paramètres. Les techniques telles que l 'incitation à la réflexion en chaîne entrent dans cette catégorie.
• Enrichissement des messages: Améliore automatiquement l'invite d'entrée d'un utilisateur en ajoutant un contexte ou des informations pertinentes (par exemple, à l'aide de Retrieval-Augmented Generation (RAG)) avant qu' elle ne soit traitée par le modèle d'IA. Contrairement à l'ajustement de l'invite, il ne modifie pas le modèle ou les paramètres de formation ; il affine la requête d'entrée.
• LoRA (Low-Rank Adaptation): Une autre technique PEFT qui injecte de petites matrices de faible rang pouvant être entraînées dans les couches existantes (comme le mécanisme d'attention) du modèle pré-entraîné. Elle met à jour différentes parties du modèle par rapport au Prompt Tuning, qui se concentre uniquement sur les embeddings d'entrée. Les deux sont souvent présents dans des bibliothèques comme la bibliothèqueHugging Face PEFT.

Bien que le Prompt Tuning soit principalement appliqué aux LLM dans le domaine du traitement du langage naturel (NLP), le principe de base de l'adaptation efficace est pertinent pour l'ensemble de l'intelligence artificielle (AI). Dans le domaine de la vision par ordinateur (VA), alors que l'adaptation complète de modèles tels que Ultralytics YOLO sur des ensembles de données personnalisés est courante pour des tâches telles que la détection d'objets, les méthodes PEFT gagnent du terrain, en particulier pour les grands modèles multimodaux. Des plateformes comme Ultralytics HUB rationalisent le processus de formation et de déploiement de divers modèles d'IA, en intégrant potentiellement de telles techniques efficaces à l'avenir.

En résumé, Prompt Tuning offre une méthode puissante et efficace pour spécialiser de grands modèles pré-entraînés comme les LLM pour diverses tâches, en équilibrant la performance et la faisabilité informatique. Il s'agit d'une avancée majeure pour rendre les puissants modèles d'intelligence artificielle plus adaptables et accessibles.