Ingénierie rapide

Comment fonctionne Prompt Engineering

Une ingénierie d'aide efficace est souvent un processus itératif. Elle commence par l'analyse des exigences de la tâche et la compréhension des capacités et des limites du modèle d'IA cible. L'ingénieur conçoit ensuite une invite initiale, la teste, évalue le résultat et affine l'invite en fonction des résultats. Cette amélioration peut consister à ajouter des instructions plus spécifiques, à fournir des exemples(apprentissage en quelques coups), à définir le format de sortie souhaité (par exemple, JSON), à fixer des contraintes ou à ajuster le ton. Les techniques clés s'inspirent souvent des principes du traitement du langage naturel (NLP) et nécessitent un examen minutieux de l'impact de la formulation sur le comportement du modèle, influencé par ses données d'apprentissage et son architecture, comme le modèle Transformer décrit dans le célèbre article "Attention Is All You Need" (L'attention est tout ce dont tu as besoin).

Principales techniques d'incitation

Plusieurs stratégies sont couramment employées en ingénierie rapide :

• Invitation à zéro : Demander directement au modèle d'effectuer une tâche sans lui fournir d'exemples préalables dans l'invite elle-même. Cette méthode s'appuie sur les connaissances préexistantes du modèle acquises au cours de la formation. Voir Apprentissage à partir de zéro.
• L'incitation par quelques exemples : Inclure un petit nombre d'exemples (paires entrée-sortie) directement dans l'invite pour guider le modèle sur la tâche et le format souhaités.
• Invitation à la chaîne de pensée (CoT) : Encourager le modèle à "penser étape par étape" en l'incitant à décomposer son processus de raisonnement avant de fournir la réponse finale, ce qui permet souvent d'améliorer les performances dans les tâches complexes.
• Invitation à jouer un rôle : Demander au modèle d'adopter un personnage ou un rôle spécifique (par exemple, "Agis comme un développeur Python expert") pour adapter le style et le contenu de sa réponse.
• Spécifier la structure de la sortie : Définir clairement le format souhaité pour la sortie, par exemple demander une liste numérotée, un tableau ou un code formaté dans un langage spécifique. Des ressources telles que le guide d'ingénierie des messages-guides de l'OpenAI proposent des bonnes pratiques.

Applications dans le monde réel

Une ingénierie rapide est fondamentale pour le déploiement réussi de nombreuses applications d'IA :

1. Automatisation du service à la clientèle : Concevoir des invites pour les chatbots et les assistants virtuels afin de traiter les demandes des clients avec précision, de maintenir une voix de marque spécifique et de faire remonter les problèmes complexes de manière appropriée. Les entreprises utilisent ces techniques pour améliorer l'expérience client, comme on peut le voir sur des plateformes telles que Zendesk AI.
2. Création de contenu et résumé : Rédiger des messages-guides pour les outils d'IA générative (comme ceux développés par Cohere ou Anthropic) pour générer des textes marketing, rédiger des courriels, résumer de longs documents(résumé de texte), ou même générer des extraits de code à l'aide d'outils comme GitHub Copilot.

D'autres applications comprennent l'alimentation des moteurs de recherche sémantique, la création d'outils éducatifs interactifs et l'analyse de données sophistiquées par le biais d'interfaces en langage naturel.

Ingénierie rapide et concepts connexes

Il est utile de différencier l'ingénierie prompte des termes apparentés :

• Enrichissement de l'invite: Il s'agit d'enrichir automatiquement l'invite initiale d'un utilisateur avec un contexte supplémentaire (par exemple, à partir d'une base de connaissances à l'aide de RAG) avant qu'elle n'atteigne le LLM. L'ingénierie des invites est l'élaboration manuelle des instructions de base.
• Réglage des messages-guides: Une technique de réglage fin efficace en fonction des paramètres (PEFT ) dans laquelle les encastrements apprenables (invites douces) sont ajoutés à l'entrée du modèle et optimisés, plutôt que d'élaborer des invites textuelles.
• Mise au point: Implique la mise à jour des poids du modèle en l'entraînant davantage sur un ensemble de données spécifique, en adaptant le modèle lui-même plutôt que de se contenter de l'invite d'entrée.

Bien que distinctes, ces techniques peuvent être complémentaires. Par exemple, une invite de base bien conçue peut être automatiquement enrichie avec des données récupérées avant d'être traitée par un modèle affiné. Les structures telles que LangChain intègrent souvent ces différentes approches.

Pertinence dans le domaine de la vision par ordinateur

Traditionnellement moins importante dans le domaine de la vision artificielle (CV) que dans celui du NLP, l'ingénierie des prompts devient de plus en plus pertinente avec l'essor des modèles multimodaux et des systèmes de vision prompts. Des modèles tels que CLIP, YOLO ou YOLOE peuvent effectuer des tâches telles que la détection d'objets ou la segmentation d'images à partir de descriptions textuelles. L'élaboration de messages-guides efficaces (par exemple, "détecter toutes les 'voitures rouges' mais ignorer les 'camions'") est une forme d'ingénierie des messages-guides cruciale pour guider ces modèles de langage de vision. Des plateformes comme Ultralytics HUB facilitent l'interaction avec divers modèles, notamment Ultralytics YOLO des modèles comme YOLOv8 et YOLO11où la définition des tâches par le biais d'interfaces peut bénéficier des principes de l'ingénierie rapide, en particulier lorsque les modèles acquièrent des capacités plus interactives.