Ingénierie rapide

Comment fonctionne Prompt Engineering

Le cœur de l'ingénierie de l'invite est la structuration d'une entrée qui fournit un contexte clair et suffisant pour le modèle. Alors qu'une question simple peut donner lieu à une réponse basique, une invite bien conçue peut contrôler le ton, le format et la complexité. Les éléments clés d'une invite avancée peuvent être les suivants

• Instruction: Une directive claire et spécifique indiquant au modèle la tâche à effectuer (par exemple, "Résumez l'article suivant en trois points").
• Contexte: Fournir des informations ou des données de base pertinentes que le modèle doit utiliser pour éclairer sa réponse.
• Persona: Attribution d'un rôle à l'IA, qui influe sur le ton et le style des résultats (par exemple, "Agir en tant qu'analyste financier expert").
• Format: Spécification de la structure souhaitée de la sortie, telle qu'une liste, un objet JSON ou un style d'écriture spécifique.
• Exemples: L'inclusion d'exemples du format d'entrée et de sortie souhaité, une technique connue sous le nom d'apprentissage à quelques coups, permet de guider la réponse du modèle. Une ressource complète pour ces techniques peut être trouvée dans le Guide de l'incitation.

Applications dans le monde réel

1. Automatisation de l'assistance à la clientèle: Pour garantir la cohérence et l'exactitude de la marque, une entreprise peut utiliser l'ingénierie des messages-guides pour guider son chatbot d'assistance. Une invite peut demander à l'IA d'adopter un ton amical et serviable, d'utiliser une base de connaissances interne pour répondre aux questions sur les produits et de définir un protocole clair pour savoir quand faire passer une conversation à un agent humain. Cela permet de contrôler le comportement de l'IA, en l'empêchant de donner des informations incorrectes ou d'interagir avec les clients d'une manière qui n'est pas conforme à la marque.

2. Génération de contenu créatif: Dans les modèles de conversion de texte en image tels que Midjourney ou DALL-E 3 d'OpenAI, l'invite est le principal outil de création. Une simple demande comme "une photo de voiture" produira un résultat générique. En revanche, une invite détaillée telle que "Une voiture de sport rouge des années 1960 roulant à toute allure sur une route côtière au coucher du soleil, style photoréaliste, éclairage cinématographique, résolution 8K" fournit des instructions spécifiques sur le sujet, le cadre, le style et la qualité, ce qui permet d'obtenir une image très personnalisée et visuellement étonnante.

Pertinence dans le domaine de la vision par ordinateur

Bien qu'elle ait vu le jour dans le domaine du traitement du langage naturel (NLP), l'ingénierie des prompts est de plus en plus pertinente dans le domaine de la vision par ordinateur (CV). Cette évolution est due au développement de modèles multimodaux capables de traiter simultanément du texte et des images. Des modèles tels que CLIP et des détecteurs de vocabulaire ouvert tels que YOLO-World peuvent effectuer des tâches telles que la détection d'objets sur la base de descriptions textuelles arbitraires. Pour ces modèles, l'élaboration d'une invite textuelle efficace (par exemple, "détecter tous les 'vélos' mais ignorer les 'motos'") est une forme d'ingénierie de l'invite cruciale pour guider ces modèles de langage de vision. Des plateformes comme Ultralytics HUB facilitent l'interaction avec divers modèles, où la définition des tâches par le biais d'interfaces peut bénéficier des principes de l'ingénierie des messages-guides.

Ingénierie rapide et concepts connexes

Il est important de distinguer l'ingénierie d'aide des autres concepts d'apprentissage automatique :

• Mise au point: Il s'agit de mettre à jour les poids d' un modèle en poursuivant le processus de formation sur un nouvel ensemble de données. L'ingénierie rapide, en revanche, ne modifie pas le modèle lui-même, mais guide plutôt le comportement du modèle existant au moment de l'inférence.
• Prompt Tuning: Méthode de réglage fin efficace des paramètres (PEFT ), le réglage des invites implique l'apprentissage d'un petit ensemble d'incorporations d '"invites douces" qui sont ajoutées à l'entrée. Cette méthode automatise la création d'invites par le biais de l'apprentissage, alors que l'ingénierie des invites est le processus manuel de création d'"invites dures" basées sur le texte.
• Chaîne de pensée (CoT): La chaîne de pensée est une technique spécifique d'ingénierie de l'invite qui consiste à ajouter une instruction telle que "réfléchir étape par étape" à l'invite. Cela encourage le modèle à décomposer les problèmes complexes en étapes de raisonnement intermédiaires, ce qui permet souvent d'obtenir des résultats plus précis, comme l'explique en détail le document de recherche original de Google AI.
• Enchaînement d'invites: Cette technique consiste à décomposer une tâche complexe en plusieurs invites séquentielles, où la sortie d'une étape est l'entrée de la suivante. L'ingénierie des invites est la pratique plus large qui consiste à concevoir efficacement chacune de ces invites individuelles. Des structures telles que LangChain sont conçues pour orchestrer de telles chaînes.
• Génération améliorée par récupération (RAG): RAG est un système qui améliore une invite en récupérant d'abord les données pertinentes d'une base de connaissances externe. L'ingénierie des invites est essentielle dans un système RAG pour formuler correctement la requête de recherche initiale et l'invite finale qui combine la question de l'utilisateur avec les informations récupérées.