Enchaînement de prompts

Le chaînage de prompts est un modèle architectural avancé dans le développement de l'intelligence artificielle (IA) qui consiste à décomposer une tâche complexe en une séquence de sous-tâches plus petites et plus faciles à gérer. Dans ce flux de travail, le résultat d' une étape, souvent généré par un grand modèle linguistique (LLM) ou un système de vision par ordinateur, sert d'entrée pour l'étape suivante. Contrairement à une invite monolithique unique qui tente de résoudre un problème multiforme en une seule fois, le chaînage permet aux développeurs de créer des applications plus fiables, plus testables et plus performantes . Cette approche modulaire est essentielle pour créer des agents IA sophistiqués capables de raisonner, de naviguer sur le web ou d'interagir avec des environnements physiques.

Les mécanismes du chaînage

Fondamentalement, le chaînage rapide remédie aux limites des fenêtres contextuelles et des capacités de raisonnement dans les modèles de base. Lorsqu'on demande à un modèle d' effectuer trop d'opérations distinctes dans une seule requête (par exemple, « Analysez cette image, extrayez le texte, traduisez-le en espagnol et formatez-le comme une facture JSON »), la probabilité d'erreur augmente. En divisant cela en un pipeline, les développeurs peuvent vérifier la précision de chaque étape.

Les chaînes efficaces utilisent souvent du « code colle » écrit en Python ou géré par des bibliothèques d'orchestration telles que LangChain pour gérer la transformation des données entre les différentes étapes. Cela permet l'intégration de technologies disparates, telles que la combinaison de l'acuité visuelle de la détection d'objets avec la fluidité linguistique des modèles de texte génératifs.

Applications concrètes

Le chaînage rapide est particulièrement puissant lorsqu'il s'agit de combler le fossé entre différentes modalités de données, permettant ainsi aux modèles multimodaux de fonctionner dans des environnements industriels et commerciaux dynamiques .

1. Rapports visuels automatisés : dans le domaine de la fabrication intelligente, un système de contrôle qualité peut associer un modèle de vision à un LLM. Tout d'abord, un modèle à grande vitesse tel que Ultralytics scanne les composants sur une chaîne de montage. La sortie structurée (par exemple, « Classe : Dented_Can, Confiance : 0,92 ») est convertie en une chaîne de texte. Ce texte est ensuite transmis à un modèle linguistique avec une invite telle que « Rédigez une demande de maintenance sur la base de ce défaut », générant ainsi un e-mail lisible par l'homme à l'intention du responsable d'atelier.
2. Assistance client contextuelle : les chatbots intelligents utilisent souvent le chaînage pour traiter les requêtes complexes des utilisateurs . Le premier maillon de la chaîne peut utiliser le traitement du langage naturel (NLP) pour classify l'intention classify . Si l'intention est technique, le système déclenche un workflow de génération augmentée par la recherche (RAG) : il génère des intégrations pour la requête, recherche de la documentation dans une base de données vectorielle et enfin invite un LLM à synthétiser les fragments récupérés en une réponse utile.

Exemple de code Vision-to-Language

L'exemple suivant illustre le premier « maillon » d'une chaîne : l'utilisation de la vision par ordinateur (CV) pour générer des données structurées qui servent de contexte à une invite en aval.

from ultralytics import YOLO

# Load the YOLO26 model (natively end-to-end and highly efficient)
model = YOLO("yolo26n.pt")

# Step 1: Run inference to 'see' the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Step 2: Format visual detections into a natural language string
det_names = [model.names[int(c)] for c in results[0].boxes.cls]
prompt_context = f"The scene contains: {', '.join(det_names)}. Please describe the likely activity."

# The 'prompt_context' variable is now ready to be sent to an LLM API
print(prompt_context)

Distinguer les concepts apparentés

Pour mettre en œuvre des architectures d'apprentissage automatique (ML) efficaces, il est utile de différencier le chaînage rapide des termes similaires dans le domaine de l'IA :

• Vs. Chaîne de pensées incitative: La chaîne de pensées (CoT) est une technique utilisée dans une seule invite pour encourager un modèle à « montrer son travail » (par exemple, « Réfléchissez étape par étape »). Le chaînage d'invites implique plusieurs appels API distincts où l' entrée de l'étape B dépend de la sortie de l'étape A.
• Vs. Ingénierie des invites: L'ingénierie des invites est une discipline plus large qui consiste à optimiser les entrées de texte afin d'obtenir de meilleures performances du modèle. Le chaînage est un modèle d'ingénierie spécifique qui se concentre sur le flux séquentiel des opérations et le contrôle logique.
• Vs. Réglage rapide: Le réglage rapide est une méthode d'optimisation de modèle qui met à jour les paramètres apprenables (prompts logiciels) pendant une phase d'entraînement. Le chaînage rapide se produit entièrement pendant l' inférence en temps réel et ne modifie pas les pondérations du modèle.

En tirant parti du chaînage rapide, les équipes peuvent créer des applications robustes qui intègrent la logique, la récupération de données et la reconnaissance des actions. Pour gérer les ensembles de données et former les modèles de vision qui alimentent ces chaînes, Ultralytics offre une solution centralisée pour l'annotation, la formation et le déploiement.