Génération Augmentée de Récupération (GAR)

Comment fonctionne la génération augmentée de récupération

Le processus RAG comprend généralement deux étapes principales :

1. Recherche : Lorsqu'un utilisateur fournit une invite ou une requête, le système utilise d'abord cette entrée pour rechercher un grand corpus de documents ou une base de données vectorielle. Cette recherche vise à trouver des segments de texte ou des documents contenant des informations pertinentes pour la requête. Des techniques telles que la recherche sémantique sont souvent employées ici pour trouver des informations contextuellement similaires, et pas seulement des correspondances de mots-clés.
2. Génération : Les informations pertinentes récupérées lors de la première étape sont ensuite combinées à l'invite originale de l'utilisateur. Cette demande augmentée, désormais riche d'un contexte spécifique, est introduite dans le LLM. Le LLM utilise à la fois la requête originale et le contexte fourni pour synthétiser une réponse complète et fondée sur les faits. Ce processus a été formellement introduit dans des recherches telles que l'article Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Récupération - Génération augmentée pour les tâches NLP à forte intensité de connaissances).

Avantages et applications

RAG offre plusieurs avantages par rapport à l'utilisation de LLM standards :

• Précision accrue : en fondant les réponses sur des données externes, le RAG réduit la probabilité que le LLM génère des informations incorrectes ou fabriquées.
• Accès aux informations actuelles : Les systèmes RAG peuvent accéder à des informations actualisées stockées dans leur base de connaissances, ce qui permet de surmonter la limitation des MFR dont les connaissances sont figées au moment de leur dernière formation.
• Connaissances spécifiques au domaine : Elle permet aux LLM de fournir des réponses de niveau expert dans des domaines spécialisés en récupérant des informations dans des documents techniques ou des bases de données spécifiques.
• Transparence et confiance : Les systèmes RAG peuvent souvent citer les sources utilisées pour la génération, ce qui renforce la confiance des utilisateurs et permet de vérifier les faits, ce qui est crucial pour l'éthique de l'IA.

Exemples concrets :

1. Gestion des connaissances de l'entreprise : Les entreprises utilisent RAG pour créer des chatbots internes qui peuvent répondre avec précision aux questions des employés en récupérant les informations des politiques internes, des manuels techniques et des rapports stockés sur des plateformes comme SharePoint ou des bases de connaissances dédiées.
2. Automatisation du support client : Les plateformes de service client exploitent les RAG pour fournir aux agents d'assistance ou aux chatbots des informations pertinentes provenant des FAQ, de la documentation produit et des tickets d'assistance antérieurs, ce qui permet une résolution plus rapide et plus précise des requêtes des clients. Des outils comme Zendesk intègrent de telles fonctionnalités.

RAG et concepts apparentés

• RAG et LLM standard : Les LLM standard génèrent des réponses basées uniquement sur les modèles appris au cours de la formation. RAG améliore ce processus en incorporant dynamiquement des informations externes au moment de l'inférence, ce qui permet d'obtenir des résultats plus factuels et plus pertinents sur le plan contextuel.
• RAG et mise au point : Le réglage fin adapte un modèle pré-entraîné à des tâches ou domaines spécifiques en poursuivant le processus d'entraînement sur un ensemble de données plus petit et spécialisé. Bien qu'efficace, il nécessite des ressources informatiques importantes et un recyclage pour mettre à jour les connaissances. Le RAG permet de mettre à jour les connaissances en modifiant simplement la source de données externe sans réapprendre le LLM, ce qui le rend plus flexible pour les informations qui changent rapidement. Le RAG et le réglage fin peuvent également être utilisés ensemble.
• RAG et ingénierie des messages-guides : L'ingénierie des invites consiste à élaborer avec soin l'invite d'entrée afin de guider la réponse du MLD. RAG automatise le processus de fourniture d'un contexte pertinent dans l'invite en le récupérant à partir d'une source externe. Des structures telles que LangChain et LlamaIndex fournissent des outils pour construire des pipelines RAG.

RAG représente une étape importante vers la création de systèmes d'IA plus compétents et plus fiables, en comblant le fossé entre le vaste pouvoir génératif des LLM et le besoin d'exactitude factuelle. Bien qu'il soit souvent associé au texte, le concept pourrait potentiellement s'étendre à des modèles d'augmentation tels que Ultralytics YOLO en récupérant des exemples visuels pertinents ou des métadonnées, bien qu'il s'agisse encore d'un domaine de recherche émergent dans le domaine de la vision par ordinateur. Des plateformes comme Ultralytics HUB facilitent la gestion des modèles et des ensembles de données qui pourraient potentiellement servir de sources de connaissances dans les futures applications multimodales de RAG. L'exploration des ensembles de données disponibles peut donner un aperçu du type d'informations structurées qui pourraient être utiles.