Grand modèle linguistique (LLM)

Définition

Un grand modèle linguistique est fondamentalement un réseau neuronal sophistiqué, généralement basé sur l'architecture Transformer, présentée dans l'article influent"Attention Is All You Need" (L'attention est tout ce dont tu as besoin). Le terme "grand" dans LLM fait référence au nombre considérable de paramètres - variablesajustées au cours de la formation - qui peuvent aller de plusieurs milliards à plusieurs billions. En général, un nombre plus élevé de paramètres permet au modèle d'apprendre des modèles plus complexes à partir des données.

Les LLM apprennent ces modèles grâce à un apprentissage non supervisé sur des corpus de textes massifs recueillis sur Internet, dans des livres et d'autres sources, souvent appelés Big Data. Ce processus les aide à saisir la grammaire, les faits, les capacités de raisonnement et même des nuances comme le ton et le style, bien qu'il puisse aussi les amener à apprendre les biais présents dans les données de formation. Une capacité essentielle développée au cours de la formation consiste à prédire les mots suivants dans une phrase. Cette capacité de prédiction constitue la base de tâches plus complexes telles que la génération de textes, la modélisation du langage et la réponse aux questions.

Parmi les exemples bien connus, on peut citer la série GPT d ' OpenAI (comme GPT-4), les modèles de lamas de Meta AI tels que Llama 3, Gemini de Google DeepMind et Claude d' Anthropic.

Applications

La polyvalence des LLM leur permet de s'appliquer à divers domaines. Voici deux exemples concrets :

• L'IA conversationnelle: Les LLM sont les moteurs derrière de nombreux chatbots et assistants virtuels avancés. Ils permettent à ces systèmes de comprendre les requêtes des utilisateurs, de maintenir le contexte au cours des conversations et de générer des réponses à consonance naturelle. Un excellent exemple est le ChatGPT d'OpenAI, qui utilise les LLM pour engager des dialogues détaillés, répondre aux questions de suivi et même admettre des erreurs.
• Création de contenu et résumés: Les LLM peuvent aider les humains à générer diverses formes de contenu écrit, notamment des articles, des courriels, des textes de marketing et des écrits créatifs. Ils sont également compétents en matière de résumé de texte, condensant de longs documents en aperçus concis, ce qui permet de lutter contre la surcharge d'informations. Des outils tels que Jasper et Microsoft Copilot exploitent les LLM à ces fins.

Concepts clés

Pour comprendre les LLM, il faut se familiariser avec plusieurs concepts connexes :

• Modèles de fondation: Les LLM sont souvent considérés comme des modèles de base car ils sont formés sur des données larges et peuvent être adaptés (ou affinés) pour un large éventail de tâches en aval sans avoir besoin d'être formés à partir de zéro.
• Mécanismes d'attention: Particulièrement l'auto-attention, ces mécanismes permettent au modèle de peser l'importance des différents mots (tokens) dans la séquence d'entrée lors du traitement d'un mot particulier. Ceci est crucial pour comprendre le contexte et les relations au sein du texte.
• Prompt Engineering: Il s'agit de l'art et de la science de la conception d'invites d'entrée efficaces pour guider un LLM vers la production du résultat souhaité. La qualité de l'invite influence considérablement la précision et la pertinence de la réponse. Des techniques telles que l 'incitation à la réflexion en chaîne permettent d'améliorer le raisonnement dans les tâches complexes.
• La tokenisation: Avant de traiter un texte, les LLM le décomposent en unités plus petites appelées tokens. Ces jetons peuvent être des mots, des sous-mots ou des caractères. La tokenisation convertit le texte brut en un format numérique que le modèle peut comprendre. Des plateformes comme Hugging Face fournissent des outils et des informations sur les différentes stratégies de tokenisation.

LLMs vs. modèles de vision par ordinateur

Bien que les LLM excellent dans les tâches linguistiques, ils diffèrent considérablement des modèles principalement conçus pour la vision par ordinateur (VA). Les modèles CV, tels que Ultralytics YOLO d'Ultralytics (par ex, YOLOv8YOLOv8, YOLOv9, YOLOv10, et YOLO11) sont spécialisés dans l'interprétation des informations visuelles provenant d'images ou de vidéos. Leurs tâches comprennent la détection d'objets, la classification d'images et la segmentation d'instances.

Cependant, la frontière s'estompe avec l'essor des modèles multimodaux et des modèles de langage de vision (VLM). Ces modèles, comme le GPT-4o d'OpenAI ou le Gemini de Google, intègrent la compréhension de différentes modalités (par exemple, le texte et les images), ce qui permet de réaliser des tâches telles que la description d'images ou la réponse à des questions sur le contenu visuel.

Des plateformes comme Ultralytics HUB fournissent des outils et une infrastructure pour la formation et le déploiement de divers modèles d'IA, y compris ceux destinés aux tâches de vision, ce qui facilite le développement de diverses applications d'IA. À mesure que les LLM et autres modèles d'IA deviennent plus puissants, les considérations autour de l'éthique de l'IA, des biais algorithmiques et de la confidentialité des données deviennent de plus en plus importantes. Pour plus d'informations sur les concepts de l'IA et les comparaisons de modèles, explore les pages de documentation et de comparaison de modèles d' Ultralytics .