La modélisation du langage est une tâche fondamentale du traitement du langage naturel (NLP) et de l'intelligence artificielle (AI) qui vise à prédire la probabilité qu'une séquence de mots se produise dans une langue donnée. Il s'agit essentiellement de construire des modèles qui comprennent les modèles statistiques et les structures grammaticales du langage humain, ce qui permet aux machines de traiter, de comprendre et de générer des textes qui ressemblent à la communication humaine. Ces modèles apprennent à partir de grandes quantités de données textuelles à saisir les relations entre les mots et leurs schémas d'utilisation typiques.
Pertinence et applications
La modélisation du langage est une technologie fondamentale qui alimente de nombreuses applications d'IA qui interagissent avec le langage humain. Sa capacité à prédire et à comprendre les séquences de mots la rend inestimable dans divers domaines.
Les applications du monde réel comprennent :
Concepts apparentés
Pour comprendre la modélisation linguistique, il faut se familiariser avec les termes qui s'y rapportent :
- Traitement du langage naturel (NLP) : La modélisation du langage est un sous-domaine du domaine plus large du NLP, qui englobe diverses tâches telles que la reconnaissance des entités nommées (NER), l'étiquetage de la partie du discours et la réponse aux questions. De nombreuses tâches de TAL s'appuient sur des modèles de langage.
- Grands modèles linguistiques (LLM) : Il s'agit de modèles de langage très avancés, tels que le GPT-4, caractérisés par leur taille massive (des milliards de paramètres) et leur entraînement sur d'énormes ensembles de données(Big Data). Les LLM présentent des capacités remarquables de compréhension et de génération de textes semblables à ceux des humains pour des tâches complexes. De nombreux LLM pré-entraînés sont disponibles via des plateformes telles que Hugging Face.
- Génération de texte : Bien qu'étroitement liée, la génération de texte est une application de la modélisation du langage. Le modèle de langage fournit les probabilités pour les séquences de mots, et le processus de génération utilise ces probabilités (souvent avec des stratégies d'échantillonnage) pour produire un nouveau texte.
- Modèles multimodaux : Ces modèles intègrent la compréhension du langage à d'autres types de données, comme les images dans le domaine de la vision artificielle (CV). Des modèles comme CLIP apprennent des représentations conjointes de textes et d'images, ce qui permet de réaliser des tâches comme le sous-titrage d'images ou la réponse à des questions visuelles. Explore Ultralytics HUB pour trouver des outils permettant de gérer et de déployer divers modèles d'IA, y compris ceux intégrant potentiellement des capacités linguistiques.
FR
EN
ZH
KO
JA
RU
DE
ES
PT
IT
AR
TR
VI
Comment fonctionne la modélisation linguistique
À la base, un modèle de langage attribue une probabilité à une séquence de mots. Les premières approches s'appuyaient sur des méthodes statistiques telles que les n-grammes, qui calculent la probabilité d'un mot en fonction des "n-1" mots qui le précèdent. Bien que simples, ces modèles ne parviennent pas à saisir les dépendances à long terme dans le texte. La modélisation linguistique moderne fait largement appel aux réseaux neuronaux (RN), en particulier à des architectures telles que les réseaux neuronaux récurrents (RNR) et, plus récemment, les transformateurs. Les transformateurs, présentés dans l'article "Attention Is All You Need", utilisent des mécanismes tels que l'auto-attention pour évaluer l'importance des différents mots d'une séquence, quelle que soit leur distance, ce qui permet une bien meilleure compréhension du contexte. L'entraînement de ces modèles implique le traitement de grands corpus de textes, la décomposition du texte par la tokenisation et l'apprentissage de représentations(embeddings) pour ces tokens.