Transformateur

Comment fonctionnent les transformateurs

L'innovation principale de Transformers est le mécanisme d'auto-attention. Contrairement aux réseaux neuronaux récurrents (RNN), qui traitent les entrées de manière séquentielle et peuvent avoir du mal à traiter de longues séquences en raison de problèmes tels que l'évanouissement des gradients, Transformers peut prendre en compte toutes les parties de la séquence d'entrée simultanément. Cette capacité de traitement parallèle accélère considérablement la formation sur le matériel moderne comme les GPU. Contrairement aux réseaux neuronaux convolutifs (CNN) typiques qui se concentrent sur les caractéristiques locales grâce à des noyaux de taille fixe, l'attention permet aux Transformers de capturer les dépendances à longue portée et les relations contextuelles sur l'ensemble de l'entrée, qu'il s'agisse de texte ou de parcelles d'images.

Pertinence et impact

Les transformateurs sont devenus la base de nombreux modèles d'IA de pointe en raison de leur efficacité à capturer le contexte et à traiter de longues séquences. Leur nature parallélisable a permis la formation de modèles massifs avec des milliards de paramètres, tels que GPT-3 et GPT-4, conduisant à des percées dans l'IA générative. Cette évolutivité et ces performances ont permis aux Transformers de jouer un rôle central dans l'avancement de diverses tâches d'IA, stimulant ainsi l'innovation dans la recherche et l'industrie. De nombreux modèles populaires de Transformers sont facilement disponibles sur des plateformes telles que Hugging Face et mis en œuvre à l'aide de cadres tels que PyTorch et TensorFlow.

Applications dans le domaine de l'IA et de la ML

Les transformateurs sont très polyvalents et alimentent de nombreuses applications IA :

• Traitement du langage naturel (NLP) : C'est dans ce domaine que les Transformers ont commencé à se faire connaître. Ils constituent l'épine dorsale des grands modèles de langage (LLM) modernes utilisés pour des tâches telles que la traduction automatique, le résumé de texte, l'analyse des sentiments et l'alimentation de chatbots avancés. Les modèles d'organisations telles que OpenAI démontrent ces capacités.
• Vision par ordinateur (VA) : Les transformateurs sont de plus en plus appliqués aux données visuelles. Les transformateurs de vision (ViT) adaptent l'architecture à des tâches telles que la classification d'images et la détection d'objets. Les modèles hybrides, qui combinent des fonctions CNN avec des blocs Transformer, sont également courants. Ultralytics exemple, le modèle RT-DETR d'Ultralytics utilise des composants Transformer pour une détection en temps réel de haute précision, démontrant ainsi leur potentiel au-delà du NLP. Tu peux explorer comment RT-DETR se compare à d'autres modèles comme Ultralytics YOLOv8 dans les comparaisons techniques.

Transformateurs et autres architectures

Par rapport aux RNN, les Transformers offrent une meilleure gestion des dépendances à longue portée et une parallélisation supérieure, ce qui les rend plus adaptés aux grands ensembles de données et aux modèles. Par rapport aux CNN traditionnels, qui excellent à capturer les hiérarchies spatiales locales à l'aide de convolutions, les Transformers (en particulier les ViT) peuvent modéliser les relations globales au sein des données de manière plus efficace grâce à l'auto-attention. Cependant, les architectures hybrides combinent souvent les forces des deux, en utilisant les CNN pour l'extraction des caractéristiques initiales et les Transformers pour la compréhension contextuelle, comme on le voit dans des modèles tels que RT-DETR. Le choix entre ces architectures dépend souvent de la tâche spécifique, des caractéristiques des données et des ressources informatiques disponibles, impliquant souvent des techniques comme l'apprentissage par transfert à partir de modèles pré-entraînés disponibles sur des plateformes comme Ultralytics HUB.