Apprentissage par transfert

Comment fonctionne l'apprentissage par transfert

L'idée centrale de l'apprentissage par transfert est qu'un modèle formé sur un grand ensemble de données générales, comme ImageNet pour la classification des images, a déjà appris à reconnaître des caractéristiques universelles telles que les bords, les textures et les formes. Ces connaissances fondamentales sont stockées dans les couches initiales du modèle, souvent appelées " épine dorsale".

Le processus comporte généralement deux étapes principales :

1. Commencer par un modèle pré-entraîné: On choisit un modèle qui a été préalablement entraîné sur un grand ensemble de données de référence. Par exemple, la plupart des modèles YOLO d'Ultralytics sont livrés avec des poids pré-entraînés sur l'ensemble de données COCO. Ces modèles possèdent déjà une bonne compréhension des caractéristiques générales des objets.
2. Ajustement fin: Le modèle pré-entraîné est ensuite adapté à une nouvelle tâche spécifique. Cette adaptation, connue sous le nom de réglage fin, implique un entraînement supplémentaire du modèle sur un ensemble de données plus petit et spécifique à la tâche. Au cours de cette phase, le taux d'apprentissage est généralement maintenu à un niveau bas afin de procéder à des ajustements mineurs des poids du modèle sans perdre les précieuses caractéristiques apprises au préalable. Pour un guide détaillé, vous pouvez vous référer au tutoriel PyTorch sur l'apprentissage par transfert.

Applications dans le monde réel

L'apprentissage par transfert n'est pas seulement un concept théorique ; il a des applications pratiques dans de nombreux secteurs.

• Analyse d'images médicales: Un modèle peut être pré-entraîné sur le jeu de données général ImageNet, puis affiné pour détecter des anomalies spécifiques telles que des tumeurs cérébrales à partir de scanners IRM. Étant donné que les données médicales étiquetées sont souvent rares et coûteuses à obtenir, l'apprentissage par transfert permet de créer des outils de diagnostic précis sans avoir besoin de millions d'images médicales. Pour plus d'informations à ce sujet, voir comment l'IA crée une nouvelle ère de précision en radiologie.
• Véhicules autonomes: Un modèle de détection d'objets peut être pré-entraîné sur un ensemble massif de données d'images routières, puis affiné par un constructeur automobile spécifique afin de reconnaître des modèles de véhicules uniques ou de fonctionner dans des conditions météorologiques particulières. Cela permet d'exploiter les connaissances existantes sur les voitures, les piétons et les panneaux de signalisation, ce qui accélère le développement et améliore la sécurité.

Apprentissage par transfert et concepts connexes

Il est important de différencier l'apprentissage par transfert des autres techniques de ML :

• Modèles de fondation: Il s'agit de modèles à grande échelle pré-entraînés sur de grandes quantités de données, conçus spécifiquement pour être adaptés à diverses tâches en aval. L'apprentissage par transfert est le processus d'adaptation de ces modèles de base.
• L'apprentissage par le tir à zéro: Cette technique permet à un modèle de reconnaître des classes qu'il n'a pas vues pendant la formation. Alors que l'apprentissage par transfert adapte un modèle à une nouvelle tâche à l'aide de nouvelles données, l'apprentissage à partir de zéro vise la généralisation sans aucun exemple des nouvelles classes. Notre guide sur l'apprentissage à partir de quelques données, l'apprentissage à partir de zéro et l'apprentissage par transfert explique ces différences plus en détail.
• Distillation des connaissances: Il s'agit de former un modèle "étudiant" plus petit à imiter le comportement d'un modèle "enseignant" plus grand afin d'atteindre l'efficacité. L'apprentissage par transfert se concentre sur l'adaptation des connaissances d'une tâche à une autre, tandis que la distillation se concentre sur la compression des connaissances au sein d'une même tâche.

Outils et cadres

L'application de l'apprentissage par transfert est accessible grâce à divers outils et plateformes. Des frameworks comme PyTorch et TensorFlow fournissent une documentation complète et des modèles pré-entraînés. Des plateformes comme Ultralytics HUB rationalisent l'ensemble du flux de travail, permettant aux utilisateurs de charger facilement des modèles pré-entraînés comme YOLOv8 et YOLO11, d'effectuer un entraînement personnalisé sur de nouveaux ensembles de données et de gérer le déploiement des modèles. Pour une compréhension théorique plus approfondie, des ressources telles que la vue d'ensemble de Stanford CS231n sur l'apprentissage par transfert sont inestimables.