L'apprentissage semi-supervisé (SSL) représente un puissant moyen terme dans l'apprentissage automatique (ML), en combinant une petite quantité de données étiquetées avec une grande quantité de données non étiquetées pendant la formation. Cette approche est particulièrement précieuse dans les scénarios où l'acquisition de données étiquetées est coûteuse, prend du temps ou n'est pas pratique, alors que les données non étiquetées sont abondantes. SSL vise à exploiter la structure sous-jacente des données non étiquetées pour améliorer les performances du modèle au-delà de ce qui pourrait être obtenu en utilisant uniquement les données étiquetées limitées, ce qui en fait une technique pratique pour de nombreux problèmes d'intelligence artificielle (IA) dans le monde réel.
Comparaison avec d'autres paradigmes d'apprentissage
L'apprentissage semi-supervisé occupe un espace unique entre les autres types d'apprentissage primaire :
- Apprentissage supervisé: S'appuie entièrement sur des données de formation étiquetées. SSL diffère en incorporant des données non étiquetées afin d'améliorer potentiellement les performances lorsque les données étiquetées sont rares.
- Apprentissage non supervisé: Utilise uniquement des données non étiquetées pour trouver des modèles ou des structures, comme le regroupement ou la réduction de la dimensionnalité. SSL utilise des données non étiquetées mais guide le processus d'apprentissage avec un petit ensemble d'exemples étiquetés pour effectuer des tâches telles que la classification ou la régression.
- Apprentissage auto-supervisé (SSL): Un type d'apprentissage non supervisé où les étiquettes sont automatiquement générées à partir des données d'entrée elles-mêmes (par exemple, prédire une partie masquée d'une image). Bien qu'il utilise des données non étiquetées, son mécanisme de génération de supervision diffère des méthodes semi-supervisées typiques qui combinent explicitement des données pré-étiquetées et non étiquetées.
Applications dans le monde réel
SSL est très efficace dans les domaines où l'étiquetage est un goulot d'étranglement :
- Classification des pages Web : Il est possible d'étiqueter manuellement un petit nombre de sites Web (par exemple, "sports", "actualités", "technologie"), mais il n'est pas pratique d'en étiqueter des milliards. SSL peut utiliser le grand nombre de sites Web non étiquetés pour améliorer la précision et la robustesse du classificateur, en apprenant à partir du contenu du texte et de la structure des liens(aperçu de l'exploration du contenu Web).
- Reconnaissance de la parole: La transcription des données audio nécessite un effort humain important. SSL permet aux systèmes de s'entraîner sur une petite quantité de données audio transcrites parallèlement à de grands volumes de données audio non transcrites, améliorant ainsi la reconnaissance de divers accents et styles d'expression(recherche sur le traitement de la parole).
- Analyse d'images médicales: L'annotation experte des scans médicaux (comme les IRM ou les tomodensitogrammes pour la détection des tumeurs) est coûteuse et nécessite des connaissances spécialisées. SSL peut exploiter de nombreux scans non étiquetés pour améliorer les performances des modèles de diagnostic formés sur un ensemble limité d'images annotées, ce qui pourrait déboucher sur de meilleures solutions d'IA dans le domaine de la santé.
- Détection d'objets en vision artificielle (CV): La création de boîtes de délimitation précises pour les objets dans des milliers d'images demande beaucoup de travail(guide de collecte et d'annotation des données). Les techniques SSL peuvent utiliser une grande quantité d'images ou de trames vidéo non étiquetées aux côtés d'un plus petit ensemble de données étiquetées afin d'améliorer les performances des détecteurs pour des modèles tels que Ultralytics YOLO.
Avantages et défis
Le principal avantage du SSL est sa capacité à réduire la dépendance à l'égard des grands ensembles de données étiquetées, ce qui permet d'économiser le temps et les ressources associés à l'étiquetage des données. Il conduit souvent à une meilleure généralisation du modèle par rapport aux modèles purement supervisés formés sur des données limitées en exploitant les informations provenant d'échantillons non étiquetés. Cependant, le succès de SSL dépend fortement de l'exactitude des hypothèses sous-jacentes concernant les données. Si ces hypothèses ne se vérifient pas (par exemple, si la distribution des données non étiquetées est très différente de celle des données étiquetées), les méthodes SSL peuvent même dégrader les performances. Il est essentiel de sélectionner et de mettre en œuvre avec soin les techniques SSL, ce qui nécessite souvent une expertise en matière de pratiques MLOps.
FR
EN
ZH
KO
JA
RU
DE
ES
PT
IT
AR
TR
VI
Comment fonctionne l'apprentissage semi-supervisé
Les algorithmes SSL fonctionnent en faisant certaines hypothèses sur la relation entre les données étiquetées et non étiquetées. Parmi les hypothèses les plus courantes, on peut citer l'"hypothèse de lissage" (les points proches les uns des autres sont susceptibles de partager une étiquette) ou l'"hypothèse de grappe" (les données ont tendance à former des grappes distinctes et les points d'une même grappe sont susceptibles de partager une étiquette). Les techniques impliquent souvent la formation d'un modèle initial sur les données étiquetées, puis son utilisation pour générer des pseudo-étiquettes pour les données non étiquetées sur la base de prédictions très fiables. Le modèle est ensuite ré-entraîné sur les données étiquetées d'origine et sur les nouvelles données pseudo-étiquetées. Une autre approche est la régularisation de la cohérence, où le modèle est encouragé à produire la même sortie pour un exemple non étiqueté même si son entrée est légèrement perturbée, ce qui est souvent obtenu par l'augmentation des données. Ces méthodes permettent au modèle d'apprendre à partir des modèles et de la distribution inhérente au grand nombre d'échantillons non étiquetés. Des techniques plus avancées sont explorées dans des ressources telles que les articles du blogGoogle AI sur SSL.