La régularisation est un ensemble de techniques utilisées dans l'apprentissage automatique (ML) pour prévenir un problème courant appelé surajustement. L'overfitting se produit lorsqu'un modèle apprend trop bien les données d'apprentissage, y compris son bruit et ses fluctuations aléatoires, ce qui a un impact négatif sur les performances du modèle sur de nouvelles données inédites. Les méthodes de régularisation introduisent une pénalité pour la complexité du modèle, encourageant le modèle à apprendre des modèles plus simples qui se généralisent mieux aux nouvelles données. Ceci est crucial pour construire des modèles d'IA robustes, y compris ceux utilisés dans la vision artificielle (CV) et le traitement du langage naturel (NLP).
Importance dans l'apprentissage automatique
La régularisation est fondamentale pour former des modèles ML fiables, en particulier des modèles complexes comme les modèles d'apprentissage profond (DL) et les réseaux neuronaux (NN). Sans régularisation, ces modèles peuvent facilement mémoriser les données d'entraînement plutôt que d'apprendre les modèles sous-jacents. Cela conduit à une grande précision sur l'ensemble d'entraînement mais à de mauvaises performances sur les données de validation ou les entrées du monde réel. En ajoutant un terme de pénalité à la fonction de perte, la régularisation permet de contrôler l'ampleur des poids du modèle, ce qui simplifie effectivement le modèle et améliore sa capacité de généralisation. Cet équilibre entre l'adaptation aux données et le maintien de la simplicité est souvent discuté dans le contexte du compromis biais-variance. Pour les modèles comme Ultralytics YOLOla régularisation contribue à atteindre une grande précision dans des tâches exigeantes comme la détection d'objets en temps réel.
Techniques de régularisation courantes
Plusieurs techniques de régularisation sont largement utilisées :
- Régularisation L1 (Lasso) : Ajoute une pénalité égale à la valeur absolue de la magnitude des coefficients. Cela peut conduire à ce que certains poids deviennent exactement nuls, ce qui permet d'effectuer une sélection efficace des caractéristiques. En savoir plus sur la régression Lasso.
- Régularisation L2 (Ridge) : Ajoute une pénalité égale au carré de la magnitude des coefficients. Elle rétrécit les poids vers zéro mais les rend rarement exactement nuls. En savoir plus sur la régression Ridge.
- Couche d'abandon: Principalement utilisée dans les réseaux neuronaux, la couche d'exclusion met aléatoirement une fraction des sorties des neurones à zéro pendant la formation. Cela empêche les neurones de trop coadapter et oblige le réseau à apprendre des caractéristiques plus robustes. Voir l'article original sur l'exclusion pour plus de détails.
- Arrêt précoce : Surveille les performances du modèle sur un ensemble de validation pendant la formation et arrête le processus de formation lorsque les performances cessent de s'améliorer, ce qui empêche le modèle de se suradapter au fur et à mesure de la formation. Il s'agit d'une pratique courante dont il est question dans les conseils sur la formation des modèles.
- Augmentation des données: Augmente la diversité des données de formation en appliquant des transformations aléatoires (comme la rotation, la mise à l'échelle, le recadrage) aux données existantes. Cela permet au modèle de devenir plus invariant à ces variations. Explore les techniques d'augmentation des données.
Différences par rapport aux concepts apparentés
La régularisation se distingue d'autres concepts importants de la ML :
- Algorithme d'optimisation: Des algorithmes tels que la descente de gradient ou l'optimiseur Adam sont utilisés pour minimiser la fonction de perte et mettre à jour les paramètres du modèle pendant l'entraînement. La régularisation modifie cette fonction de perte en ajoutant un terme de pénalité, guidant le processus d'optimisation vers des modèles plus simples, mais ce n'est pas l'algorithme d'optimisation lui-même.
- Réglage des hyperparamètres: Il s'agit de trouver les hyperparamètres optimaux (par exemple, le taux d'apprentissage, le nombre de couches) pour un modèle, souvent en utilisant des techniques comme la recherche par grille ou des méthodes automatisées disponibles sur des plateformes comme Ultralytics HUB. La force de la régularisation (par exemple, le coefficient de pénalité dans L1/L2) est elle-même un hyperparamètre qui doit être réglé, mais la régularisation est la technique appliquée, tandis que le réglage des hyperparamètres est le processus de réglage de sa force avec d'autres paramètres.
Applications dans le monde réel
Les techniques de régularisation sont essentielles à la réussite pratique de nombreuses applications d'intelligence artificielle :
Exemple 2 : Traitement du langage naturel
Dans les tâches NLP telles que l'analyse des sentiments ou la traduction automatique, les modèles comme Transformers peuvent également souffrir d'un surajustement, en particulier avec des données d'entraînement limitées. Des techniques de régularisation, notamment l'abandon et la décroissance du poids (L2), sont appliquées pour empêcher le modèle de s'appuyer trop fortement sur des mots ou des phrases spécifiques présents uniquement dans le corpus de formation. Cela améliore la capacité du modèle à comprendre et à générer du langage humain plus efficacement dans des scénarios réels tels que les chatbots ou les outils de résumé de contenu.
FR
EN
ZH
KO
JA
RU
DE
ES
PT
IT
AR
TR
VI
