Découvre comment les ResNets révolutionnent l'apprentissage profond en résolvant les gradients évanescents, ce qui permet de créer des réseaux ultra profonds pour l'analyse d'images, le NLP et bien plus encore.
Les réseaux résiduels, communément appelés ResNet, représentent une architecture pivot de l'apprentissage profond (AP) principalement utilisée en vision par ordinateur (VA). Introduit par Kaiming He et al. dans leur article"Deep Residual Learning for Image Recognition", ResNet relève le défi de la formation de réseaux neuronaux très profonds. Avant ResNet, le simple fait d'empiler davantage de couches dans un réseau neuronal convolutif (CNN) conventionnel conduisait souvent à un problème appelé dégradation, où la précision saturait puis se dégradait rapidement, non pas en raison d'un surajustement, mais parce que les modèles plus profonds devenaient plus difficiles à optimiser. L'innovation de ResNet permet de former avec succès des réseaux de centaines, voire de milliers de couches de profondeur.
Les ResNets sont devenus une architecture fondamentale dans le domaine de la vision par ordinateur et sont largement utilisés dans de nombreuses applications :
Le principal avantage de ResNet est sa capacité à former efficacement des réseaux extrêmement profonds, en surmontant les problèmes de dégradation et de disparition du gradient. Cette profondeur permet aux ResNets d'apprendre des modèles plus complexes et des caractéristiques hiérarchiques à partir des données d'entraînement, ce qui se traduit par une amélioration des performances dans diverses tâches de CV. Les architectures ResNet sont également relativement simples et servent de composant standard dans de nombreux modèles d'apprentissage profond modernes. Leurs solides performances et leur adaptabilité en ont fait une pierre angulaire de la recherche et des applications en matière d'IA. Les utilisateurs peuvent exploiter des modèles ResNet pré-entraînés pour l'apprentissage par transfert ou le réglage fin sur des ensembles de données personnalisés en utilisant des plateformes comme Ultralytics HUB pour accélérer le développement.
Comment fonctionne ResNet : Connexions résiduelles
L'idée centrale de ResNet est l'introduction de "connexions de raccourci" ou de "connexions de saut". Ces connexions contournent une ou plusieurs couches et effectuent un mappage d'identité, en ajoutant la sortie de la couche précédente à la couche d'avant. Cette structure permet de résoudre le problème du gradient de fuite, qui affecte souvent les réseaux profonds lors de l'apprentissage par rétropropagation. Au lieu de forcer les couches à apprendre directement une cartographie optimale, ResNet leur permet d'apprendre une cartographie résiduelle relative à la fonction d'identité fournie par la connexion sautée. Cela permet au réseau d'apprendre plus facilement les correspondances d'identité si nécessaire (ce qui signifie qu'un bloc peut être effectivement sauté s'il n'est pas bénéfique), ce qui simplifie le processus d'optimisation pour les architectures très profondes et atténue le problème de dégradation observé dans les réseaux profonds ordinaires.