Dans l'apprentissage automatique, en particulier lors de la formation de modèles d'apprentissage profond, la taille du lot fait référence au nombre d'exemples de formation utilisés dans une itération. Au lieu de traiter l'ensemble des données en une seule fois, ce qui est souvent infaisable sur le plan informatique, les données sont divisées en groupes ou lots plus petits et gérables. Les paramètres du modèle sont mis à jour après le traitement de chaque lot, ce qui rend la formation plus efficace, en particulier avec les grands ensembles de données courants dans le domaine de la vision par ordinateur.
Importance de la taille des lots
Le choix d'une taille de lot appropriée est un hyperparamètre critique qui affecte de manière significative la dynamique de formation du modèle, l'utilisation des ressources et la performance finale.
- Vitesse d'apprentissage : Des lots plus importants entraînent généralement des époques d'apprentissage plus rapides car ils permettent une meilleure utilisation des capacités de traitement parallèle que l'on trouve dans le matériel comme les GPU. Davantage de données sont traitées par cycle de calcul.
- Utilisation de la mémoire : Une conséquence directe des lots plus importants est l'augmentation de la consommation de mémoire. La taille des lots doit être compatible avec la mémoire matérielle disponible (par exemple, la VRAM du GPU ). Le dépassement de cette limite provoquera des erreurs ou ralentira considérablement la formation. Certaines plateformes offrent des conseils pour optimiser l'utilisation de la mémoire.
- Performance et généralisation du modèle : Les lots de petite taille introduisent plus de bruit dans l'estimation du gradient pendant la formation via des techniques telles que la descente stochastique du gradient (SGD). Ce bruit peut agir comme une forme de régularisation, aidant potentiellement le modèle à éviter les minima brusques dans le paysage des pertes et à mieux se généraliser aux données non vues, réduisant ainsi le risque de surajustement. Cependant, de très petits lots peuvent rendre l'apprentissage instable. Des lots plus importants fournissent une estimation plus précise du gradient mais peuvent converger vers des minima moins optimaux et nécessitent des techniques telles que l'échauffement du taux d'apprentissage pour assurer la stabilité.
Choisir la bonne taille de lot
La sélection de la taille de lot optimale implique un équilibre entre l'efficacité de calcul, les contraintes de mémoire et la généralisation du modèle. Il n'y a pas de "meilleure" taille de lot unique ; cela dépend souvent de l'ensemble de données spécifique, de l'architecture du modèle et du matériel disponible.
Taille des lots et autres termes connexes
Il est important de distinguer la taille des lots des concepts connexes :
- Itération : Représente une seule mise à jour des poids du modèle. Dans les boucles d'apprentissage standard, une itération correspond au traitement d'un lot de données et à l'exécution de la rétropropagation.
- Époque: Représente un passage complet à travers l'ensemble des données d'apprentissage. Si un ensemble de données comporte 1000 échantillons et que la taille du lot est de 100, alors 10 itérations sont nécessaires pour compléter une époque (1000 / 100 = 10).
Applications dans le monde réel
Détection d'objets
Dans les tâches de détection d'objets, telles que celles effectuées par Ultralytics YOLO la taille du lot a un impact direct sur le nombre d'images traitées simultanément pendant la formation. Par exemple, lors de l'entraînement d'un modèle comme YOLOv8 sur un ensemble de données comme VisDrone, une taille de lot plus importante (par exemple, 32 ou 64) peut accélérer de manière significative le temps d'apprentissage par époque sur un matériel capable. Cependant, il est nécessaire de surveiller attentivement la mémoire du GPU . La formation peut être gérée et suivie efficacement à l'aide de plateformes comme Ultralytics HUB.
Classification des images
Lors de l'entraînement d'un modèle de classification d'images, par exemple sur l'ensemble de données ImageNet, la taille des lots influence la stabilité et la convergence du processus d'entraînement. Un chercheur peut commencer avec une taille de lot de 256 et l'ajuster en fonction de l'observation du comportement de la fonction de perte et de la précision de la validation. Des lots plus petits peuvent être nécessaires pour les modèles avec des architectures complexes ou lorsque l'on utilise des ressources matérielles limitées comme dans l'environnement Google Colab.
FR
EN
ZH
KO
JA
RU
DE
ES
PT
IT
AR
TR
VI
