Réglage des hyperparamètres

Comprendre les hyperparamètres

Les hyperparamètres définissent des propriétés de plus haut niveau du modèle, telles que sa complexité ou la vitesse à laquelle il doit apprendre. Parmi les exemples courants, on peut citer le taux d'apprentissage utilisé dans les algorithmes d'optimisation, la taille du lot qui détermine le nombre d'échantillons traités avant la mise à jour des paramètres du modèle, le nombre de couches d'un réseau neuronal ou la force des techniques de régularisation. Le choix des hyperparamètres a un impact significatif sur les résultats du modèle. De mauvais choix peuvent conduire à un sous-ajustement, lorsque le modèle est trop simple pour capturer les modèles de données, ou à un surajustement, lorsque le modèle apprend trop bien les données d'apprentissage, y compris le bruit, et ne parvient pas à se généraliser.

Pourquoi le réglage des hyperparamètres est-il important ?

Un réglage efficace des hyperparamètres est essentiel pour construire des modèles ML performants. Un modèle bien réglé atteint une meilleure précision, une convergence plus rapide pendant la formation et une généralisation améliorée sur les données de test. Pour les tâches complexes telles que la détection d'objets, l'utilisation de modèles tels que Ultralytics YOLOla recherche d'hyperparamètres optimaux peut améliorer considérablement les mesures de performance telles que la précision moyenne (mAP) et la vitesse d'inférence, qui sont essentielles pour les applications exigeant une inférence en temps réel. L'objectif est de naviguer dans les compromis, comme le compromis biais-variance, afin de trouver le point idéal pour un problème et un ensemble de données donnés.

Techniques de réglage des hyperparamètres

Plusieurs stratégies existent pour rechercher les meilleures valeurs d'hyperparamètres :

• Recherche de grille : Essaie de manière exhaustive toutes les combinaisons possibles de valeurs d'hyperparamètres spécifiées. Bien qu'elle soit exhaustive, cette méthode peut être coûteuse en termes de calcul, en particulier avec un grand nombre d'hyperparamètres. En savoir plus sur la recherche par grille.
• Recherche aléatoire : Échantillonne des combinaisons d'hyperparamètres de façon aléatoire à partir de distributions spécifiées. Elle est souvent plus efficace que la recherche par grille, car les bons paramètres ne sont pas toujours trouvés sur une grille uniforme. Explore les détails de la recherche aléatoire.
• Optimisation bayésienne : Utilise des modèles de probabilité pour prédire quels hyperparamètres pourraient donner de meilleurs résultats, en concentrant la recherche sur les domaines prometteurs. Cette méthode est généralement plus efficace que la recherche aléatoire ou en grille. Des frameworks comme Optuna fournissent des implémentations.
• Algorithmes évolutionnaires : Utilise des concepts inspirés de l'évolution biologique, comme la mutation et la sélection, pour affiner de façon itérative les hyperparamètres. Ultralytics YOLOv5 comprend un guide sur l'évolution des hyperparamètres.

Des outils tels que Weights & Biases Sweeps et KerasTuner permettent d'automatiser et de gérer ces processus de réglage.

Réglage des hyperparamètres et concepts connexes

Il est important de distinguer le réglage des hyperparamètres des concepts de ML apparentés :

• Paramètres du modèle et hyperparamètres : Les paramètres du modèle (par exemple, les poids dans un CNN) sont appris à partir des données pendant la formation. Les hyperparamètres (par exemple, le taux d'apprentissage, le nombre de filtres) sont définis avant la formation pour configurer le processus d'apprentissage.
• Algorithmes d'optimisation et réglage des hyperparamètres : Les algorithmes d'optimisation (comme Adam ou SGD) ajustent les paramètres du modèle pour minimiser une fonction de perte. Le réglage des hyperparamètres permet de trouver les paramètres optimaux pour ces algorithmes et d'autres aspects de la formation, notamment le choix de l'optimiseur ou son taux d'apprentissage spécifique.
• Régularisation et réglage des hyperparamètres : Les techniques de régularisation (par exemple, les couches Dropout, les pénalités L1/L2) permettent d'éviter le surajustement. La force ou le taux de ces techniques sont eux-mêmes des hyperparamètres qui doivent être réglés.

Applications dans le monde réel

Le réglage des hyperparamètres est appliqué dans divers domaines :

1. Analyse d'images médicales : Lors de l'entraînement d'un modèleYOLO d'Ultralytics pour la détection de tumeurs, le réglage des hyperparamètres comme le taux d'apprentissage, les paramètres d'augmentation des données (par exemple, la plage de rotation, les ajustements de luminosité) et les choix d'architecture du modèle (comme la profondeur de l'épine dorsale) est crucial pour maximiser la sensibilité et la spécificité de l'identification des tumeurs dans les scanners comme les IRM ou les tomodensitogrammes. Cela permet de s'assurer que le modèle détecte de manière fiable les anomalies tout en minimisant les faux positifs.(Explorer les solutions d'IA dans le domaine de la santé).
2. Conduite autonome : Lors du développement de systèmes de perception pour les véhicules autonomes, le réglage des hyperparamètres optimise les modèles de détection d'objets afin d'identifier avec précision les piétons, les véhicules et les panneaux de signalisation dans diverses conditions (jour, nuit, pluie). Le réglage de paramètres tels que les seuils de confiance de détection, les paramètres de suppression non maximale (NMS) et la résolution de l'image d'entrée permet d'équilibrer la vitesse de détection et la précision, ce qui est vital pour les applications critiques en matière de sécurité.(Voir les solutions d'IA dans l'automobile).

Optimisation des hyperparamètres avec Ultralytics

Ultralytics fournit des outils pour simplifier le réglage des hyperparamètres pour les modèles YOLO . L'outil Ultralytics Tuner classedocumenté dans le Guide de réglage des hyperparamètresautomatise le processus à l'aide d'algorithmes évolutifs. Intégration avec des plateformes telles que Ray Tune offre des capacités supplémentaires pour les stratégies de recherche distribuées et avancées, aidant les utilisateurs à optimiser efficacement leurs modèles pour des ensembles de données et des tâches spécifiques à l'aide de ressources telles que Ultralytics HUB.