Données de validation

Le rôle des données de validation

Au cours du processus d'apprentissage du modèle, un modèle ML apprend des modèles à partir des données d'apprentissage. Cependant, évaluer le modèle uniquement sur ces données peut être trompeur, car le modèle pourrait simplement mémoriser les exemples d'entraînement, un phénomène connu sous le nom d'overfitting. Les données de validation servent de point de contrôle. En évaluant les performances du modèle sur cet ensemble distinct périodiquement au cours de la formation, les développeurs peuvent :

1. Ajuster les hyperparamètres : Ajuste les paramètres tels que le taux d'apprentissage, la taille du lot ou la complexité du modèle en fonction des mesures de performance(précision, mAP, etc.) calculées sur l'ensemble de validation. Cela se fait souvent à l'aide de techniques présentées dans les guides de réglage des hyperparamètres.
2. Sélectionner des modèles : Comparer différentes architectures ou versions de modèles (par exemple, comparer Ultralytics YOLOv8 vs. YOLOv10) en fonction de leurs performances de validation.
3. Prévenir le surajustement : Surveille les mesures de validation pour détecter le moment où le modèle commence à être moins performant sur l'ensemble de validation même si les performances de formation s'améliorent, ce qui indique un surajustement. Les techniques telles que l'arrêt précoce s 'appuient sur les performances de validation.

Données de validation vs. données de formation et de test

Comprendre la distinction entre les ensembles de données d'entraînement, de validation et de test est fondamental pour le développement de modèles robustes :

• Données de formation: La plus grande partie de l'ensemble de données, utilisée directement par l'algorithme d'apprentissage pour apprendre des modèles et ajuster les poids du modèle. Le modèle "voit" ces données fréquemment pendant les boucles d'apprentissage(époques).
• Données de validation : Une plus petite partie utilisée indirectement pendant la formation. Le modèle n'apprend pas directement à partir de ces données, mais les performances sur cet ensemble guident les décisions concernant les hyperparamètres et la structure du modèle. Il fournit un retour d'information sur la façon dont le modèle pourrait se généraliser à de nouvelles données pendant la phase de développement.
• Données de test: Une portion de données complètement séparée que le modèle n'a jamais vue pendant la formation ou la validation. Elle n'est utilisée qu'une seule fois, une fois la formation et le réglage terminés, pour fournir une estimation finale et impartiale de la capacité de généralisation du modèle sur des données réelles inédites.

Une séparation adéquate, souvent gérée à l'aide d'outils comme Ultralytics HUB pour la gestion et la version des ensembles de données, garantit que les informations de l'ensemble de test ne "fuient" pas dans le processus de formation ou de sélection des modèles, ce qui conduirait à des estimations de performance trop optimistes.

Réglage des hyperparamètres et sélection des modèles

Les données de validation sont indispensables pour le réglage des hyperparamètres. Les hyperparamètres sont des paramètres de configuration externes au modèle lui-même, définis avant le début du processus d'apprentissage. Les exemples incluent le taux d'apprentissage, le nombre de couches d'un réseau neuronal ou le type d'algorithme d'optimisation utilisé. Les développeurs forment plusieurs versions du modèle avec différentes combinaisons d'hyperparamètres, évaluent chacune d'entre elles sur l'ensemble de validation et sélectionnent la combinaison qui donne les meilleures performances. Cette recherche systématique peut être automatisée à l'aide de méthodes telles que la recherche par grille ou l'optimisation bayésienne, souvent facilitée par des plateformes intégrées aux outils MLOps.

Exemples concrets

1. Vision par ordinateur Détection d'objets : Lors de la formation d'un Ultralytics YOLO pour détecter des objets dans des images (par exemple, en utilisant l'ensemble de données VisDrone), une partie des images étiquetées est mise de côté en tant que données de validation. Pendant l'apprentissage, la précision moyenne du modèle est calculée sur cet ensemble de validation après chaque épisode. Cette mAP de validation aide à décider quand arrêter la formation (arrêt précoce) ou quel ensemble de techniques d'augmentation des données fonctionne le mieux, avant une vérification finale des performances sur l'ensemble de test. Les stratégies efficaces d'évaluation des modèles reposent en grande partie sur cette division.
2. Traitement du langage naturel Classification de textes : Lors du développement d'un modèle permettant de classer les commentaires des clients comme positifs ou négatifs(analyse des sentiments), un ensemble de validation est utilisé pour choisir l'architecture optimale (par exemple, LSTM vs. Transformer) ou régler les hyperparamètres tels que les taux d'abandon. Le modèle qui obtient le score F1 ou la précision la plus élevée sur l'ensemble de validation est sélectionné pour le test final. Ressources comme Hugging Face fournissent souvent des ensembles de données pré-séparés à cette fin.

Validation croisée

Lorsque la quantité de données disponibles est limitée, une technique appelée validation croisée (plus précisément la validation croisée K-Fold) est souvent employée. Ici, les données d'apprentissage sont divisées en "K" sous-ensembles (plis). Le modèle est entraîné K fois, en utilisant à chaque fois K-1 plis pour l'entraînement et le pli restant comme ensemble de validation. La moyenne des performances est ensuite calculée sur l'ensemble des K essais. Cela permet d'obtenir une estimation plus solide des performances du modèle et de mieux utiliser les données limitées, comme l'explique le guideUltralytics K-Fold Cross-Validation.

En résumé, les données de validation sont la pierre angulaire de la construction de modèles d'intelligence artificielle (IA) fiables et performants. Elles permettent de régler efficacement les hyperparamètres, de sélectionner des modèles et de prévenir l'overfitting, en garantissant que les modèles se généralisent bien au-delà des données sur lesquelles ils ont été formés.