Données de validation

Le rôle des données de validation

L'objectif principal des données de validation est d'éviter l'ajustement excessif. Il y a surajustement lorsqu'un modèle apprend trop bien les données d'apprentissage, capturant le bruit et les détails qui ne s'appliquent pas aux nouvelles données, ce qui nuit à ses performances. En testant le modèle par rapport à l'ensemble de validation à intervalles réguliers (par exemple, après chaque période), les développeurs peuvent surveiller son erreur de généralisation. Si les performances sur les données d'apprentissage continuent de s'améliorer alors que les performances sur les données de validation stagnent ou se dégradent, il s'agit d'un signe évident de surajustement.

Ce processus d'évaluation est crucial pour le réglage des hyperparamètres. Les hyperparamètres sont des paramètres de configuration externes au modèle, tels que le taux d'apprentissage ou la taille du lot, qui ne sont pas appris à partir des données. L'ensemble de validation permet d'expérimenter différentes combinaisons d'hyperparamètres afin de trouver l'ensemble qui produit les meilleures performances. Ce processus itératif est au cœur de la sélection et de l'optimisation des modèles.

Données de validation vs. données de formation et de test

Dans un projet de ML typique, l'ensemble de données est divisé en trois sous-ensembles, et il est fondamental de comprendre leurs rôles distincts. Une approche courante de la division des données consiste à allouer 70 % à la formation, 15 % à la validation et 15 % au test.

• Données de formation: Il s'agit de la plus grande partie des données, utilisée pour l'apprentissage du modèle. Le modèle apprend de manière itérative des modèles, des caractéristiques et des relations à partir de cet ensemble de données en ajustant les poids de son modèle interne.
• Données de validation : Ce sous-ensemble distinct est utilisé pour fournir une évaluation impartiale au cours du processus de formation. Il permet d'ajuster les hyperparamètres et de prendre des décisions clés, telles que la mise en œuvre d'un arrêt précoce pour éviter le surajustement. Dans l'écosystème Ultralytics, cette évaluation est traitée dans le mode de validation.
• Données de test: Cet ensemble de données est conservé jusqu'à ce que le modèle soit entièrement entraîné et réglé. Il n'est utilisé qu'une seule fois pour fournir une évaluation finale et impartiale des performances du modèle. Les performances de l'ensemble de données de test indiquent comment le modèle est censé fonctionner dans un scénario de déploiement réel.

Le maintien d'une séparation stricte, en particulier entre les ensembles de validation et de test, est essentiel pour évaluer avec précision les capacités d'un modèle et éviter le compromis biais-variance.

Exemples concrets

1. Détection d'objetspar vision par ordinateur: Lors de l'entraînement d'un modèle Ultralytics YOLO pour la détection d'objets dans des images (par exemple, en utilisant l'ensemble de données VisDrone), une partie des images étiquetées est mise de côté en tant que données de validation. Au cours de l'apprentissage, la précision moyenne du modèle (mAP ) est calculée sur cet ensemble de validation après chaque épisode. Cette mAP de validation aide à décider quand arrêter la formation ou quel ensemble de techniques d'augmentation des données fonctionne le mieux, avant une vérification finale des performances sur l'ensemble de test. Les stratégies d'évaluation de modèles efficaces reposent en grande partie sur cette division.
2. Traitement du langage naturel Classification de textes : Lors de l'élaboration d'un modèle permettant de classer les commentaires des clients comme positifs ou négatifs(analyse des sentiments), un ensemble de validation est utilisé pour choisir l'architecture optimale (par exemple, LSTM ou Transformer) ou pour régler les hyperparamètres tels que les taux d'abandon. Le modèle qui obtient le meilleur score F1 ou la meilleure précision sur l'ensemble de validation est sélectionné pour le test final. Des ressources telles que Hugging Face Datasets fournissent souvent des ensembles de données pré-séparés à cette fin.

Validation croisée

Lorsque la quantité de données disponibles est limitée, une technique appelée validation croisée (en particulier la validation croisée K-Fold) est souvent employée. Dans ce cas, les données d'apprentissage sont divisées en "K" sous-ensembles (plis). Le modèle est entraîné K fois, en utilisant à chaque fois K-1 plis pour l'entraînement et le pli restant comme ensemble de validation. La moyenne des performances est ensuite calculée sur l'ensemble des K essais. Cela permet d'obtenir une estimation plus robuste des performances du modèle et de mieux utiliser les données limitées, comme l'expliquent des ressources telles que la documentation scikit-learn et le guide Ultralytics K-Fold Cross-Validation.

En résumé, les données de validation sont la pierre angulaire de la construction de modèles d'IA fiables et performants avec des frameworks comme PyTorch et TensorFlow. Elles permettent de régler efficacement les hyperparamètres, de sélectionner les modèles et de prévenir l'overfitting, en s'assurant que les modèles se généralisent bien au-delà des données sur lesquelles ils ont été formés. Des plateformes comme Ultralytics HUB offrent des outils intégrés pour gérer efficacement ces ensembles de données.