Données de validation

Rôle dans le développement du modèle

Pendant la phase d'apprentissage, un modèle de ML apprend des modèles à partir des données d'apprentissage. Cependant, le fait de simplement évaluer le modèle sur les mêmes données que celles à partir desquelles il a appris peut être trompeur, et entraîne souvent des estimations de performance trop optimistes en raison d'un surajustement - lorsque le modèle apprend trop bien les données d'apprentissage, y compris son bruit et ses bizarreries spécifiques, ce qui entrave sa capacité à se généraliser à de nouvelles données. Les données de validation servent de substitut aux données non vues pendant la formation. En évaluant les performances du modèle sur l'ensemble de validation à intervalles réguliers (par exemple, après chaque époque), les développeurs peuvent :

1. Ajuster les hyperparamètres : Ajuste les paramètres tels que le taux d'apprentissage, la taille du lot ou la complexité du modèle (par exemple, le nombre de couches dans un réseau neuronal). Explore des techniques comme le guide de réglage des hyperparamètres.
2. Sélectionne les modèles : Compare différents algorithmes ou architectures pour voir lequel est le plus performant sur l'ensemble de validation.
3. Empêcher le surajustement : Mettre en place un arrêt précoce, où la formation est interrompue lorsque la performance sur l'ensemble de validation commence à se dégrader, même si la performance sur l'ensemble de formation continue de s'améliorer. Lire la suite de Conseils pour la formation de modèles.

Données de validation vs. données de formation et de test

Il est fondamental de comprendre la distinction entre les ensembles de données de formation, de validation et de test :

• Données de formation: La plus grande partie de l'ensemble de données, utilisée directement par l'algorithme pour apprendre des modèles et ajuster ses paramètres internes(poids du modèle).
• Données de validation : Une portion de taille moyenne utilisée de façon itérative pendant la formation pour régler les hyperparamètres et prendre des décisions de sélection de modèle. Elle fournit un retour d'information sur le degré de généralisation du modèle en fonction de l'état actuel de la formation.
• Données de test: Une partie plus petite, complètement séparée, conservée jusqu'à la toute fin du processus de développement. Elle fournit l'évaluation finale et impartiale des performances du modèle choisi sur des données réellement inédites. Il est essentiel que l'ensemble de test n'influence aucune décision de formation ou de réglage afin de garantir une évaluation fiable des performances attendues du modèle dans le monde réel.

Importance et avantages

L'utilisation d'un ensemble de validation dédié est essentielle pour construire des modèles ML robustes et fiables. Les principaux avantages sont les suivants :

• Généralisation améliorée : Permet de s'assurer que le modèle fonctionne bien non seulement sur les données sur lesquelles il a été formé, mais aussi sur de nouvelles données inédites.
• Comparaison objective des modèles : Fournit une base équitable pour comparer différents modèles ou paramètres hyperparamétriques.
• Prévention du surajustement : Agit comme un système d'alerte précoce pour détecter lorsqu'un modèle commence à mémoriser les données d'entraînement au lieu d'apprendre des modèles généraux. Un guide détaillé sur l'évaluation et la mise au point des modèles peut fournir plus de contexte.

Exemples concrets

1. Détection d'objets avec Ultralytics YOLO: Lors de la formation d'un système de détection d'objets, il est important de prendre en compte les besoins de l'utilisateur. Ultralytics YOLO pour détecter des objets tels que des voitures et des piétons pour une application de conduite autonome, les données d'entraînement consistent en des milliers d'images étiquetées. L'ensemble de validation, qui contient différentes images avec des objets similaires, est utilisé après chaque période d'apprentissage pour calculer des mesures telles que la précision moyenne (mAP). Cette précision moyenne de validation guide les ajustements des hyperparamètres (par exemple, le taux d'apprentissage, l'intensité de l'augmentation des données) à l'aide d'outils comme Ultralytics HUB pour trouver la configuration qui produit la meilleure performance sur l'ensemble de validation avant le test final.
2. Analyse d'images médicales: Supposons que tu développes un réseau neuronal convolutif (CNN) pour classer les tumeurs dans les scanners cérébraux à l'aide d'un ensemble de données comme celui des tumeurs cérébrales. L'ensemble de validation serait utilisé pour comparer différentes architectures de CNN (par exemple, ResNet vs. VGG) ou pour régler des paramètres tels que les taux d'abandon. En optimisant sur la base de la précision de validation ou du score F1, les chercheurs peuvent sélectionner le modèle le plus prometteur sans compromettre l'intégrité de l'évaluation de l'ensemble de test final, ce qui est crucial pour les applications cliniques réglementées par des organismes tels que la FDA.

Techniques impliquant des données de validation

Parfois, surtout avec des données limitées, un seul fractionnement de validation peut ne pas être représentatif. Des techniques comme la validation croisée permettent de remédier à ce problème. Dans la validation croisée K-Fold, les données d'apprentissage sont divisées en "k" sous-ensembles (plis). Le modèle est formé "k" fois, en utilisant à chaque fois un pli différent comme ensemble de validation et les k-1 plis restants pour la formation. La performance moyenne sur les 'k' plis de validation donne une estimation plus robuste de la capacité de généralisation du modèle. Tu peux trouver des implémentations dans des bibliothèques comme Scikit-learn.

Les données de validation sont indispensables pour guider le développement de modèles efficaces de vision par ordinateur et d'autres modèles de ML, en s'assurant qu'ils sont bien réglés et capables de se généraliser à de nouveaux défis au-delà de l'ensemble de données d'entraînement.