Glossaire

Prétraitement des données

Prétraitement des données de base pour l'apprentissage automatique. Apprends des techniques comme le nettoyage, la mise à l'échelle et l'encodage pour stimuler la précision et la performance des modèles.

Le prétraitement des données fait référence aux étapes cruciales prises pour nettoyer, transformer et organiser les données brutes dans un format approprié avant de les introduire dans un modèle de Machine Learning (ML). Les données brutes collectées dans le monde réel sont souvent incomplètes, incohérentes et contiennent des erreurs ou du bruit. Le prétraitement vise à résoudre ces problèmes, en améliorant considérablement la qualité des données et, par conséquent, les performances, la précision et la fiabilité des modèles ML entraînés sur ces données. Il s'agit d'une étape fondamentale dans tout projet axé sur les données, y compris dans les domaines de l'intelligence artificielle (IA) et de la vision par ordinateur (VA).

Pourquoi le prétraitement des données est-il important ?

Les modèles d'apprentissage automatique apprennent des modèles à partir des données. Si les données sont défectueuses, le modèle apprendra des schémas incorrects, ce qui entraînera de mauvaises prédictions et décisions. Des données de haute qualité et bien préparées sont essentielles pour construire des modèles robustes comme ceux d' Ultralytics YOLO pour des tâches telles que la détection d'objets. Un prétraitement efficace des données permet de :

Améliore la précision des modèles : Des données propres permettent d'obtenir des modèles plus précis.
Réduire le temps de formation : La suppression des données non pertinentes ou redondantes peut accélérer le processus de formation.
Éviter les erreurs : Le traitement des incohérences empêche les modèles d'apprendre des corrélations fallacieuses.
Améliorer la généralisation : Des données correctement prétraitées permettent aux modèles d'être plus performants sur des données inédites, ce qui réduit l'ajustement excessif.

Techniques courantes de prétraitement des données

Plusieurs techniques sont couramment employées lors du prétraitement des données :

Nettoyage des données: Il s'agit d'identifier et de traiter les erreurs, les incohérences, les valeurs manquantes (imputation) et les valeurs aberrantes dans l'ensemble de données. Il permet de s'assurer que les données sont exactes et cohérentes.
Transformation des données: Cela comprend des techniques comme :
- Normalisation / Mise à l'échelle : Ajustement de l'étendue ou de la distribution des caractéristiques numériques (par exemple, mise à l'échelle des valeurs des pixels dans les images de 0-255 à 0-1). Cela permet de s'assurer que les caractéristiques ayant des valeurs plus importantes n'influencent pas le modèle de manière disproportionnée.
- Encodage des variables catégorielles : Convertir des données non numériques (comme des catégories ou des étiquettes) en un format numérique que les modèles peuvent comprendre, à l'aide de méthodes telles que l'encodage à une touche.
Ingénierie de la fonctionnalité: Création de nouvelles caractéristiques potentiellement plus informatives à partir des caractéristiques existantes afin d'améliorer les performances du modèle.
Extraction de caractéristiques: Déduction automatique de nouvelles caractéristiques de dimensions inférieures à partir des données d'origine, souvent utilisée dans le traitement des images.
Réduction de la dimensionnalité: Réduction du nombre de caractéristiques d'entrée tout en préservant les informations importantes, ce qui peut simplifier les modèles et réduire les coûts de calcul. Des techniques telles que l'analyse en composantes principales (ACP) sont courantes.
Prétraitement de l'image: Spécifique à la vision par ordinateur, ce traitement comprend le redimensionnement des images à une taille uniforme, la conversion des espaces colorimétriques (par exemple, RVB en niveaux de gris) et l'application de filtres pour la réduction du bruit. Tu trouveras plus de détails dans le guideUltralytics sur le prétraitement des données annotées.

Applications dans le monde réel

Vision par ordinateur pour les véhicules autonomes: Les données d'image provenant des caméras nécessitent un prétraitement approfondi. Il s'agit notamment de redimensionner les images, de normaliser l'intensité des pixels, de corriger la distorsion de l'objectif et d'appliquer des techniques d'augmentation des données telles que des rotations aléatoires ou des ajustements de luminosité pour rendre les modèles de détection d'objets robustes à des conditions variables. Des plateformes comme Ultralytics HUB peuvent aider à gérer ces ensembles de données.
Maintenance prédictive dans l'industrie manufacturière: Les données des capteurs (température, vibration, pression) des machines sont souvent bruyantes et peuvent contenir des lectures manquantes. Le prétraitement consiste à nettoyer ces données en filtrant le bruit, en imputant les valeurs manquantes à l'aide de méthodes statistiques et en normalisant les relevés des capteurs avant de les introduire dans un modèle ML pour prédire les défaillances de l'équipement, comme indiqué dans AI in Manufacturing.