Prétraitement des données

Pourquoi le prétraitement des données est-il important ?

Les modèles d'apprentissage automatique apprennent des modèles à partir des données. Si les données sont défectueuses, le modèle apprendra des schémas incorrects, ce qui entraînera de mauvaises prédictions et décisions. Des données de haute qualité et bien préparées sont essentielles pour construire des modèles robustes comme ceux d' Ultralytics YOLO pour des tâches telles que la détection d'objets. Un prétraitement efficace des données permet de :

• Améliore la précision des modèles : Des données propres permettent d'obtenir des modèles plus précis.
• Réduire le temps de formation : La suppression des données non pertinentes ou redondantes peut accélérer le processus de formation.
• Éviter les erreurs : Le traitement des incohérences empêche les modèles d'apprendre des corrélations fallacieuses.
• Améliorer la généralisation : Des données correctement prétraitées permettent aux modèles d'être plus performants sur des données inédites, ce qui réduit l'ajustement excessif.

Techniques courantes de prétraitement des données

Plusieurs techniques sont couramment employées lors du prétraitement des données :

• Nettoyage des données: Il s'agit d'identifier et de traiter les erreurs, les incohérences, les valeurs manquantes (imputation) et les valeurs aberrantes dans l'ensemble de données. Il permet de s'assurer que les données sont exactes et cohérentes.
• Transformation des données: Cela comprend des techniques comme :
  • Normalisation / Mise à l'échelle : Ajustement de l'étendue ou de la distribution des caractéristiques numériques (par exemple, mise à l'échelle des valeurs des pixels dans les images de 0-255 à 0-1). Cela permet de s'assurer que les caractéristiques ayant des valeurs plus importantes n'influencent pas le modèle de manière disproportionnée.
  • Encodage des variables catégorielles : Convertir des données non numériques (comme des catégories ou des étiquettes) en un format numérique que les modèles peuvent comprendre, à l'aide de méthodes telles que l'encodage à une touche.
• Ingénierie de la fonctionnalité: Création de nouvelles caractéristiques potentiellement plus informatives à partir des caractéristiques existantes afin d'améliorer les performances du modèle.
• Extraction de caractéristiques: Déduction automatique de nouvelles caractéristiques de dimensions inférieures à partir des données d'origine, souvent utilisée dans le traitement des images.
• Réduction de la dimensionnalité: Réduction du nombre de caractéristiques d'entrée tout en préservant les informations importantes, ce qui peut simplifier les modèles et réduire les coûts de calcul. Des techniques telles que l'analyse en composantes principales (ACP) sont courantes.
• Prétraitement de l'image: Spécifique à la vision par ordinateur, ce traitement comprend le redimensionnement des images à une taille uniforme, la conversion des espaces colorimétriques (par exemple, RVB en niveaux de gris) et l'application de filtres pour la réduction du bruit. Tu trouveras plus de détails dans le guideUltralytics sur le prétraitement des données annotées.

Applications dans le monde réel

1. Vision par ordinateur pour les véhicules autonomes: Les données d'image provenant des caméras nécessitent un prétraitement approfondi. Il s'agit notamment de redimensionner les images, de normaliser l'intensité des pixels, de corriger la distorsion de l'objectif et d'appliquer des techniques d'augmentation des données telles que des rotations aléatoires ou des ajustements de luminosité pour rendre les modèles de détection d'objets robustes à des conditions variables. Des plateformes comme Ultralytics HUB peuvent aider à gérer ces ensembles de données.
2. Maintenance prédictive dans l'industrie manufacturière: Les données des capteurs (température, vibration, pression) des machines sont souvent bruyantes et peuvent contenir des lectures manquantes. Le prétraitement consiste à nettoyer ces données en filtrant le bruit, en imputant les valeurs manquantes à l'aide de méthodes statistiques et en normalisant les relevés des capteurs avant de les introduire dans un modèle ML pour prédire les défaillances de l'équipement, comme indiqué dans AI in Manufacturing.

Prétraitement des données et concepts connexes

• Nettoyage des données vs. prétraitement des données: Le nettoyage des données est un sous-ensemble du prétraitement des données, spécifiquement axé sur le traitement des erreurs, des valeurs manquantes et des incohérences. Le prétraitement des données est plus large et englobe le nettoyage, la transformation et la manipulation des caractéristiques.
• Étiquetage des données et prétraitement des données: L'étiquetage des données consiste à ajouter des étiquettes ou des annotations informatives (comme des boîtes de délimitation pour la détection d'objets) aux données brutes, fournissant ainsi la vérité de base pour l'apprentissage supervisé. Cela se produit généralement avant le prétraitement des données, qui prépare ensuite les données étiquetées pour l'apprentissage du modèle. Voir le guide sur la collecte et l'annotation des données pour plus de détails.
• Augmentation des données et prétraitement des données: L'augmentation des données accroît artificiellement la taille et la diversité de l'ensemble des données de formation en créant des copies modifiées des données existantes (par exemple, en retournant des images, en ajoutant du bruit). Bien qu'elle soit étroitement liée et souvent appliquée parallèlement aux étapes de prétraitement, son objectif principal est d'améliorer la généralisation du modèle plutôt que de simplement nettoyer ou formater les données. Explore les conseils pour la formation de modèles qui impliquent souvent l'augmentation.

Outils et ressources

Diverses bibliothèques et outils facilitent le prétraitement des données :

• Pandas: Une bibliothèque Python populaire pour la manipulation et l'analyse des données, excellente pour nettoyer et transformer les données tabulaires.
• Scikit-learn: Offre une large gamme d'outils de prétraitement, y compris des scalpeurs, des encodeurs et des méthodes d'imputation au sein de son... preprocessing module.
• OpenCV: une bibliothèque essentielle pour les tâches de vision par ordinateur, qui offre des fonctions étendues pour le prétraitement des images.
• NumPy: Paquet fondamental pour le calcul numérique en Python, souvent utilisé pour les manipulations de tableaux lors du prétraitement.
• DocumentationUltralytics : Fournit des guides et des exemples relatifs au traitement des données pour les modèles YOLO .

En résumé, le prétraitement des données est une étape indispensable du flux de travail de l'apprentissage automatique, qui garantit que les données sont dans le meilleur état possible pour l'entraînement des modèles, ce qui permet d'obtenir des systèmes d'IA plus fiables et plus précis.