Dérive des données

Pourquoi la dérive des données est-elle importante ?

Lorsque la dérive des données se produit, les modèles formés sur des données historiques deviennent moins efficaces pour faire des prédictions sur de nouvelles données inédites. Cette dégradation des performances peut entraîner une prise de décision erronée, une réduction de la valeur commerciale ou des défaillances critiques dans des applications sensibles telles que l 'IA dans les voitures auto-conduites ou les diagnostics médicaux. La surveillance continue des modèles est cruciale pour détecter rapidement la dérive et mettre en œuvre des actions correctives, telles que le recyclage ou la mise à jour des modèles, afin de préserver les performances. Ignorer la dérive des données peut rendre obsolètes même les modèles les plus sophistiqués.

Causes de la dérive des données

Plusieurs facteurs peuvent être à l'origine de la dérive des données, notamment :

• Changements dans le monde réel : Les événements extérieurs, l'évolution du comportement des utilisateurs, la saisonnalité ou les changements dans les tendances du marché peuvent modifier la distribution des données.
• Problèmes de collecte de données : Les modifications de l'étalonnage des capteurs, les changements dans les sources de données ou les erreurs dans le pipeline de données peuvent introduire une dérive. Par exemple, une caméra utilisée pour la détection d'objets peut être remplacée ou déplacée.
• Modifications du traitement des données en amont : Les altérations dans la façon dont les données sont collectées, agrégées ou prétraitées avant d'atteindre le modèle peuvent entraîner une dérive.
• Changements de caractéristiques : La pertinence ou la définition des caractéristiques d'entrée peut changer au fil du temps (dérive des caractéristiques).
• Changements de concept : La relation entre les caractéristiques d'entrée et la variable cible peut changer (dérive du concept), ce qui signifie que les schémas sous-jacents que le modèle a appris ne sont plus valables.

Dérive des données et concepts connexes

La dérive des données concerne principalement les changements dans la distribution des données d'entrée. Elle se distingue de :

• Dérive du concept : Il s'agit spécifiquement des changements dans la relation entre les caractéristiques d'entrée et la variable cible. Bien qu'elle se produise souvent en même temps que la dérive des données, il s'agit d'un changement dans le concept sous-jacent modélisé.
• Détection des anomalies: Elle se concentre sur l'identification de points de données individuels qui sont rares ou inhabituels par rapport à la norme. La dérive des données, à l'inverse, décrit un changement dans la distribution globale des données, et pas seulement des valeurs aberrantes isolées.

Applications dans le monde réel

La dérive des données a un impact sur les différents domaines dans lesquels les modèles de ML sont déployés :

• Commerce de détail : Les préférences des clients et les habitudes d'achat changent, surtout de façon saisonnière. Les systèmes de recommandation et les modèles de gestion des stocks doivent s'adapter à ces changements pour rester efficaces. Par exemple, la demande de vêtements d'hiver diminue à l'approche de l'été, ce qui entraîne une dérive des données de vente.
• Santé : Dans l'analyse d'images médicales, les changements dans l'équipement d'imagerie, les protocoles de numérisation ou les données démographiques des patients peuvent entraîner une dérive. Un modèle formé à la détection de tumeurs à l'aide d'images provenant d'un type de scanner peut donner de mauvais résultats sur des images provenant d'une machine plus récente. Les modèlesYOLO 'Ultralytics peuvent être utilisés pour des tâches telles que la détection de tumeurs, ce qui rend la surveillance de la dérive vitale.
• Finance : Les modèles de détection des fraudes sont confrontés à une dérive constante car les fraudeurs développent de nouvelles tactiques. Les changements économiques peuvent également avoir un impact sur les modèles de prédiction des défauts de paiement des prêts, car le comportement des emprunteurs change. Les modèles de vision par ordinateur dans le domaine de la finance nécessitent des mises à jour régulières.

Détecter et atténuer la dérive des données

La détection et le traitement de la dérive des données font appel à plusieurs techniques :

• Détection :
  • Surveillance des paramètres clés : Suivi des métriques de performance du modèle(précision, rappel, F1-score) et des métriques de données (comme les distributions de caractéristiques) au fil du temps. Des outils comme Prometheus et Grafana peuvent être utilisés pour la visualisation.
  • Tests statistiques : Employer des méthodes comme le test de Kolmogorov-Smirnov ou l'indice de stabilité de la population (ISP) pour comparer les distributions entre les données de formation et les données de production actuelles.
  • Outils de détection des dérives : Utilisation de bibliothèques comme Evidently AI ou NannyML conçues spécifiquement pour la détection des dérives. Des plateformes comme Ultralytics HUB peuvent aider à gérer les ensembles de données et à surveiller les performances du modèle au fil du temps.
• Atténuation :
  • Recyclage du modèle : Recyclage périodique du modèle sur des données récentes. Il peut s'agir d'un recyclage complet ou de mises à jour progressives. Des conseils pour l'entraînement du modèle peuvent aider à optimiser ce processus.
  • Apprentissage adaptatif : Utiliser des modèles conçus pour s'adapter à des distributions de données changeantes en ligne.
  • Augmentation des données : Appliquer des techniques pour rendre le modèle plus robuste aux variations pendant la formation. Explore les stratégies d'augmentation des données.

Gérer efficacement la dérive des données est un processus continu vital pour garantir que les systèmes d'IA restent fiables et apportent de la valeur tout au long de leur durée de vie opérationnelle.