Surveillance des modèles

La surveillance des modèles consiste à suivre, analyser et évaluer en continu les performances des modèles d'apprentissage automatique (ML) après leur déploiement en production. Alors que les logiciels traditionnels fonctionnent généralement de manière déterministe, c'est-à-dire qu'ils produisent indéfiniment le même résultat pour une entrée donnée, les modèles prédictifs s'appuient sur des modèles statistiques qui peuvent évoluer au fil du temps. À mesure que l' environnement réel évolue, les données alimentant ces modèles peuvent changer, entraînant une dégradation de leur précision ou de leur fiabilité. La surveillance garantit que les systèmes d'intelligence artificielle (IA) continuent à apporter de la valeur en identifiant des problèmes tels que la dérive des données ou la dérive des concepts avant qu'ils n'aient un impact négatif sur les résultats commerciaux ou l'expérience utilisateur.

L'importance de la surveillance après le déploiement

Dans le cycle de vie des opérations d'apprentissage automatique (MLOps) , le déploiement n'est pas la ligne d'arrivée. Un modèle entraîné sur des données historiques représente un instantané du monde à un moment précis. Au fil du temps, des facteurs externes, tels que les changements saisonniers, les fluctuations économiques ou les nouveaux comportements des utilisateurs, peuvent modifier la distribution des données sous-jacentes. Ce phénomène, connu sous le nom de dérive des données, peut entraîner des « échecs silencieux » où le modèle produit des prédictions sans messages d'erreur, mais où la qualité de ces prédictions est inférieure aux normes acceptables .

Une surveillance efficace permet de détecter ces changements subtils. En établissant des références à l'aide de données de validation et en les comparant aux flux de production en temps réel , les équipes d'ingénieurs peuvent detect rapidement detect . Cette approche proactive permet de réentraîner ou de mettre à jour les modèles en temps opportun, garantissant ainsi que les systèmes tels que les véhicules autonomes ou les algorithmes de détection des fraudes restent sûrs et efficaces.

Indicateurs clés dans la surveillance des modèles

Pour maintenir un système ML sain, les praticiens track indicateurs qui se répartissent généralement en trois catégories :

• Indicateurs de fiabilité du service : ils track santé opérationnelle du moteur d'inférence. Les indicateurs clés comprennent la latence d'inférence (le temps nécessaire à une prédiction) et l'utilisation des ressources système, telles que le GPU . Des outils tels que Prometheus sont couramment utilisés pour collecter et stocker ces mesures au niveau du système.
• Mesures de la qualité des données : elles garantissent que les données saisies correspondent au schéma et à la distribution statistique attendus. Par exemple, une augmentation soudaine des valeurs manquantes ou un changement dans la valeur moyenne d'une caractéristique peut indiquer une rupture dans le pipeline de données en amont. Des tests statistiques tels que le test de Kolmogorov-Smirnov permettent de quantifier la distance entre les distributions d'entraînement et de production.
• Indicateurs de performance : dans l'idéal, les équipes surveillent les indicateurs de référence tels que la précision, l' exactitude et le rappel. Cependant, en production, les étiquettes réelles sont souvent retardées ou indisponibles. Dans ce cas, des indicateurs proxy tels que les scores de confiance des prédictions ou la stabilité de la distribution des résultats sont utilisés pour évaluer la santé.

Applications concrètes

La surveillance des modèles est essentielle dans divers secteurs où les décisions automatisées ont un impact sur les opérations et la sécurité :

• Vision par ordinateur dans le secteur manufacturier : dans le cadre de la fabrication intelligente, des modèles d'inspection visuelle detect sur les chaînes de montage. Au fil du temps, les objectifs des caméras peuvent accumuler de la poussière ou l'éclairage de l'usine peut changer, ce qui peut amener le modèle à classer à tort des pièces non défectueuses comme défectueuses. La surveillance du taux de détections positives permet d' identifier cette dérive, ce qui déclenche une maintenance ou un recalibrage à l'aide de Ultralytics .
• Détection des fraudes financières : les banques utilisent le ML pour signaler les transactions suspectes. Les criminels adaptent constamment leurs stratégies pour échapper à la détection, ce qui entraîne une dérive conceptuelle. En surveillant le ratio des transactions signalées et en examinant les commentaires des évaluateurs humains, les scientifiques des données peuvent rapidement mettre à jour les modèles afin de reconnaître les nouveaux schémas de fraude .

Surveillance vs observabilité

Il est utile de faire la distinction entre la surveillance et l' observabilité, car elles jouent des rôles complémentaires. La surveillance des modèles est généralement réactive et axée sur les « inconnues connues », utilisant des tableaux de bord pour alerter les équipes lorsque des indicateurs spécifiques dépassent un seuil (par exemple, lorsque la précision tombe en dessous de 90 %). L'observabilité explore plus en profondeur les « inconnues inconnues », en fournissant des journaux et des traces granulaires qui permettent aux ingénieurs de déboguer les raisons pour lesquelles une prédiction spécifique a échoué ou pourquoi un modèle présente un biais dans l'IA par rapport à un certain groupe démographique.

Exemple : suivi de la fiabilité des prévisions

Un moyen simple de surveiller la santé d'un modèle de vision par ordinateur consiste à track confiance moyenne de ses prédictions. Une baisse significative de la confiance peut indiquer que le modèle rencontre des données qu'il n'a pas été formé à traiter.

Voici un Python utilisant YOLO26 pour extraire des scores de confiance à partir d'un lot d'images à des fins de surveillance :

import numpy as np
from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Run inference on a source (e.g., a video frame or image list)
results = model(["bus.jpg", "zidane.jpg"])

# Extract confidence scores for monitoring
for i, result in enumerate(results):
    # Get the confidence scores for all detected objects
    confidences = result.boxes.conf.cpu().numpy()

    if len(confidences) > 0:
        avg_conf = np.mean(confidences)
        print(f"Image {i}: Average Detection Confidence: {avg_conf:.3f}")
    else:
        print(f"Image {i}: No objects detected.")

L'enregistrement régulier de ces statistiques permet aux équipes de visualiser les tendances au fil du temps à l'aide d'outils tels que Grafana ou les fonctionnalités de surveillance de la Ultralytics , garantissant ainsi la robustesse des modèles dans des environnements dynamiques .