Opérations d'apprentissage automatique (MLOps)

Principes fondamentaux des MLOps

MLOps repose sur plusieurs principes clés conçus pour gérer les complexités uniques des systèmes ML :

• Automatisation : Automatisation des tâches répétitives comme la préparation des données, l'entraînement des modèles, la validation et le déploiement à l'aide de pipelines d'intégration continue/déploiement continu (CI/CD) adaptés à la ML.
• Collaboration : Favoriser la communication et la collaboration entre les équipes de science des données, d'ingénierie logicielle et d'exploitation tout au long du cycle de vie de la ML.
• Versioning : Mise en place d'un contrôle de version pour les données, le code et les modèles afin d'assurer la reproductibilité et la traçabilité. Des outils comme DVC sont souvent utilisés parallèlement à Git.
• Surveillance du modèle: Suivi continu des performances du modèle, de la qualité des données et de la santé opérationnelle en production pour détecter les problèmes tels que la dérive des données ou la dégradation des performances.
• Gouvernance et conformité : Veiller à ce que les modèles respectent les exigences réglementaires, les directives éthiques(éthique de l'IA) et les politiques organisationnelles en matière de confidentialité et de sécurité des données.

Le cycle de vie de MLOps

Le cycle de vie MLOps englobe l'ensemble du parcours d'un modèle ML :

1. Gestion des données : Ingérer, valider, nettoyer(Data Cleaning), et versionner les ensembles de données(les guides d'étiquetage et de préparation desdonnées se trouvent dans Ultralytics Docs).
2. Développement de modèles : Expérimenter différents algorithmes, l'ingénierie des caractéristiques et les architectures, souvent en utilisant des cadres comme PyTorch ou TensorFlow.
3. Formation de modèles : Former des modèles à l'échelle, en utilisant potentiellement la formation distribuée et en gérant les expériences avec des outils tels que Weights & Biases ou MLflow. Le réglage des hyperparamètres est souvent automatisé.
4. Validation du modèle : Évaluer les performances du modèle à l'aide de mesures telles que la précision ou le mAP sur les données de validation.
5. Déploiement de modèles: Emballage(conteneurisation avec Docker) et déploiement des modèles dans des environnements de production, en utilisant potentiellement des plateformes d'orchestration comme Kubernetes.
6. Surveillance et recyclage des modèles : Suivre les performances en direct, détecter les dérives ou la décroissance, et déclencher des pipelines de recyclage si nécessaire. L 'observabilité joue ici un rôle clé.

MLOps et concepts connexes

• MLOps vs. AutoML : Alors que MLOps couvre la gestion du cycle de vie de bout en bout, Automated Machine Learning (AutoML) se concentre spécifiquement sur l'automatisation des étapes de construction des modèles (préparation des données, ingénierie des caractéristiques, sélection des modèles, réglage des hyperparamètres). Les outils AutoML peuvent être un composant d'un flux de travail MLOps.
• MLOps vs. Observabilité : L'observabilité est une capacité critique dans le cadre d'une stratégie MLOps. Elle fournit les outils et les pratiques (journalisation, mesures, traçage) nécessaires pour comprendre l'état interne et le comportement des systèmes ML déployés, ce qui permet une surveillance et un dépannage efficaces.

Applications dans le monde réel

Les pratiques MLOps sont essentielles pour gérer des systèmes ML complexes en production :

1. Systèmes de recommandation : Des entreprises comme Netflix ou Spotify utilisent les MLOps pour recycler en permanence les modèles de recommandation en fonction des nouvelles données d'interaction avec l'utilisateur, tester A/B différentes versions de modèles, surveiller les mesures d'engagement et revenir rapidement en arrière sur les modèles moins performants. Cela permet de s'assurer que les recommandations restent pertinentes et personnalisées.
2. Détection de la fraude : Les institutions financières déploient des pipelines MLOps pour gérer les modèles de détection des fraudes. Cela implique de surveiller les données de transaction pour détecter les dérives, de recycler automatiquement les modèles avec de nouveaux schémas de fraude, d'assurer une faible latence d'inférence pour une détection en temps réel, et de maintenir des pistes d'audit pour la conformité réglementaire. Ultralytics YOLO lorsqu'ils sont utilisés dans des systèmes d'inspection visuelle susceptibles d'alimenter la détection des fraudes, bénéficient également de MLOps pour le déploiement et la surveillance.

Outils et plateformes

Une variété d'outils soutiennent les différentes étapes du cycle de vie des MLOps :

• Suivi des expériences et des versions : MLflow, Weights & BiasesDVC, ClearML.
• Orchestration de flux de travail : Kubeflow Pipelines, Apache Airflow.
• Model Serving : KFServing, BentoML, NVIDIA Triton Inference Server.
• Surveillance : Grafana, Prometheus, WhyLabs.
• Plateformes de bout en bout : Amazon SageMaker, Google Cloud AI Platform, Microsoft Azure Machine Learning, Ultralytics HUB.

La mise en œuvre des principes MLOps aide les organisations à construire, déployer et gérer les systèmes d'IA plus efficacement, en comblant le fossé entre la recherche expérimentale et les applications de production fiables.