Operações de aprendizagem automática (MLOps)

Princípios fundamentais dos MLOps

O MLOps baseia-se em vários princípios-chave concebidos para gerir as complexidades únicas dos sistemas de ML:

• Automatização: Automatiza tarefas repetitivas, como a preparação de dados, a formação de modelos, a validação e a implementação, utilizando pipelines de integração contínua/implementação contínua (CI/CD) adaptados ao ML.
• Colaboração: Promover a comunicação e a colaboração entre as equipas de ciência de dados, engenharia de software e operações ao longo do ciclo de vida do ML.
• Controlo de versões: Implementar o controlo de versões para dados, código e modelos para garantir a reprodutibilidade e a rastreabilidade. Ferramentas como o DVC são frequentemente utilizadas juntamente com o Git.
• Monitorização de modelos: Acompanha continuamente o desempenho do modelo, a qualidade dos dados e a integridade operacional na produção para detetar problemas como desvio de dados ou degradação do desempenho.
• Governação e conformidade: Assegura que os modelos cumprem os requisitos regulamentares, as diretrizes éticas(Ética da IA) e as políticas organizacionais relativas à privacidade e segurança dos dados.

O ciclo de vida do MLOps

O ciclo de vida do MLOps abrange todo o percurso de um modelo de ML:

1. Gestão de dados: Ingestão, validação, limpeza(Limpeza de dados) e controlo de versões de conjuntos de dados( os guiasde rotulagem e preparaçãode dados podem ser encontrados nos documentosUltralytics ).
2. Desenvolvimento de modelos: Experimentar diferentes algoritmos, engenharia de caraterísticas e arquitecturas, utilizando frequentemente estruturas como PyTorch ou TensorFlow.
3. Treino de modelos: Treinar modelos em escala, potencialmente utilizando treino distribuído e gerindo experiências com ferramentas como Weights & Biases ou MLflow. A afinação dos hiperparâmetros é frequentemente automatizada.
4. Validação do modelo: Avalia o desempenho do modelo utilizando métricas como precisão ou mAP em dados de validação.
5. Implantação de modelos: Empacotamento(Containerização com Docker) e implantação de modelos em ambientes de produção, potencialmente usando plataformas de orquestração como Kubernetes.
6. Monitorização e reciclagem de modelos: Acompanha o desempenho em tempo real, detecta desvios ou decaimento e aciona pipelines de retreinamento quando necessário. A observabilidade desempenha um papel fundamental aqui.

MLOps vs. Conceitos relacionados

• MLOps vs. AutoML: Enquanto o MLOps abrange toda a gestão do ciclo de vida de ponta a ponta, a Aprendizagem Automática de Máquinas (AutoML) centra-se especificamente na automatização dos passos de construção de modelos (preparação de dados, engenharia de caraterísticas, seleção de modelos, afinação de hiperparâmetros). As ferramentas de AutoML podem ser um componente de um fluxo de trabalho MLOps.
• MLOps vs. Observabilidade: A observabilidade é uma capacidade crítica dentro de uma estratégia de MLOps. Fornece as ferramentas e práticas (registo, métricas, rastreio) necessárias para compreender o estado interno e o comportamento dos sistemas de ML implementados, permitindo uma monitorização e resolução de problemas eficazes.

Aplicações no mundo real

As práticas de MLOps são essenciais para gerir sistemas complexos de ML em produção:

1. Sistemas de recomendação: Empresas como a Netflix ou o Spotify utilizam MLOps para treinar continuamente modelos de recomendação com base em novos dados de interação do utilizador, testar A/B diferentes versões de modelos, monitorizar métricas de envolvimento e reverter rapidamente modelos com fraco desempenho. Isso garante que as recomendações permaneçam relevantes e personalizadas.
2. Deteção de fraudes: As instituições financeiras implementam pipelines MLOps para gerir modelos de deteção de fraude. Isto envolve a monitorização dos dados de transação para detetar desvios, retreinar automaticamente modelos com novos padrões de fraude, garantir uma baixa latência de inferência para deteção em tempo real e manter pistas de auditoria para conformidade regulamentar. Ultralytics YOLO da Ultralytics, quando usados em sistemas de inspeção visual que podem alimentar a deteção de fraudes, também se beneficiam dos MLOps para implantação e monitoramento.

Ferramentas e plataformas

Uma variedade de ferramentas suporta diferentes fases do ciclo de vida dos MLOps:

• Acompanhamento e controlo de versões de experiências: MLflow, Weights & BiasesDVC, ClearML.
• Orquestração do fluxo de trabalho: Pipelines Kubeflow, Apache Airflow.
• Servidor de modelos: KFServing, BentoML, Servidor de InferênciaNVIDIA Triton .
• Monitorização: Grafana, Prometheus, WhyLabs.
• Plataformas de ponta a ponta: Amazon SageMaker, Google Cloud AI Platform, Microsoft Azure Machine Learning, Ultralytics HUB.

A implementação dos princípios MLOps ajuda as organizações a criar, implementar e gerir sistemas de IA de forma mais eficaz, colmatando a lacuna entre a investigação experimental e as aplicações de produção fiáveis.