Развертывание модели

Развертывание модели — это критически важный этап, на котором обученная модель машинного обучения интегрируется в производственную с целью принятия практических решений или прогнозов на основе новых данных. Это представляет собой переход от исследовательской или экспериментальной среды — часто выполняемой в изолированных ноутбуках — к реальному приложению, где модель взаимодействует с реальными пользователями и системами. Этот процесс преобразует статический файл весов и архитектуры в активного агента искусственного интеллекта, способного приносить пользу, например, идентифицировать объекты в видеопотоке или рекомендовать продукты на веб-сайте.

Эффективное развертывание требует решения задач, отличных от обучения моделей, включая задержки, масштабируемость и совместимость оборудования. Организации часто используют Ultralytics для оптимизации этого жизненного цикла, обеспечивая беспрепятственную доставку моделей, обученных в облаке, в различные среды, от мощных серверов до периферийных устройств с ограниченными ресурсами.

Ландшафт развертывания

Стратегии развертывания обычно делятся на две категории: развертывание в облаке и развертывание на периферии. Выбор в значительной степени зависит от конкретных требований к скорости, конфиденциальности и возможности подключения.

• Развертывание в облаке: модель находится на централизованных серверах, которые часто управляются такими сервисами, как AWS SageMaker или Google AI. Приложения отправляют данные через Интернет в модель с помощью REST API, который обрабатывает запрос и возвращает результат. Этот метод предлагает практически неограниченную вычислительную мощность, что делает его идеальным для больших, сложных моделей, но он зависит от стабильного интернет-соединения.
• Развертывание на периферии: модель работает локально на устройстве, где генерируются данные, например на смартфоне, дроне или заводской камере. Этот подход, известный как периферийные вычисления, минимизирует задержку и повышает конфиденциальность данных, поскольку информация не покидает устройство. Такие инструменты, как TensorRT часто используются для оптимизации моделей для этих сред.

Подготовка моделей к производству

Перед развертыванием модель обычно проходит оптимизацию, чтобы обеспечить ее эффективную работу на целевом оборудовании. Этот процесс включает в себя экспорт модели, при котором формат обучения (например, PyTorch) преобразуется в формат, удобный для развертывания, такой как ONNX (Open Neural Network Exchange) или OpenVINO.

Методы оптимизации, такие как квантование, уменьшают размер модели и объем занимаемой памяти без значительной потери точности. Для обеспечения согласованности в различных вычислительных средах разработчики часто используют инструменты контейнеризации, такие как Docker, которые упаковывают модель со всеми необходимыми программными зависимостями.

Ниже приведен пример экспорта модели YOLO26 в ONNX , что является обычным шагом при подготовке к развертыванию:

from ultralytics import YOLO

# Load the YOLO26 nano model
model = YOLO("yolo26n.pt")

# Export the model to ONNX format for broad compatibility
# This creates a file suitable for various inference engines
path = model.export(format="onnx")

print(f"Model successfully exported to: {path}")

Применение в реальном мире

Модель развертывания широко используется в системах компьютерного зрения в различных отраслях промышленности.

• Контроль качества производства: в интеллектуальном производстве развернутые модели отслеживают конвейерные ленты в режиме реального времени. Система камер, работающая на модели, оптимизированной для устройств NVIDIA , может мгновенно detect в продуктах, запуская роботизированную руку для удаления бракованных изделий. Это требует сверхнизкой задержки, которую может обеспечить только развертывание искусственного интеллекта на периферии.
• Аналитика розничной торговли: магазины используют развернутые модели для анализа посещаемости и поведения покупателей. Благодаря интеграции моделей отслеживания объектов в потоки данных с камер видеонаблюдения розничные продавцы могут создавать тепловые карты популярных проходов. Эти данные помогают оптимизировать планировку магазинов и улучшить управление запасами, часто с использованием облачного развертывания для агрегирования данных из нескольких мест.

Развертывание, вывод и обучение

Важно отличать развертывание модели от связанных терминов в жизненном цикле машинного обучения:

• Обучение модели — это этап обучения, на котором алгоритм изучает закономерности на основе набора данных.
• Развертывание модели — это этап интеграции, на котором обученная модель устанавливается в производственную инфраструктуру (серверы, приложения или устройства).
• Инференция — это операционная фаза, то есть фактическая обработка развернутой моделью реальных данных для создания прогноза. Например, инференционный движок выполняет вычисления, определенные развернутой моделью.

Мониторинг и техническое обслуживание

Развертывание — это не конец пути. После запуска модели требуют постоянного мониторинга для detect , как дрейф данных, когда реальные данные начинают отклоняться от данных обучения. Для track показателей track часто используются такие инструменты, как Prometheus или Grafana, которые обеспечивают надежность системы на протяжении всего времени. При снижении производительности модель может потребовать повторного обучения и повторного развертывания, завершая цикл MLOps.