Обслуживание моделей

Обслуживание модели — это процесс хостинга обученной модели машинного обучения и предоставления ее функциональности программным приложениям через сетевой интерфейс. Он действует как мост между статическим файлом модели, сохраненным на диске, и рабочей системой, которая обрабатывает реальные данные. После того как модель завершила этап обучения машинного обучения (ML), она должна быть интегрирована в производственную среду, где она может получать входные данные, такие как изображения, текст или табличные данные, и возвращать прогнозы. Обычно это достигается путем обертывания модели в интерфейс прикладного программирования (API), что позволяет ей обмениваться данными с веб-серверами, мобильными приложениями или устройствами IoT.

Роль моделирования в искусственном интеллекте

Основная цель обслуживания моделей — эффективная реализация возможностей прогнозного моделирования. В то время как обучение сосредоточено на точности и минимизации потерь, обслуживание фокусируется на таких показателях производительности, как задержка (скорость получения прогноза ) и пропускная способность (количество запросов, которые могут быть обработаны в секунду). Надежная инфраструктура обслуживания гарантирует, что системы компьютерного зрения (CV) остаются надежными при высоких нагрузках. Часто это включает в себя такие технологии, как контейнеризация с использованием инструментов, таких как Docker, который упаковывает модель с ее зависимостями для обеспечения стабильного поведения в различных вычислительных средах.

Применение в реальном мире

Обслуживание моделей обеспечивает повсеместное использование функций искусственного интеллекта в различных отраслях, позволяя мгновенно принимать решения на основе данных.

• Интеллектуальное производство: в промышленных условиях ИИ в производственных системах использует готовые модели для проверки сборочных линий. Изображения компонентов с высоким разрешением отправляются на локальный сервер, где модель YOLO26 обнаруживает дефекты, такие как царапины или неправильное расположение, и немедленно выдает предупреждения об удалении неисправных деталей.
• Автоматизация розничной торговли: Розничные продавцы используют ИИ в розничной торговле для улучшения качества обслуживания клиентов. Камеры, оснащенные моделями распознавания объектов, идентифицируют товары в зоне кассы и автоматически подсчитывают общую стоимость без необходимости ручного сканирования штрих-кодов .

Практическая реализация

Для эффективного использования модели часто бывает полезно экспортировать модели в стандартизированный формат, такой как ONNX, который способствует взаимодействию между различными средами обучения и механизмами обслуживания. В следующем примере показано, как загрузить модель и выполнить вывод, моделируя логику, которая будет существовать внутри конечной точки обслуживания с использованием Python.

from ultralytics import YOLO

# Load the YOLO26 model (this typically happens once when the server starts)
model = YOLO("yolo26n.pt")

# Simulate an incoming API request with an image source URL
image_source = "https://ultralytics.com/images/bus.jpg"

# Run inference to generate predictions for the user
results = model.predict(source=image_source)

# Process results (e.g., simulating a JSON response to a client)
print(f"Detected {len(results[0].boxes)} objects in the image.")

Выбор правильной стратегии

Выбор стратегии обслуживания в значительной степени зависит от конкретного случая использования. Онлайн-обслуживание обеспечивает немедленные ответы через протоколы, такие как REST или gRPC, что необходимо для веб-приложений, ориентированных на пользователя. Напротив, пакетное обслуживание обрабатывает большие объемы данных в автономном режиме, что подходит для таких задач, как ночное создание отчетов . Для приложений, требующих конфиденциальности или низкой задержки без зависимости от Интернета, Edge AI переносит процесс обслуживания непосредственно на устройство, используя оптимизированные форматы, такие как TensorRT , чтобы максимально повысить производительность на ограниченном оборудовании. Многие организации используют Ultralytics для упрощения развертывания этих моделей на различных конечных точках, включая облачные API и пограничные устройства.

Отличие от смежных терминов

Хотя «обслуживание моделей» тесно связано с развертыванием моделей и выводами, оно отличается от них.

• Развертывание модели: это относится к более широкому этапу жизненного цикла, когда модель выпускается в производственную среду. Обслуживание — это конкретный механизм или программное обеспечение (например, NVIDIA Triton Server или TorchServe), используемое для выполнения развернутой модели.
• Вывод: это математическая операция вычисления прогноза на основе входных данных. Обслуживание модели обеспечивает инфраструктуру (сеть, масштабируемость и безопасность), которая позволяет надежно выполнять вывод для конечных пользователей.
• Микросервисы: Обслуживание часто архитектурно реализуется как набор микросервисов, где модель работает как независимый сервис, который могут запрашивать другие части приложения, часто обмениваясь данными в легких форматах, таких как JSON.