Глоссарий

Механизм вывода

Открой для себя, как движки для обработки выводов обеспечивают мощь ИИ, предоставляя предсказания в реальном времени, оптимизируя модели и обеспечивая кроссплатформенное развертывание.

Обучай модели YOLO просто
с помощью Ultralytics HUB.

Узнай больше

В сфере искусственного интеллекта и машинного обучения механизм вывода - это компонент, отвечающий за развертывание обученных моделей для составления прогнозов на новых, невидимых данных. Он берет обученную модель и применяет ее к реальным данным для выполнения таких задач, как обнаружение объектов, классификация изображений или обработка естественного языка. По сути, это движок, который управляет этапом "вывода" машинного обучения, где выученные модели используются для анализа и интерпретации новых входных данных, позволяя системам ИИ решать проблемы и принимать решения в режиме реального времени.

Как работают двигатели вывода

Механизмы вывода работают с использованием предварительно обученных моделей, которые уже прошли обширное обучение на больших наборах данных. Эти модели, часто разработанные с помощью таких фреймворков, как PyTorch...содержат знания, необходимые для выполнения конкретных задач. Когда новые данные, такие как изображение или текст, поступают в механизм вывода, он обрабатывает их с помощью предварительно обученной модели. Этот процесс генерирует выходной сигнал, который может представлять собой ограничительную рамку для обнаружения объекта, классификационную метку или предсказанное настроение. Ultralytics YOLO Например, модели используют движки для обнаружения, сегментации и классификации объектов в реальном времени на различных платформах, от устройств с ограниченными ресурсами до мощных облачных серверов. Эффективность движка вывода имеет решающее значение для реальных приложений, влияя как на скорость, так и на точность предсказаний.

Ключевые особенности двигателей вывода

  • Умозаключения в реальном времени: Движки для вывода информации разработаны с учетом скорости, что позволяет проводить выводы в реальном времени для немедленного принятия решений в динамичных средах.
  • Кроссплатформенное развертывание: Они поддерживают развертывание на различных аппаратных средствах, от пограничных устройств вроде NVIDIA Jetson до облачной инфраструктуры, обеспечивая универсальность и масштабируемость.
  • Оптимизация моделей: В движках вывода часто используются такие техники оптимизации, как квантование модели и обрезка модели, чтобы повысить производительность и снизить требования к вычислениям.
  • Интеграция с аппаратными ускорителями: Они разработаны для использования аппаратных ускорителей, таких как TensorRT и OpenVINO для оптимизации производительности на конкретных аппаратных архитектурах.
  • Поддержка нескольких форматов моделей: Совместимость со стандартными форматами моделей, такими как ONNX позволяет без проблем интегрироваться с моделями, обученными в различных фреймворках.

Области применения двигателей вывода

1. Автономное вождение

В самоуправляемых автомобилях двигатели вывода являются сердцем системы восприятия. Они обрабатывают данные, поступающие в реальном времени от таких датчиков, как камеры и LiDAR, чтобы обнаружить объекты, пешеходов и разметку полосы движения, что позволяет автомобилю безопасно перемещаться по дороге. Ultralytics YOLO Модели, развернутые с использованием эффективных движков вывода, обеспечивают быстрое и точное обнаружение объектов, что крайне важно для безопасности и быстроты реакции автономного транспортного средства.

2. Анализ медицинских изображений

В здравоохранении движки для выводов революционизируют диагностику. Например, при анализе медицинских изображений модели, обученные выявлять аномалии на медицинских снимках, таких как МРТ или КТ, могут быть развернуты на движках вывода, чтобы помочь радиологам. Эти движки могут быстро анализировать изображения и выделять потенциальные проблемные области, повышая скорость и точность диагностики, а также поддерживая более раннее обнаружение таких заболеваний, как опухоли мозга.

Методы оптимизации

Для обеспечения оптимальной работы движков вывода используются различные методы оптимизации. Квантование модели снижает числовую точность весов модели, уменьшая размер модели и ускоряя вычисления. Обрезка модели устраняет менее важные связи в нейронной сети, упрощая модель и повышая скорость без существенной потери точности. Аппаратные оптимизации, такие как использование NVIDIA TensorRT на графических процессорах NVIDIA , еще больше повышают скорость вычислений, адаптируя выполнение модели к аппаратной архитектуре.

Отличие двигателей вывода от смежных понятий

Хотя движки вывода имеют решающее значение для развертывания моделей ИИ, они отличаются от обучающих фреймворков, таких как PyTorch, которые используются для создания и обучения моделей. Механизмы вывода сосредоточены исключительно на развертывании и выполнении уже обученных моделей. Они также отличаются от практик развертывания моделей, которые включают в себя более широкие стратегии и методологии, позволяющие сделать модели доступными и работающими в реальных условиях.

Заключение

Движки вывода незаменимы для переноса моделей ИИ и машинного обучения из лабораторий в реальные приложения. Их способность обеспечивать быстрые и точные предсказания в различных средах делает их краеугольным камнем современной инфраструктуры ИИ. Для тех, кто хочет упростить внедрение ИИ, такие платформы, как Ultralytics HUB, предлагают инструменты и ресурсы для эффективного развертывания и управления моделями ИИ на базе надежных движков вывода.

Читать полностью