Узнай, как Edge AI и инновации NVIDIA, такие как Jetson, Triton и TensorRT, упрощают развертывание приложений компьютерного зрения.
Благодаря последним достижениям в области компьютерного зрения и искусственного интеллекта (ИИ) то, что раньше было лишь областью исследований, теперь находит применение в самых разных отраслях. От самоуправляемых автомобилей до медицинской визуализации и безопасности - системы компьютерного зрения решают реальные проблемы в масштабе.
Многие из этих приложений предполагают анализ изображений и видео в реальном времени, а полагаться на облачные вычисления не всегда практично из-за задержек, стоимости и соображений конфиденциальности. Пограничный ИИ - отличное решение в таких ситуациях. Запуская модели Vision AI непосредственно на пограничных устройствах, предприятия могут обрабатывать данные быстрее, доступнее и с большей безопасностью, что делает ИИ в реальном времени более доступным.
Во время YOLO Vision 2024 (YV24), ежегодного гибридного мероприятия, проводимого Ultralytics, одной из центральных тем стала демократизация Vision AI за счет более удобного и эффективного развертывания. Гай Дахан (Guy Dahan), старший архитектор решений в NVIDIA, рассказал о том, как аппаратные и программные решения NVIDIA, включая пограничные вычислительные устройства, серверы выводов, фреймворки оптимизации и SDK для развертывания ИИ, помогают разработчикам оптимизировать ИИ на границе.
В этой статье мы рассмотрим основные моменты из выступления Гая Дахана на YV24 и то, как последние инновации NVIDIAделают развертывание Vision AI более быстрым и масштабируемым.
Гай Дахан начал свое выступление с того, что выразил энтузиазм по поводу виртуального присоединения к YV24 и свой интерес к пакету Ultralytics Python и моделям Ultraalytics YOLO , сказав: "Я использую Ultralytics с того самого дня, как он вышел. Мне очень нравится Ultralytics - я использовал YOLOv5 еще до этого, и я настоящий энтузиаст этого пакета".
Затем он представил концепцию Edge AI, объяснив, что она предполагает выполнение вычислений ИИ непосредственно на устройствах вроде камер, дронов или промышленных машин, а не отправку данных для обработки на удаленные облачные серверы.
Вместо того чтобы ждать, пока изображения или видео будут загружены, проанализированы, а затем отправлены обратно с результатами, Edge AI позволяет анализировать данные мгновенно на самом устройстве. Это делает системы Vision AI быстрее, эффективнее и менее зависимыми от подключения к интернету. Edge AI особенно полезен для приложений, принимающих решения в реальном времени, таких как самоуправляемые автомобили, камеры безопасности и умные фабрики.
Представив Edge AI, Гай Дахан рассказал о его основных преимуществах, сделав акцент на эффективности, экономии средств и безопасности данных. Он объяснил, что одним из самых больших преимуществ является низкая задержка - поскольку модели ИИ обрабатывают данные непосредственно на устройстве, нет необходимости отправлять информацию в облако и ждать ответа.
Edge AI также помогает сократить расходы и защитить конфиденциальные данные. Отправка больших объемов данных в облако, особенно видеопотоков, может быть дорогостоящей. Однако обработка их локально снижает затраты на пропускную способность и хранение.
Еще одно ключевое преимущество - конфиденциальность данных, ведь информация остается на устройстве, а не передается на внешний сервер. Это особенно важно для приложений в сфере здравоохранения, финансов и безопасности, где сохранение локальности и безопасности данных является главным приоритетом.
Развивая эти преимущества, Гай Дахан прокомментировал растущее внедрение Edge AI. Он отметил, что с тех пор, как NVIDIA представила Jetson в 2014 году, его использование выросло в десять раз. Сегодня с устройствами Jetson работают более 1,2 миллиона разработчиков.
Затем Гай Дахан рассказал об устройствахNVIDIA Jetson- семействе краевых вычислительных устройств для ИИ, созданных для обеспечения высокой производительности при низком энергопотреблении. Устройства Jetson идеально подходят для приложений компьютерного зрения в таких отраслях, как робототехника, сельское хозяйство, здравоохранение и промышленная автоматизация. "Джетсоны" - это устройства Edge AI, специально созданные для ИИ. Я даже могу добавить, что изначально они были разработаны в основном для компьютерного зрения", - добавил Гай Дахан.
Устройства Jetson бывают трех уровней, каждый из которых подходит для разных нужд:
Также Гай Дахан рассказал о грядущей модели Jetson AGX Thor, которая выйдет на рынок в этом году, и сообщил, что она предложит в восемь раз большую производительность GPU (графического процессора), вдвое больший объем памяти и улучшенную производительность CPU (центрального процессора). Он специально разработан для гуманоидной робототехники и продвинутых приложений Edge AI.
Затем Гай Дахан перешел к обсуждению программной стороны Edge AI и объяснил, что даже при наличии мощного оборудования эффективное развертывание моделей может быть сложной задачей.
Одно из самых больших препятствий - совместимость, ведь разработчики ИИ часто работают с разными ИИ-фреймворками, такими как PyTorch и TensorFlow. Перемещение между этими фреймворками может быть сложным, требуя от разработчиков воссоздавать окружения, чтобы убедиться, что все работает правильно.
Масштабируемость - еще одна ключевая проблема. Модели ИИ требуют значительных вычислительных мощностей, и, как сказал Дахан, "еще не было такой компании, которая хотела бы иметь меньше вычислений". Расширение приложений ИИ на множество устройств может быстро стать дорогостоящим, что делает оптимизацию крайне важной.
Кроме того, конвейеры ИИ сложны, в них часто задействованы различные типы данных, обработка в реальном времени и системная интеграция. Разработчики прилагают много усилий, чтобы убедиться, что их модели беспрепятственно взаимодействуют с существующими программными экосистемами. Преодоление этих проблем - важнейшая часть повышения эффективности и масштабируемости внедрения ИИ.
Далее Гай Дахан обратил внимание на Triton Inference Server от NVIDIA. Он отметил, что многие компании и стартапы начинают разработку ИИ, не до конца оптимизировав свои модели. Переделка всего конвейера ИИ с нуля может быть разрушительной и отнимать много времени, что затрудняет эффективное масштабирование.
Вместо того чтобы требовать полной перестройки системы, Triton позволяет разработчикам постепенно дорабатывать и оптимизировать свои рабочие процессы ИИ, интегрируя более эффективные компоненты, не ломая существующие настройки. Благодаря поддержке множества фреймворков ИИ, включая TensorFlow, PyTorch, ONNX и TensorRT, Triton обеспечивает бесшовное развертывание в облачных средах, центрах обработки данных и пограничных устройствах с минимальными изменениями.
Вот некоторые из ключевых преимуществ Triton Inference Server от NVIDIA:
Допустим, тебе нужно еще большее ускорение; NVIDIA TensorRT это интересный вариант для оптимизации твоих моделей ИИ. Гай Дахан рассказал, что TensorRT - это высокопроизводительный оптимизатор глубокого обучения, созданный для графических процессоров NVIDIA . Модели из TensorFlow, PyTorch, ONNX и MXNet могут быть преобразованы в высокоэффективные GPU файлы с помощью TensorRT.
Что делает TensorRT таким надежным, так это его оптимизация под конкретное оборудование. Модель, оптимизированная для устройств Jetson, не будет работать так же эффективно на других GPU, потому что TensorRT точно настраивает производительность в зависимости от целевого оборудования. Тонкая настройка модели компьютерного зрения может привести к увеличению скорости вычислений в 36 раз по сравнению с неоптимизированными моделями.
Гай Дахан также обратил внимание на поддержку Ultralytics формата TensorRT, рассказав о том, как это делает развертывание моделей ИИ более быстрым и эффективным. Модели Ultralytics YOLO можно напрямую экспортировать в формат TensorRT , что позволяет разработчикам оптимизировать их для графических процессоров NVIDIA без необходимости вносить какие-либо изменения.
Завершая выступление на высокой ноте, Гай Дахан продемонстрировал DeepStream 7.0 - фреймворк ИИ, предназначенный для обработки видео, аудио и сенсорных данных в реальном времени с помощью графических процессоров NVIDIA . Созданный для поддержки высокоскоростных приложений компьютерного зрения, он позволяет обнаруживать, отслеживать и анализировать объекты в автономных системах, системах безопасности, промышленной автоматизации и умных городах. Выполняя ИИ непосредственно на пограничных устройствах, DeepStream устраняет зависимость от облака, снижая задержки и повышая эффективность.
В частности, DeepStream может обрабатывать видео с помощью ИИ от начала и до конца. Он поддерживает сквозные рабочие процессы, от декодирования и предварительной обработки видео до выводов ИИ и постобработки.
Недавно компания DeepStream представила несколько обновлений, призванных улучшить развертывание ИИ, сделав его более доступным и масштабируемым. Новые инструменты упрощают разработку, улучшают слежение за несколькими камерами и оптимизируют конвейеры ИИ для повышения производительности.
Разработчикам теперь доступна расширенная поддержка сред Windows, улучшенные возможности объединения датчиков для интеграции данных из нескольких источников, а также доступ к готовым эталонным приложениям для ускорения развертывания. Эти улучшения делают DeepStream более гибким и эффективным решением для приложений ИИ в реальном времени, помогая разработчикам с легкостью масштабировать интеллектуальную видеоаналитику.
Как было показано в ключевом докладе Гая Дахана на YV24, Edge AI переосмысливает приложения компьютерного зрения. С развитием аппаратного и программного обеспечения обработка данных в реальном времени становится все быстрее, эффективнее и экономичнее.
По мере того как все больше отраслей будут внедрять Edge AI, решение таких проблем, как фрагментация и сложность развертывания, станет ключом к раскрытию всего его потенциала. Принятие этих инноваций приведет к созданию более умных и отзывчивых приложений ИИ, формируя будущее компьютерного зрения.
Стань частью нашего растущего сообщества! Изучи наш репозиторий GitHub, чтобы узнать больше об искусственном интеллекте, и ознакомься с нашими вариантами лицензирования, чтобы начать свои проекты Vision AI. Любопытно узнать о таких инновациях, как ИИ в здравоохранении и компьютерное зрение в производстве? Загляни на страницы наших решений, чтобы узнать больше!
Начни свое путешествие с будущим машинного обучения
