Зелёная проверка
Ссылка копируется в буфер обмена

Ultralytics YOLO11 на NVIDIA Jetson Orin Nano Super: быстро и эффективно

Узнай, как развертывание Ultralytics YOLO11 на NVIDIA Jetson Orin Nano Super обеспечивает впечатляющие бенчмарки и GPU-ускоренную производительность для передовых приложений искусственного интеллекта.

NVIDIA Jetson Orin Nano Super Developer Kit, представленный 17 декабря 2024 года, - это компактный, но мощный суперкомпьютер с генеративным искусственным интеллектом, призванный привнести передовые возможности в граничные вычисления. Он облегчает обработку данных в реальном времени и устраняет необходимость в облачных вычислениях. NVIDIA Jetson Orin Nano Super позволяет разработчикам создавать доступные интеллектуальные системы, которые эффективно работают в локальных средах.

В паре с такими моделямиUltralytics YOLO , как. Ultralytics YOLO11Jetson Orin Nano Super, он может справиться с огромным количеством приложений Vision AI на грани. В частности, YOLO11 - это модель компьютерного зрения, известная своей скоростью и точностью в таких задачах, как обнаружение объектов, отслеживание объектов и сегментация экземпляров. 

Сочетание возможностей YOLO11с мощным GPU (графическим процессором) и поддержкой таких фреймворков, как PyTorch, ONNX и NVIDIA TensorRT , обеспечивает высокопроизводительное развертывание. Такое сочетание дает разработчикам эффективное решение для создания приложений ИИ, от обнаружения объектов в робототехнике до отслеживания объектов в реальном времени в умных помещениях и системах розничной торговли.

В этой статье мы рассмотрим NVIDIA Jetson Orin Nano Super Developer Kit, как он работает с Ultralytics YOLO11 для краевого ИИ, его бенчмарки производительности, реальные приложения и как он может помочь разработчикам создавать проекты Vision AI. Давай начнем!

Что такое NVIDIA Jetson Orin Nano Super Developer Kit?

NVIDIA Jetson Orin Nano Super Developer Kit - это компактный, но мощный компьютер, который переосмысливает генеративный искусственный интеллект для небольших краевых устройств. Он обеспечивает до 67 TOPS (триллионов операций в секунду) производительности ИИ, что делает его идеальным для разработчиков, студентов и любителей, работающих над продвинутыми ИИ-проектами.

Рис. 1. Обзор NVIDIA Jetson Orin Nano Super.

Вот некоторые из его ключевых особенностей:

  • GPU Производительность: Устройство построено на архитектуре NVIDIA Ampere GPU, которая включает 1024 CUDA ядра и 32 Tensor ядра. CUDA ядра обрабатывают множество задач одновременно, ускоряя сложные вычисления, а Tensor ядра специализированы для задач ИИ, таких как глубокое обучение. 
  • Мощный CPU: Он оснащен 6-ядерным процессором Arm Cortex-A78AE, разработанным для баланса скорости и эффективности. Устройство может плавно справляться с множеством задач, сохраняя при этом низкий уровень энергопотребления. Это важно для систем, работающих локально, без доступа к большим источникам питания.
  • Эффективная память: В комплект входит 8 Гб памяти LPDDR5 (Low Power Double Data Rate 5). LPDDR5 - это тип оперативной памяти (Random Access Memory), оптимизированный для скорости и энергоэффективности, что позволяет устройству обрабатывать большие массивы данных и производить обработку в реальном времени, не потребляя чрезмерного количества энергии.
  • Возможности подключения: Он оснащен портами USB 3.2 для быстрой передачи данных, портом Gigabit Ethernet для мощных сетевых подключений, а также интерфейсами для интеграции датчиков или камер
  • Инструменты для разработки искусственного интеллекта: Jetson Orin Nano Super работает с NVIDIA JetPack SDK, который предоставляет такие инструменты, как CUDA , для ускорения вычислений и TensorRT для оптимизации моделей ИИ. Эти инструменты облегчают разработчикам быстрое и эффективное создание и развертывание приложений ИИ.

Бенчмарки производительности: Jetson Orin Nano Super против Orin NX 16GB

Если ты знаком с творчеством NVIDIA, то тебе может быть интересно, как новая версия сравнивается с существующей NVIDIA Jetson Orin NX 16GB (без суперрежима). Хотя Jetson Orin NX предлагает более высокие общие возможности, Jetson Orin Nano Super Developer Kit обеспечивает впечатляющую производительность за меньшую стоимость. 

Рис. 2. Взгляд на экосистему NVIDIA Jetson Orin.

Вот краткий обзор:

  • Производительность искусственного интеллекта: Jetson Orin Nano Super обеспечивает до 67 TOPS, что отлично подходит для большинства краевых задач ИИ, а Jetson Orin NX предлагает до 100 TOPS для более требовательных приложений.
  • Память: Jetson Orin Nano Super включает 8 Гб LPDDR5, чего достаточно для задач реального времени, а Orin NX удваивает этот показатель до 16 Гб для более масштабных рабочих нагрузок.
  • Энергоэффективность: Jetson Orin Nano Super более энергоэффективен и настраивается в диапазоне от 7 до 25 Вт, по сравнению с более требовательным к мощности Jetson Orin NX.
  • GPU: В обоих используется архитектура NVIDIA Ampere с 1024 CUDA ядрами и 32 Tensor ядрами для надежной GPU производительности.

YOLO11 С Jetson Orin Nano Super: доводим искусственный интеллект до края

Теперь, когда мы лучше понимаем, что такое Jetson Orin Nano Super, давай посмотрим, как YOLO11 может помочь донести возможности Vision AI до края. Ultralytics YOLO модели, включая YOLO11, поставляются с универсальными режимами, такими как обучение, предсказание и экспорт, что делает их адаптируемыми к различным рабочим процессам AI. 

Например, в режиме обучения Ultralytics YOLO модели могут быть тонко настроены и обучены на пользовательских наборах данных для конкретных приложений, таких как обнаружение уникальных объектов или оптимизация под конкретные условия окружающей среды. Аналогично, режим предсказания предназначен для выводов, позволяя решать задачи компьютерного зрения в реальном времени. Наконец, режим экспорта можно использовать для преобразования моделей в форматы, оптимизированные для развертывания.

Рис. 3. Ultralytics YOLO Модели поддерживают различные функции и режимы.

YOLO11 в режиме экспорта поддерживает ряд вариантов развертывания модели, включая, в частности, такие:

  • NVIDIA TensorRT: Этот формат оптимизирован для графических процессоров NVIDIA , предлагая высокопроизводительные и малозамедленные выводы на Jetson Orin Nano Super.
  • ONNX (Open Neural Network Exchange): Она обеспечивает совместимость с различными платформами, что делает ее универсальной для разных аппаратных и программных экосистем.
  • TorchScript: Этот формат идеально подходит для PyTorch- приложений, помогая легко интегрироваться в PyTorch рабочие процессы.
  • TFLite (TensorFlow Lite ): Формат, разработанный для легковесных развертываний ИИ, что делает его идеальным для мобильных и встраиваемых систем.

Используя эти форматы развертывания, разработчики могут использовать все преимущества аппаратного обеспечения Jetson Orin Nano Super для запуска YOLO11 для приложений реального времени, таких как "умные" пространства, робототехника и автоматизация розничной торговли. 

Бенчмаркинг YOLO11 на NVIDIA Jetson Orin Nano Super

Далее, чтобы лучше понять, насколько быстро YOLO11 может работать на NVIDIA Jetson Orin Nano Super, давай изучим его впечатляющую производительность и бенчмарки с использованием GPU- ускоренных форматов экспорта, таких как PyTorch, ONNX, и TensorRT. Эти тесты показывают, что Jetson Orin Nano Super достигает времени вывода с моделями YOLO11 , которое сравнимо с существующим Jetson Orin NX 16GB (без суперрежима), а иногда и превосходит его.

Рис. 4. Бенчмаркинг YOLO11 на NVIDIA Jetson Orin Nano Super.

Что делает это еще более примечательным, так это доступность Jetson Orin Nano Super. Предлагая такую производительность менее чем за половину цены Jetson Orin NX 16GB, он обеспечивает исключительную ценность для разработчиков, создающих высокопроизводительные YOLO11 -приложения. Такое сочетание стоимости и производительности делает Jetson Orin Nano Super отличным выбором для задач Vision AI в реальном времени на границе.

Рис. 5. Бенчмаркинг YOLO11 на Jetson Orin NX 16GB.

Проведи практические занятия с YOLO11 и NVIDIA Jetson Orin Nano Super.

Если тебе не терпится приступить к развертыванию YOLO11 на Jetson Orin Nano Super, то есть хорошие новости - это очень простой процесс. Прошив устройство с помощью NVIDIA JetPack SDK, ты можешь либо использовать готовый образ Docker для быстрой настройки, либо вручную установить необходимые пакеты. 

Для тех, кто ищет более быструю и беспроблемную интеграцию, обновленный докер-контейнер JetPack 6 - идеальное решение. Контейнер Docker - это легкая переносимая среда, которая включает в себя все необходимые инструменты и зависимости для запуска определенного программного обеспечения. 

Контейнер Ultralytics , оптимизированный для JetPack 6.1, поставляется с предустановленными CUDA 12.6, TensorRT 10.3 и такими необходимыми инструментами, как PyTorch и TorchVision, адаптированными для архитектуры ARM64 Jetson. Используя этот контейнер, разработчики могут сэкономить время на настройке и сосредоточиться на создании и оптимизации своих приложений Vision AI с помощью YOLO11.

Приложения YOLO11 на NVIDIA Jetson Orin Nano Super

Для тех, кто ищет вдохновения для своего следующего ИИ-проекта, скажу, что потенциал для применения компьютерного зрения на основе краев есть повсюду вокруг нас. 

В повседневной жизни краевой ИИ переосмысливает умные пространства, позволяя системам обнаруживать и отслеживать объекты в реальном времени, не полагаясь на облачную обработку данных. Будь то мониторинг трафика в шумном городе или выявление необычной активности в общественных местах, краевой ИИ Vision повышает безопасность и эффективность.

Ритейлеры также используют возможности краевого ИИ и компьютерного зрения. Такие модели, как YOLO11 , позволяют компаниям внедрять решения в режиме реального времени прямо в магазинах - от автоматической проверки запасов до предотвращения краж

Аналогично, когда речь идет об ИИ в здравоохранении, мониторинг на границе обеспечивает безопасность пациентов, выявляет аномалии и поддерживает соответствие нормам - и все это без задержек, вызванных зависимостью от облака. Благодаря таким инструментам, как Jetson Orin Nano Super и YOLO11, будущее Vision AI разворачивается прямо на границе, где он нужен больше всего.

Основные выводы

Развертывание Ultralytics YOLO моделей, таких как YOLO11 , на NVIDIA Jetson Orin Nano Super Developer Kit предлагает надежное и эффективное решение для краевых AI-приложений. Благодаря высокой производительности GPU , бесшовной поддержке PyTorch, ONNX и TensorRT, а также впечатляющим бенчмаркам, он хорошо подходит для задач компьютерного зрения в реальном времени, таких как обнаружение и отслеживание объектов. 

Инновации и сотрудничество в области передовых технологий, таких как Vision AI и аппаратное ускорение, меняют наши методы работы, позволяя разработчикам создавать масштабируемые, высокопроизводительные решения на границе. По мере развития ИИ такие инструменты, как YOLO11 и Jetson Orin Nano Super, позволяют как никогда легко воплощать в жизнь интеллектуальные решения, работающие в режиме реального времени.

Любопытно узнать об искусственном интеллекте? Посети наш репозиторий GitHub, чтобы изучить наш вклад и пообщаться с нашим сообществом. Посмотри, как мы используем ИИ, чтобы оказать влияние на такие отрасли, как сельское хозяйство и здравоохранение.

Логотип FacebookЛоготип ТвиттераЛоготип LinkedInСимвол копирования-ссылки

Читайте больше в этой категории

Давай вместе построим будущее
искусственного интеллекта!

Начни свое путешествие с будущим машинного обучения