Узнай, как развернуть Ultralytics YOLO11 на Rockchip с помощью RKNN Toolkit для эффективного Edge AI, ускорения ИИ и обнаружения объектов в реальном времени.
В последнее время в сообществе ИИ все чаще звучит словосочетание "краевой ИИ", особенно когда речь идет о компьютерном зрении. По мере развития приложений, основанных на ИИ, возрастает потребность в эффективном запуске моделей на встраиваемых устройствах с ограниченной мощностью и вычислительными ресурсами.
Например, беспилотники используют Vision AI для навигации в реальном времени, умные камеры мгновенно обнаруживают объекты, а системы промышленной автоматизации осуществляют контроль качества, не полагаясь на облачные вычисления. Эти приложения требуют быстрой и эффективной обработки ИИ непосредственно на граничных устройствах, чтобы обеспечить производительность в реальном времени и низкую задержку. Однако запускать модели ИИ на граничных устройствах не всегда просто. Модели ИИ часто требуют больше мощности и памяти, чем могут осилить многие пограничные устройства.
Инструментарий RKNN Toolkit от Rockchip помогает решить эту проблему, оптимизируя модели глубокого обучения для устройств на базе Rockchip. Он использует выделенные блоки нейронной обработки (NPU) для ускорения вычислений, уменьшая задержки и энергопотребление по сравнению с обработкой на CPU или GPU .
Сообщество Vision AI с нетерпением ждало запуска Ultralytics YOLO11 на устройствах на базе Rockchip, и мы услышали тебя. Мы добавили поддержку экспорта YOLO11 в формат модели RKNN. В этой статье мы расскажем о том, как работает экспорт в RKNN и почему развертывание YOLO11 на устройствах на базе Rockchip станет переломным моментом.
Rockchip - это компания, которая занимается разработкой систем-на-чипах (SoC) - крошечных, но мощных процессоров, на которых работают многие встраиваемые устройства. Эти чипы сочетают в себе CPU, GPU и блок нейронной обработки (NPU), чтобы справляться с любыми задачами - от общих вычислений до приложений Vision AI, которые полагаются на обнаружение объектов и обработку изображений.
SoC от Rockchip используются в самых разных устройствах, включая одноплатные компьютеры (SBC), платы разработки, промышленные системы искусственного интеллекта и умные камеры. Многие известные производители оборудования, такие как Radxa, ASUS, Pine64, Orange Pi, Odroid, Khadas и Banana Pi, создают устройства на базе SoC от Rockchip. Эти платы популярны для краевых приложений ИИ и компьютерного зрения, потому что они предлагают баланс производительности, энергоэффективности и доступности.
Чтобы помочь моделям ИИ эффективно работать на этих устройствах, Rockchip предлагает набор инструментов RKNN (Rockchip Neural Network) Toolkit. Он позволяет разработчикам конвертировать и оптимизировать модели глубокого обучения для использования нейропроцессоров Rockchip.
Модели RKNN оптимизированы для выводов с низкой задержкой и эффективного энергопотребления. Преобразовав модели в RKNN, разработчики смогут добиться более высокой скорости обработки данных, снижения энергопотребления и повышения эффективности работы устройств на базе Rockchip.
Давай рассмотрим подробнее, как модели RKNN улучшают производительность ИИ на устройствах с поддержкой Rockchip.
В отличие от CPU и GPU, которые справляются с широким спектром вычислительных задач, NPU от Rockchip созданы специально для глубокого обучения. Конвертируя модели ИИ в формат RKNN, разработчики могут запускать умозаключения прямо на NPU. Это делает модели RKNN особенно полезными для задач компьютерного зрения в реальном времени, где важна быстрая и эффективная обработка данных.
NPU быстрее и эффективнее CPU и GPU для задач ИИ, потому что они созданы для параллельной обработки вычислений нейронных сетей. В то время как CPU обрабатывают задачи по одному шагу за раз, а GPU распределяют рабочую нагрузку между несколькими ядрами, NPU оптимизированы для более эффективного выполнения специфических для ИИ вычислений.
В результате модели RKNN работают быстрее и потребляют меньше энергии, что делает их идеальными для устройств с питанием от батарей, умных камер, промышленной автоматизации и других приложений краевого ИИ, требующих принятия решений в реальном времени.
МоделиUltralytics YOLO (You Only Look Once) предназначены для задач компьютерного зрения в реальном времени, таких как обнаружение объектов, сегментация объектов и классификация изображений. Они известны своей скоростью, точностью и эффективностью и широко используются в таких отраслях, как сельское хозяйство, производство, здравоохранение и автономные системы.
Со временем эти модели существенно улучшились. Например, Ultralytics YOLOv5 упростила обнаружение объектов с помощью PyTorch. Затем Ultralytics YOLOv8 добавила новые возможности, такие как оценка позы и классификация изображений. Теперь YOLO11 идет дальше, повышая точность и используя при этом меньше ресурсов. На самом деле YOLO11m показывает лучшие результаты на наборе данных COCO, используя при этом на 22% меньше параметров, чем YOLOv8m, что делает его одновременно более точным и более эффективным.
Модели Ultralytics YOLO также поддерживают экспорт в несколько форматов, что позволяет гибко развертывать их на разных платформах. Эти форматы включают ONNX, TensorRT, CoreML и OpenVINO, предоставляя разработчикам свободу в оптимизации производительности в зависимости от целевого оборудования.
С добавлением поддержки экспорта YOLO11 в формат модели RKNN, YOLO11 теперь может использовать преимущества NPU от Rockchip. Самая маленькая модель, YOLO11n в формате RKNN, достигает впечатляющего времени вывода - 99,5 мс на изображение, что позволяет выполнять обработку в реальном времени даже на встраиваемых устройствах.
В настоящее время модели обнаружения объектов YOLO11 можно экспортировать в формат RKNN. Также следи за новостями - мы работаем над тем, чтобы добавить поддержку других задач компьютерного зрения и квантования INT8 в будущих обновлениях.
Экспорт YOLO11 в формат RKNN - это простой процесс. Ты можешь загрузить свою натренированную модель YOLO11 , указать целевую платформу Rockchip и преобразовать ее в формат RKNN с помощью нескольких строк кода. Формат RKNN совместим с различными SoC Rockchip, включая RK3588, RK3566 и RK3576, что обеспечивает широкую аппаратную поддержку.
После экспорта модель RKNN может быть развернута на устройствах на базе Rockchip. Чтобы развернуть модель, тебе достаточно загрузить экспортированный файл RKNN на устройство Rockchip и запустить inference - процесс использования обученной модели ИИ для анализа новых изображений или видео и обнаружения объектов в режиме реального времени. Всего несколько строк кода - и ты можешь приступать к идентификации объектов из изображений или видеопотоков.
Чтобы лучше понять, где YOLO11 может быть развернут на устройствах с поддержкой Rockchip в реальном мире, давай пройдемся по некоторым ключевым приложениям краевого ИИ.
Процессоры Rockchip широко используются в планшетах Android, платах разработки и промышленных системах искусственного интеллекта. Благодаря поддержке Android, Linux и Python ты сможешь легко создавать и внедрять решения на основе искусственного интеллекта Vision для различных отраслей.
Распространенное приложение, которое предполагает запуск YOLO11 на устройствах с питанием от Rockchip, - это прочные планшеты. Это прочные, высокопроизводительные планшеты, предназначенные для работы в сложных условиях, таких как склады, стройплощадки и промышленные объекты. Эти планшеты могут использовать функцию обнаружения объектов для повышения эффективности и безопасности.
Например, в складской логистике работники могут использовать планшет на базе Rockchip с YOLO11 для автоматического сканирования и обнаружения инвентаря, что снижает количество человеческих ошибок и ускоряет время обработки. Точно так же на строительных площадках эти планшеты могут использоваться для определения того, надеты ли на рабочих необходимые средства защиты, такие как каски и жилеты, что помогает компаниям следить за соблюдением правил и предотвращать несчастные случаи.
Что касается производства и автоматизации, то промышленные платы на базе Rockchip могут сыграть большую роль в контроле качества и мониторинге процессов. Промышленная плата - это компактный высокопроизводительный вычислительный модуль, предназначенный для встраиваемых систем в промышленных условиях. Такие платы обычно включают в себя процессоры, память, интерфейсы ввода-вывода и возможности подключения, которые могут интегрироваться с датчиками, камерами и автоматизированным оборудованием.
Запуск моделей YOLO11 на этих платах позволяет анализировать производственные линии в реальном времени, мгновенно выявляя проблемы и повышая эффективность. Например, на автомобильном производстве система искусственного интеллекта, использующая аппаратное обеспечение Rockchip и YOLO11 , может обнаружить царапины, несоосность деталей или дефекты краски по мере того, как автомобили движутся по сборочной линии. Выявляя эти дефекты в режиме реального времени, производители могут сократить количество отходов, снизить себестоимость продукции и обеспечить более высокие стандарты качества до того, как автомобили попадут к покупателям.
Устройства на базе Rockchip предлагают хороший баланс производительности, стоимости и эффективности, что делает их отличным выбором для развертывания YOLO11 в пограничных AI-приложениях.
Вот несколько преимуществ запуска YOLO11 на устройствах на базе Rockchip:
Ultralytics YOLO11 может эффективно работать на устройствах на базе Rockchip за счет использования аппаратного ускорения и формата RKNN. Это сокращает время вывода и повышает производительность, что делает его идеальным для задач компьютерного зрения в реальном времени и приложений краевого ИИ.
Инструментарий RKNN Toolkit предоставляет ключевые инструменты оптимизации, такие как квантование и тонкая настройка, что обеспечивает хорошую работу моделей YOLO11 на платформах Rockchip. Оптимизация моделей для эффективной обработки на устройстве будет иметь большое значение по мере роста внедрения краевого ИИ. С помощью правильных инструментов и аппаратного обеспечения разработчики смогут открыть новые возможности для решений в области компьютерного зрения в различных отраслях.
Присоединяйся к нашему сообществу и изучай наш репозиторий на GitHub, чтобы узнать больше об искусственном интеллекте. Посмотри, как компьютерное зрение в сельском хозяйстве и ИИ в здравоохранении стимулируют инновации, посетив страницы наших решений. Также ознакомься с нашими вариантами лицензирования, чтобы начать создавать свои решения Vision AI уже сегодня!
Начни свое путешествие с будущим машинного обучения
