Зелёная проверка
Ссылка копируется в буфер обмена

Расширение возможностей искусственного интеллекта Edge AI с помощью Sony IMX500 и AITRIOS

Присоединяйся к нам, так как мы расскажем о прорыве Sony в области передовой обработки искусственного интеллекта с помощью сенсора IMX500 и платформы AITRIOS, что поможет оптимизировать модели Ultralytics YOLO .

Edge AI позволяет моделям искусственного интеллекта (ИИ) работать непосредственно на таких устройствах, как смартфоны, камеры и дроны. Его ключевое преимущество заключается в том, что он поддерживает более быстрое принятие решений в реальном времени, не полагаясь на облако. На самом деле, исследования показывают, что использование ИИ на граничных платформах может повысить операционную эффективность на 40 %. 

Последние достижения в области краевого ИИ, особенно в компьютерном зрении, сделали его центральной темой YOLO Vision 2024 (YV24), Ultralytics' ежегодного гибридного мероприятия, на котором собираются энтузиасты и эксперты в области ИИ, чтобы изучить последние достижения в области ИИ. Одним из главных событий мероприятия стала ключевая презентация Sony, на которой они продемонстрировали свои новые передовые аппаратные и программные решения в области ИИ. Были представлены сенсор IMX500 и платформа AITRIOS, и Sony продемонстрировала, как эти инновации упрощают и повышают эффективность внедренияUltralytics YOLO моделей, таких как Ultralytics YOLO11 и Ultralytics YOLOv8 на грани.

Сессию вели Вэй Танг, менеджер по развитию бизнеса, специализирующийся на решениях Sony для обработки изображений, и Амир Серви, менеджер по продуктам Edge Deep Learning, обладающий опытом внедрения моделей глубокого обучения на устройствах с граничными возможностями. 

В этой статье мы вновь обратимся к выступлению Sony на YV24 и узнаем, как сенсор IMX500 и платформа AITRIOS оптимизируют использование моделей YOLO для более быстрой обработки ИИ в реальном времени. Давай приступим!

Видение Sony: Демократизация искусственного интеллекта на граничных устройствах

Вей Танг открыла сессию, рассказав о цели Sony - сделать краевой ИИ таким же доступным, как это было сделано с фотографией много лет назад. Она подчеркнула, что сейчас Sony сосредоточена на том, чтобы донести передовой ИИ Vision до большего количества людей с помощью краевых вычислений. Одним из движущих факторов этого является положительное влияние краевого ИИ на окружающую среду. Обрабатывая данные непосредственно на устройствах, а не в массивных дата-центрах, краевые вычисления помогают сократить потребление энергии и уменьшить выбросы углекислого газа. Это более умный и экологичный подход, который идеально вписывается в стремление Sony создавать технологии, которые не только работают лучше, но и помогают создать более устойчивое будущее.

Далее Вэй рассказал, как Sony Semiconductor Solutions, подразделение Sony, специализирующееся на технологиях обработки изображений и сенсоров, создает передовые датчики изображения. Эти датчики используются в самых разных устройствах, преобразуя свет в электронные сигналы для получения изображений. Ежегодно поставляется более 1,2 миллиарда датчиков, они используются почти в половине мобильных телефонов в мире, что делает Sony одним из главных игроков в индустрии обработки изображений

Рис. 1. Примеры датчиков изображения Sony.

Опираясь на этот опыт, Sony пошла дальше, превратив эти датчики из устройств для захвата изображений в умные инструменты, которые могут обрабатывать данные в реальном времени, позволяя получать информацию на основе искусственного интеллекта прямо на устройствах. Прежде чем мы обсудим аппаратные и программные решения, которые Sony использует для поддержки этого перехода, давай разберемся, какие краевые задачи ИИ призваны решить эти инновации.

Проблемы, связанные с обработкой изображений искусственного интеллекта на устройствах, расположенных на границе

Разработка передовых ИИ-решений сопряжена с несколькими ключевыми проблемами, особенно при работе с такими устройствами, как камеры и датчики. Многие из этих устройств имеют ограниченную мощность и вычислительные возможности, что затрудняет эффективный запуск продвинутых моделей ИИ.

Вот некоторые другие основные ограничения:

  • Сложность программного обеспечения: Адаптация моделей ИИ для работы на различных граничных устройствах с разными аппаратными конфигурациями может быть сложной и требовать настроек и оптимизаций.
  • Узкие места в постобработке: При передаче больших объемов данных с устройства на хост для постобработки часто возникает задержка. На это часто уходит больше времени, чем на собственно вывод модели ИИ.
  • Взрыв данных: Поскольку множество IoT-устройств постоянно генерируют данные, объем данных, которые нужно обрабатывать локально, может быть непомерно большим, что еще больше нагружает пограничные устройства.

Знакомство с сенсором Sony IMX500 Intelligent Vision Sensor

Sony IMX500 Intelligent Vision Sensor - это аппаратное обеспечение, меняющее правила игры в области обработки краевого ИИ. Это первый в мире интеллектуальный датчик зрения с возможностями искусственного интеллекта на кристалле. Этот датчик помогает преодолеть множество проблем в области краевого ИИ, включая узкие места в обработке данных, проблемы конфиденциальности и ограничения производительности.

В то время как другие датчики просто передают изображения и кадры, IMX500 рассказывает целую историю. Он обрабатывает данные непосредственно на сенсоре, позволяя устройствам генерировать выводы в режиме реального времени. Во время сессии Вэй Танг сказал: "Используя нашу передовую технологию датчиков изображения, мы стремимся создать новое поколение приложений, способных улучшить повседневную жизнь". IMX500 предназначен для достижения этой цели, изменяя то, как устройства обрабатывают данные непосредственно на сенсоре, без необходимости отправлять их в облако для обработки.

Вот некоторые из его ключевых особенностей:

  • Вывод метаданных: Вместо того чтобы отправлять полные изображения, он выводит метаданные, значительно сокращая размер данных, что снижает использование полосы пропускания и затраты.
  • Повышенная конфиденциальность: Обрабатывая данные на устройстве, IMX500 повышает уровень конфиденциальности, особенно в ситуациях, когда речь идет о конфиденциальной информации, например, в задачах компьютерного зрения, связанных с человеком, таких как подсчет людей.
  • Обработка данных в реальном времени: Способность датчика быстро обрабатывать данные означает, что он поддерживает быстрое принятие решений в реальном времени, что позволяет использовать краевые приложения ИИ, такие как автономные системы.

IMX500 - это не просто датчик камеры, это мощный сенсорный инструмент, который преобразует то, как устройства воспринимают и взаимодействуют с окружающим миром. Встраивая ИИ непосредственно в сенсор, Sony делает краевой ИИ более доступным для таких отраслей, как автомобилестроение, здравоохранение и умные города. В последующих разделах мы подробнее рассмотрим, как IMX500 работает с моделями Ultralytics YOLO , чтобы улучшить обнаружение объектов и обработку данных на краевых устройствах.

Рис. 2. Вей Танг на сцене YOLO VIiion 2024, представляющий интеллектуальный датчик зрения Sony IMX500.

Платформа AITRIOS от Sony: Упрощение краевого искусственного интеллекта

Представив датчик IMX500, Вэй Танг отметила, что, хотя аппаратное обеспечение имеет решающее значение, его одного недостаточно для решения всего спектра задач, связанных с внедрением ИИ на границах. Она рассказала о том, что для интеграции ИИ в такие устройства, как камеры и датчики, требуется не просто передовое оборудование - необходимо умное программное обеспечение, которое будет им управлять. Именно здесь на помощь приходит платформа AITRIOS от Sony, предлагающая надежное программное решение, призванное упростить и сделать более эффективным внедрение ИИ в краевые устройства.

AITRIOS выступает в роли моста между сложными моделями ИИ и ограничениями пограничных устройств. Он предоставляет разработчикам ряд инструментов для быстрого развертывания предварительно обученных моделей ИИ. Но что более важно, он поддерживает непрерывное переобучение, чтобы модели ИИ оставались адаптируемыми к изменениям в реальном мире. 

Вэй также рассказал о том, как AITRIOS упрощает процесс для тех, кто не обладает глубокими знаниями в области ИИ, предлагая гибкость в настройке моделей ИИ для конкретных случаев использования краевого ИИ. Он также решает такие распространенные проблемы, как нехватка памяти и падение производительности, облегчая интеграцию ИИ в небольшие устройства без ущерба для точности и скорости. 

Рис. 3. Примеры примеров использования Edge AI. Источник изображения: SONY Semicon | AITRIOS.

Оптимизация моделей YOLO на IMX500

Во второй части выступления микрофон был передан Амиру, который погрузился в техническую сторону того, как Sony оптимизировала моделиYOLO на сенсоре IMX500. 

Амир начал с того, что сказал: "МоделиYOLO - это краевые возможности, и их довольно легко оптимизировать, спасибо Гленну и команде. Я убежу тебя в этом, не волнуйся". Затем Амир объяснил, что, хотя много внимания обычно уделяется оптимизации самой модели ИИ, такой подход часто упускает из виду важнейшую проблему: узкие места в постобработке.

Амир отметил, что во многих случаях, как только модель ИИ завершает свою задачу, процесс передачи данных и постобработки на хост-устройстве может вызвать значительные задержки. Эта передача данных туда-сюда между устройством и хостом вносит задержку, которая может стать серьезным препятствием для достижения наилучшей производительности.

Рис. 4. Амир Серви на сцене YOLO Vision 2024 рассказывает об узких местах постобработки.

Чтобы решить эту проблему, Амир подчеркнул, что важно рассматривать всю сквозную систему, а не просто фокусироваться на модели искусственного интеллекта. В случае с сенсором IMX500 они обнаружили, что постобработка была главным узким местом, замедляющим все процессы. Он поделился, что настоящим прорывом стало разблокирование не максимального подавления (NMS) на чипе. 

Это позволило проводить постобработку непосредственно на сенсоре, избавив тебя от необходимости передавать большие объемы данных на хост-устройство. Запустив NMS непосредственно на IMX500, Sony преодолела то, что Амир назвал "стеклянным потолком постобработки", добившись гораздо лучшей производительности и снижения задержек.

Рис 6. Преодоление узкого места в постпроцессе. Источник изображения: SONY Semicon | AITRIOS

Далее мы рассмотрим, как эта инновация помогла моделям YOLO , особенно YOLOv8 Nano, более эффективно работать на граничных устройствах, создавая новые возможности для обработки ИИ в реальном времени на небольших, ограниченных в ресурсах аппаратных средствах.

YOLOv8 Модели достигают 4-кратного увеличения скорости благодаря IMX500 от Sony

Завершая выступление на высокой ноте, Амир продемонстрировал, как они смогли в четыре раза увеличить производительность модели YOLOv8 Nano, запустив NMS на edge. Он продемонстрировал это на Raspberry Pi 5, в который был интегрирован датчик IMX500 AI. Амир сравнил производительность, когда постобработка выполнялась на хост-устройстве, а не на чипе IMX500. 

Результаты наглядно показали значительное улучшение количества кадров в секунду (FPS) и общей эффективности, когда обработка производилась на чипе. Оптимизация сделала обнаружение объектов более быстрым и плавным, а также продемонстрировала практичность обработки ИИ в реальном времени на небольших, ограниченных в ресурсах устройствах, таких как Raspberry Pi.

Основные выводы

Сенсор IMX500 от Sony, платформа AITRIOS и модели Ultralytics YOLO меняют направление развития краевого ИИ. Обработка ИИ на чипе снижает передачу данных и время задержки, повышая конфиденциальность, безопасность и эффективность. Сосредоточившись на всей системе, а не только на модели ИИ, эти инновации делают краевой ИИ более доступным для разработчиков и тех, кто не обладает глубокими знаниями в области ИИ. По мере дальнейшего развития технологий краевого ИИ они, вероятно, позволят создавать более умные устройства, быстрее принимать решения и усилить защиту конфиденциальности в самых разных отраслях и приложениях.

Оставайся на связи с нашим сообществом, чтобы продолжать узнавать об ИИ! Загляни в наш репозиторий на GitHub, чтобы узнать, как мы можем использовать ИИ для создания инновационных решений в различных отраслях, таких как сельское хозяйство и производство. 🚀

Логотип FacebookЛоготип ТвиттераЛоготип LinkedInСимвол копирования-ссылки

Читайте больше в этой категории

Давай вместе построим будущее
искусственного интеллекта!

Начни свое путешествие с будущим машинного обучения