Присоединяйся к нам, так как мы расскажем о прорыве Sony в области передовой обработки искусственного интеллекта с помощью сенсора IMX500 и платформы AITRIOS, что поможет оптимизировать модели Ultralytics YOLO .
Edge AI позволяет моделям искусственного интеллекта (ИИ) работать непосредственно на таких устройствах, как смартфоны, камеры и дроны. Его ключевое преимущество заключается в том, что он поддерживает более быстрое принятие решений в реальном времени, не полагаясь на облако. На самом деле, исследования показывают, что использование ИИ на граничных платформах может повысить операционную эффективность на 40 %.
Последние достижения в области краевого ИИ, особенно в компьютерном зрении, сделали его центральной темой на YOLO Vision 2024 (YV24), Ultralytics' ежегодном гибридном мероприятии, которое собирает энтузиастов и экспертов в области ИИ для изучения последних достижений в области ИИ зрения. Одним из главных событий мероприятия стала ключевая презентация Sony, на которой они продемонстрировали свои новые передовые аппаратные и программные решения в области ИИ. Были представлены сенсор IMX500 и платформа AITRIOS, и Sony продемонстрировала, как эти инновации упрощают и повышают эффективность внедрения моделейUltralytics YOLO , таких как Ultralytics YOLO11 и Ultralytics YOLOv8 on edge.
Сессию вели Вэй Танг, менеджер по развитию бизнеса, специализирующийся на решениях Sony для обработки изображений, и Амир Серви, менеджер по продуктам Edge Deep Learning, обладающий опытом внедрения моделей глубокого обучения на устройствах с граничными возможностями.
В этой статье мы вновь обратимся к выступлению Sony на YV24 и узнаем, как сенсор IMX500 и платформа AITRIOS оптимизируют использование моделей YOLO для более быстрой обработки ИИ в реальном времени. Давай приступим!
Вей Танг открыла сессию, рассказав о цели Sony - сделать краевой ИИ таким же доступным, как это было сделано с фотографией много лет назад. Она подчеркнула, что сейчас Sony сосредоточена на том, чтобы донести передовой ИИ Vision до большего количества людей с помощью краевых вычислений. Одним из движущих факторов этого является положительное влияние краевого ИИ на окружающую среду. Обрабатывая данные непосредственно на устройствах, а не в массивных дата-центрах, краевые вычисления помогают сократить потребление энергии и уменьшить выбросы углекислого газа. Это более умный и экологичный подход, который идеально вписывается в стремление Sony создавать технологии, которые не только работают лучше, но и помогают создать более устойчивое будущее.
Далее Вэй рассказал, как Sony Semiconductor Solutions, подразделение Sony, специализирующееся на технологиях обработки изображений и сенсоров, создает передовые датчики изображения. Эти датчики используются в самых разных устройствах, преобразуя свет в электронные сигналы для получения изображений. Ежегодно поставляется более 1,2 миллиарда датчиков, они используются почти в половине мобильных телефонов в мире, что делает Sony одним из главных игроков в индустрии обработки изображений.
Опираясь на этот опыт, Sony пошла дальше, превратив эти датчики из устройств для захвата изображений в умные инструменты, которые могут обрабатывать данные в реальном времени, позволяя получать информацию на основе искусственного интеллекта прямо на устройствах. Прежде чем мы обсудим аппаратные и программные решения, которые Sony использует для поддержки этого перехода, давай разберемся, какие краевые задачи ИИ призваны решить эти инновации.
Разработка передовых ИИ-решений сопряжена с несколькими ключевыми проблемами, особенно при работе с такими устройствами, как камеры и датчики. Многие из этих устройств имеют ограниченную мощность и вычислительные возможности, что затрудняет эффективный запуск продвинутых моделей ИИ.
Вот некоторые другие основные ограничения:
Sony IMX500 Intelligent Vision Sensor - это аппаратное обеспечение, меняющее правила игры в области обработки краевого ИИ. Это первый в мире интеллектуальный датчик зрения с возможностями искусственного интеллекта на кристалле. Этот датчик помогает преодолеть множество проблем в области краевого ИИ, включая узкие места в обработке данных, проблемы конфиденциальности и ограничения производительности.
В то время как другие датчики просто передают изображения и кадры, IMX500 рассказывает целую историю. Он обрабатывает данные непосредственно на сенсоре, позволяя устройствам генерировать выводы в режиме реального времени. Во время сессии Вэй Танг сказал: "Используя нашу передовую технологию датчиков изображения, мы стремимся создать новое поколение приложений, способных улучшить повседневную жизнь". IMX500 предназначен для достижения этой цели, изменяя то, как устройства обрабатывают данные непосредственно на сенсоре, без необходимости отправлять их в облако для обработки.
Вот некоторые из его ключевых особенностей:
IMX500 - это не просто датчик камеры, это мощный сенсорный инструмент, который преобразует то, как устройства воспринимают и взаимодействуют с окружающим миром. Встраивая ИИ непосредственно в сенсор, Sony делает краевой ИИ более доступным для таких отраслей, как автомобилестроение, здравоохранение и умные города. В последующих разделах мы подробнее рассмотрим, как IMX500 работает с моделями Ultralytics YOLO , чтобы улучшить обнаружение объектов и обработку данных на краевых устройствах.
Представив датчик IMX500, Вэй Танг отметила, что, хотя аппаратное обеспечение имеет решающее значение, его одного недостаточно для решения всего спектра задач, связанных с внедрением ИИ на границах. Она рассказала о том, что для интеграции ИИ в такие устройства, как камеры и датчики, требуется не просто передовое оборудование - необходимо умное программное обеспечение, которое будет им управлять. Именно здесь на помощь приходит платформа AITRIOS от Sony, предлагающая надежное программное решение, призванное упростить и сделать более эффективным внедрение ИИ в краевые устройства.
AITRIOS выступает в роли моста между сложными моделями ИИ и ограничениями пограничных устройств. Он предоставляет разработчикам ряд инструментов для быстрого развертывания предварительно обученных моделей ИИ. Но что более важно, он поддерживает непрерывное переобучение, чтобы модели ИИ оставались адаптируемыми к изменениям в реальном мире.
Вэй также рассказал о том, как AITRIOS упрощает процесс для тех, кто не обладает глубокими знаниями в области ИИ, предлагая гибкость в настройке моделей ИИ для конкретных случаев использования краевого ИИ. Он также решает такие распространенные проблемы, как нехватка памяти и падение производительности, облегчая интеграцию ИИ в небольшие устройства без ущерба для точности и скорости.
Во второй части выступления микрофон был передан Амиру, который погрузился в техническую сторону того, как Sony оптимизировала моделиYOLO на сенсоре IMX500.
Амир начал с того, что сказал: "МоделиYOLO - это краевые возможности, и их довольно легко оптимизировать, спасибо Гленну и команде. Я убежу тебя в этом, не волнуйся". Затем Амир объяснил, что, хотя много внимания обычно уделяется оптимизации самой модели ИИ, такой подход часто упускает из виду важнейшую проблему: узкие места в постобработке.
Амир отметил, что во многих случаях, как только модель ИИ завершает свою задачу, процесс передачи данных и постобработки на хост-устройстве может вызвать значительные задержки. Эта передача данных туда-сюда между устройством и хостом вносит задержку, которая может стать серьезным препятствием для достижения наилучшей производительности.
Чтобы решить эту проблему, Амир подчеркнул, что важно рассматривать всю сквозную систему, а не просто фокусироваться на модели искусственного интеллекта. В случае с сенсором IMX500 они обнаружили, что постобработка была главным узким местом, замедляющим все процессы. Он поделился, что настоящим прорывом стало разблокирование не максимального подавления (NMS) на чипе.
Это позволило проводить постобработку непосредственно на сенсоре, избавив тебя от необходимости передавать большие объемы данных на хост-устройство. Запустив NMS непосредственно на IMX500, Sony преодолела то, что Амир назвал "стеклянным потолком постобработки", добившись гораздо лучшей производительности и снижения задержек.
Далее мы рассмотрим, как эта инновация помогла моделям YOLO , особенно YOLOv8 Nano, более эффективно работать на граничных устройствах, создавая новые возможности для обработки ИИ в реальном времени на небольших, ограниченных в ресурсах аппаратных средствах.
Завершая выступление на высокой ноте, Амир продемонстрировал, как они смогли в четыре раза увеличить производительность модели YOLOv8 Nano, запустив NMS на edge. Он продемонстрировал это на Raspberry Pi 5, в который был интегрирован датчик IMX500 AI. Амир сравнил производительность, когда постобработка выполнялась на хост-устройстве, а не на чипе IMX500.
Результаты наглядно показали значительное улучшение количества кадров в секунду (FPS) и общей эффективности, когда обработка производилась на чипе. Оптимизация сделала обнаружение объектов более быстрым и плавным, а также продемонстрировала практичность обработки ИИ в реальном времени на небольших, ограниченных в ресурсах устройствах, таких как Raspberry Pi.
Сенсор IMX500 от Sony, платформа AITRIOS и модели Ultralytics YOLO меняют направление развития краевого ИИ. Обработка ИИ на чипе снижает передачу данных и время задержки, повышая конфиденциальность, безопасность и эффективность. Сосредоточившись на всей системе, а не только на модели ИИ, эти инновации делают краевой ИИ более доступным для разработчиков и тех, кто не обладает глубокими знаниями в области ИИ. По мере дальнейшего развития технологий краевого ИИ они, вероятно, позволят создавать более умные устройства, быстрее принимать решения и усилить защиту конфиденциальности в самых разных отраслях и приложениях.
Оставайся на связи с нашим сообществом, чтобы продолжать узнавать об ИИ! Загляни в наш репозиторий на GitHub, чтобы узнать, как мы можем использовать ИИ для создания инновационных решений в различных отраслях, таких как сельское хозяйство и производство. 🚀
Начни свое путешествие с будущим машинного обучения
