Пересмотри доклад Дмитрия Пастушенкова и Адриана Богушевского YOLO Vision 2024 об оптимизации YOLO моделей с помощью Intel OpenVino и выполнении выводов в реальном времени на Intel'AI PC.
YOLO Vision 2024 (YV24), Ultralytics' ежегодное гибридное мероприятие, собрало энтузиастов искусственного интеллекта, разработчиков и экспертов со всего мира, чтобы изучить последние инновации в области компьютерного зрения. YV24 стал отличной возможностью и платформой для обсуждения новых прорывов. На мероприятии ключевые игроки индустрии ИИ представили свои последние инновации. Среди них был и Intel, который принял участие в мероприятии, представив ключевой доклад о своем новом революционном ИИ-компьютере и Intel OpenVino' интеграции с Ultralytics YOLO моделями, такими как Ultralytics YOLO11.
Доклад вели Адриан Богушевски, программный евангелист, который является соавтором набора данных LandCover.ai и обучает разработчиков инструментарию Intel' OpenVINO ', и Дмитрий Пастушенков, евангелист AI PC с более чем 20-летним опытом работы в области промышленной автоматизации и ИИ. Во время мероприятия Адриан поделился своим воодушевлением и сказал: "Сегодня замечательное событие не только потому, что Ultralytics предоставил новую версию YOLO , но и потому, что мы можем представить эту новую модель, работающую на нашем новом оборудовании, а также новую версию OpenVINO."
В этой статье мы рассмотрим основные моменты из выступленияIntelна YV24, углубившись во все тонкости их AI PC, Intel Core Ultra 200V Series, и то, как они интегрируются с Ultralytics YOLO моделями с помощью OpenVINO toolkit. Давай начнем!
Дмитрий начал выступление с погружения в ключевые различия между традиционным ИИ и генеративным ИИ. Основное внимание было сосредоточено на том, как эти технологии и их сценарии использования будут развиваться в 2024 году. Традиционные методы ИИ, такие как компьютерное зрение и обработка естественного языка, были важны для таких задач, как оценка позы, обнаружение объектов и распознавание голоса. Генеративный ИИ, однако, представляет собой новую волну технологий ИИ, которая включает в себя такие приложения, как чат-боты, генерация текста в изображение, написание кода и даже превращение текста в видео.
Дмитрий указал на разницу в масштабах между ними. Он объяснил, что если традиционные модели ИИ состоят из миллионов параметров, то генеративные модели ИИ работают в гораздо больших масштабах. Генеративные модели ИИ часто включают в себя миллиарды или даже триллионы параметров, что делает их гораздо более требовательными к вычислительным ресурсам.
Дмитрий представил Intel AI PC как новое аппаратное решение, призванное решить растущие проблемы эффективного запуска как традиционных, так и генеративных моделей ИИ. Intel AI PC - это мощная и энергоэффективная машина. Он способен выполнять широкий спектр моделей ИИ локально, без необходимости облачной обработки.
Локальная обработка помогает сохранить конфиденциальность важных данных. Когда модели ИИ могут работать независимо от интернет-соединений, этические проблемы индустрии, связанные с конфиденциальностью и безопасностью, получают ответ.
Движущей силой Intel AI PC является процессор Intel Core Ultra 200V Series. Этот процессор включает в себя три ключевых компонента: центральный процессор (CPU), графический процессор (GPU) и блок нейронной обработки (NPU). Каждый из них играет определенную роль в обработке различных типов рабочих нагрузок ИИ. Процессор CPU идеально подходит для небольших задач с низкой задержкой, требующих быстрой реакции, в то время как GPU оптимизирован для высокопроизводительных операций, таких как запуск моделей ИИ. NPU, созданный для повышения энергоэффективности, хорошо подходит для длительных задач, таких как обнаружение объектов в реальном времени с помощью таких моделей, как YOLO11.
Было подчеркнуто, что CPU может обеспечить до 5 TOPS (триллионов операций в секунду), GPU - до 67 TOPS, а NPU обеспечивает энергоэффективный способ непрерывного выполнения задач ИИ без истощения системных ресурсов.
Процессор серии Intel Core Ultra 200V объединяет все три движка искусственного интеллекта - NPU, CPU, и GPU - в одном небольшом чипе. Его дизайн отлично подходит для компактных устройств, таких как ноутбуки, без ущерба для производительности.
Процессор также включает встроенную оперативную память, что снижает потребность в отдельных видеокартах. Это помогает снизить энергопотребление и сохранить компактность устройства. Дмитрий также подчеркнул гибкость процессора. Пользователи могут выбирать, на каком процессоре запускать модели ИИ: CPU, GPU или NPU, в зависимости от задачи. Например, обнаружение объектов с помощью моделей YOLO11 может выполняться на любом из этих движков, а более сложные задачи, такие как генерация текста в изображение, могут использовать одновременно GPU и NPU для большей производительности.
Во время презентации Дмитрий достал чип из кармана, дав всем понять, насколько он на самом деле мал - несмотря на его способность справляться с такими продвинутыми задачами ИИ. Это был забавный и запоминающийся способ показать, как Intel привносит мощные возможности ИИ в более портативные и практичные устройства.
Показав последние аппаратные достижения Intel, Дмитрий переключился на программный стек Intel, поддерживающий ИИ. Он представил OpenVINO, Intel' open-source фреймворк, предназначенный для оптимизации и эффективного развертывания моделей ИИ на различных устройствах. OpenVINO выходит за рамки визуальных задач, расширяя свою поддержку до моделей ИИ, используемых для обработки естественного языка, аудио, трансформаторов и так далее.
OpenVINO совместим с такими популярными платформами, как PyTorch, TensorFlow, и ONNX, и разработчики могут легко внедрить его в свои рабочие процессы. Одной из ключевых особенностей, на которую он обратил внимание, является квантование. Квантование сжимает веса моделей для уменьшения их размера, так что большие модели могут плавно работать на локальных устройствах, не нуждаясь в облаке. OpenVINO работает с несколькими фреймворками, работая на CPU, GPU, NPU, FPGA и даже ARM-устройствах, и поддерживает Windows, Linux и macOS. Дмитрий также рассказал слушателям о том, как легко начать работу с OpenVINO.
Во второй части выступления микрофон был передан Адриану, который рассказал о бесшовной интеграции между Ultralytics YOLO моделями и Intel' OpenVINO инструментарием, упрощающей процесс развертыванияYOLO моделей. Он пошагово объяснил, как быстро и просто экспортировать модель YOLO с помощью пакетаUltralytics Python в формат OpenVINO . Благодаря такой интеграции разработчикам гораздо проще оптимизировать свои модели для Intel оборудования и получить максимальную отдачу от обеих платформ.
Адриан продемонстрировал, что после обучения модели Ultralytics YOLO пользователь может экспортировать ее с помощью нескольких простых флагов командной строки. Например, пользователь может указать, экспортировать ли модель в виде версии с плавающей точкой для максимальной точности или в виде квантованной версии для большей скорости и эффективности. Он также рассказал о том, как разработчики могут управлять этим процессом непосредственно через код, используя такие опции, как квантование INT8, чтобы повысить производительность, не жертвуя при этом слишком большой точностью.
Воплощая всю эту теорию на практике, команда Intel представила демонстрацию обнаружения объектов в реальном времени, запустив YOLO11 на компьютере Intel AI PC. Адриан продемонстрировал, как система справляется с моделью на разных процессорах, добившись 36 кадров в секунду (FPS) на CPU с моделью с плавающей запятой, более 100 FPS на интегрированном GPU и 70 FPS с квантованной версией INT8. Они смогли показать, насколько эффективно Intel AI PC может справляться со сложными задачами ИИ.
Он также отметил, что система может запускать модели параллельно, используя CPU, GPU и NPU вместе для задач, где все данные или видеокадры доступны заранее. Это полезно при обработке больших нагрузок, например видео. Система может распределять рабочую нагрузку между разными процессорами, что делает ее быстрее и эффективнее.
В завершение Адриан упомянул, что пользователи могут опробовать демо-версии у себя дома, включая такие решения, как подсчет людей и интеллектуальное управление очередями. Затем он показал бонусное демо, в котором пользователи могли вводить подсказки для генерации сновидческих образов в реальном времени на сайте GPU. Это продемонстрировало универсальность ПК Intel AI как для традиционных задач ИИ, так и для творческих, генеративных проектов ИИ.
На мероприятии у Intel был стенд, где они демонстрировали демо-версию обнаружения объектов в реальном времени с помощью YOLO11, работающей на их Intel AI PC. Присутствующие смогли увидеть модель в действии, оптимизированную с помощью OpenVINO и развернутую на процессоре Intel Core Ultra 200V.
На стенде Intel Дмитрий поделился: "Это мой первый раз на YOLO Vision, и я счастлив быть в Мадриде. Мы представляем модель YOLO11 от Ultralytics, работающую на процессоре Intel Core Ultra 200V. Она демонстрирует отличную производительность, и мы используем OpenVINO для оптимизации и развертывания модели. Было очень легко сотрудничать с Ultralytics и запускать модель на новейшем Intel оборудовании, используя CPU, GPU и NPU". На стенде также было несколько забавных раздаточных материалов, например футболки и ноутбуки, которые посетители могли забрать домой.
IntelВ ходе выступления на YV24, посвященного процессорам серии Intel Core Ultra 200V, было показано, как инструментарий OpenVINO оптимизирует такие модели ИИ, как Ultralytics YOLO11 . Эта интеграция позволяет пользователям запускать модели YOLO непосредственно на своих устройствах, обеспечивая высокую производительность в задачах компьютерного зрения, таких как обнаружение объектов. Главное преимущество заключается в том, что пользователям не нужно полагаться на облачные сервисы.
Разработчики и энтузиасты ИИ могут без труда запускать и настраивать модели YOLO , полностью используя аппаратное обеспечение, такое как CPU, GPU и NPU, для работы приложений в реальном времени. Intel OpenVINO инструментарий в сочетании с Ultralytics YOLO моделями открывает новые возможности для внедрения передовых возможностей ИИ прямо в персональные устройства, что делает его идеальным вариантом для разработчиков, стремящихся к инновациям в области ИИ в различных отраслях.
Давай сотрудничать и внедрять инновации! Посети наш репозиторий GitHub, чтобы изучить наш вклад и пообщаться с нашим сообществом. Посмотри, как мы используем ИИ, чтобы оказать влияние на такие отрасли, как производство и здравоохранение.
Начни свое путешествие с будущим машинного обучения
