Открой для себя развертывание квантованных моделей YOLOv8 с помощью DeGirum. Узнай о проблемах, решениях и методах развертывания пограничных устройств. Формируй будущее вместе с нами!
Добро пожаловать на обзор очередного содержательного доклада с нашего мероприятия YOLO VISION 2023 (YV23), которое прошло в ярком кампусе Google for Startups Campus в Мадриде. Этот доклад сделал Шаши Чилаппагар, главный архитектор и соучредитель DeGirum. Он погрузился в увлекательный мир квантования и развертывания квантованных моделей, исследовал ключевые проблемы, решения и будущие возможности.
Шаши представил исчерпывающий обзор квантования, подчеркнув его важность для оптимизации Ultralytics YOLO моделей для развертывания на пограничных устройствах. Начиная с обсуждения основ и заканчивая изучением подходов к улучшению квантования, слушатели получили ценные сведения о тонкостях переноса и развертывания моделей.
Квантование часто создает проблемы, особенно при работе с моделями YOLO в TFLite. Наша аудитория узнала о значительном падении точности, наблюдаемом, когда все выходы квантуются с одинаковым масштабом/нулевой точкой, что проливает свет на сложности сохранения точности модели в процессе квантования.
К счастью, существуют решения, позволяющие справиться с этими проблемами. Появление вилки DigiRAM предлагает подход, благоприятный для квантования, благодаря разделению выходов и оптимизации декодирования граничных блоков. Благодаря этим улучшениям точность квантованных моделей значительно повышается по сравнению с базовым уровнем.
Изучение новых архитектур моделей - ключ к минимизации потерь при квантовании. Слушатели узнали, как замена CILU на ограниченную активацию Relu6 приводит к минимальным потерям при квантовании, предлагая многообещающие результаты для поддержания точности в квантованных моделях.
Развертывание квантованных моделей еще никогда не было таким простым, ведь для запуска любой модели на облачной платформе Digitim требуется всего пять строк кода. Демонстрация кода в реальном времени показала простоту обнаружения объектов с помощью квантованной модели. Ultralytics YOLOv5 моделью, подчеркивая беспроблемную интеграцию квантованных моделей в реальные приложения.
Для этого Ultralytics предоставляет множество вариантов развертывания моделей, позволяя конечным пользователям эффективно внедрять свои приложения на встраиваемых и пограничных устройствах. Различные форматы экспорта включают в себя. OpenVINO, TorchScript, TensorRT, CoreML, TFlite и TFlite EDGE TPU, обеспечивающие универсальность и совместимость.
Такая интеграция со сторонними приложениями для развертывания позволяет пользователям оценить эффективность наших моделей в реальных сценариях.
Кроме того, слушатели получили представление об универсальности развертывания различных моделей на разных аппаратных платформах, продемонстрировав, как одна кодовая база может поддерживать несколько моделей на разных ускорителях. Примеры выполнения различных задач обнаружения на разных аппаратных платформах продемонстрировали гибкость и масштабируемость нашего подхода.
Чтобы еще больше расширить возможности участников, мы представили обширный раздел ресурсов, предоставляющий доступ к нашей облачной платформе, примерам, документации и многому другому. Наша цель - обеспечить всех необходимыми инструментами и поддержкой, чтобы добиться успеха в эффективном развертывании квантованных моделей.
Поскольку область квантования развивается, очень важно оставаться в курсе событий и участвовать в них. Мы обязуемся предоставлять постоянную поддержку и ресурсы, чтобы помочь тебе пройти этот захватывающий путь. Посмотри полный текст выступления здесь!
Присоединяйся к нам, ведь мы продолжаем изучать последние тенденции и инновации в области машинного обучения и искусственного интеллекта. Вместе мы формируем будущее технологий и способствуем позитивным изменениям в мире.
Начни свое путешествие с будущим машинного обучения
