Зелёная проверка
Ссылка копируется в буфер обмена

Как провести бенчмаркинг моделей Ultralytics YOLO , таких как YOLO11

Узнай, как провести бенчмаркинг Ultralytics YOLO11, сравнить производительность на разных устройствах и изучить различные форматы экспорта, чтобы оптимизировать скорость, точность и эффективность.

Учитывая растущее количество доступных сегодня моделей ИИ, выбор наиболее подходящей из них для твоего конкретного приложения ИИ очень важен для достижения точных и надежных результатов. Каждая модель различается по скорости, точности и общей производительности. Как же определить, какая модель лучше всего подходит для той или иной задачи? Это особенно важно для систем реального времени, таких как автономные транспортные средства, решения для обеспечения безопасности и робототехника, где быстрое и надежное принятие решений имеет решающее значение.

Бенчмаркинг помогает ответить на этот вопрос, оценивая модель в различных условиях. Он дает представление о том, насколько хорошо модель работает в различных аппаратных установках и конфигурациях, позволяя принимать более взвешенные решения.

Например, Ultralytics YOLO11 это модель компьютерного зрения, которая поддерживает различные задачи анализа визуальных данных, такие как обнаружение объектов и сегментация экземпляров. Чтобы полностью понять ее возможности, ты можешь провести бенчмаркинг ее производительности на различных установках и посмотреть, как она будет справляться с реальными сценариями.

В этой статье мы рассмотрим, как проводить бенчмарки для моделейUltralytics YOLO , таких как YOLO11, сравним их производительность на различных аппаратных средствах и посмотрим, как различные форматы экспорта влияют на их скорость и эффективность. Давай приступим!

Что такое бенчмаркинг моделей?

Когда дело доходит до использования модели искусственного интеллекта Vision в реальном приложении, как ты можешь определить, будет ли она достаточно быстрой, точной и надежной? Бенчмаркинг модели может дать ответ на этот вопрос. Бенчмаркинг моделей - это процесс тестирования и сравнения различных моделей ИИ, чтобы понять, какая из них работает лучше. 

Он включает в себя определение базового уровня для сравнения, выбор правильных показателей производительности (например, точности или скорости) и тестирование всех моделей в одинаковых условиях. Результаты помогают выявить сильные и слабые стороны каждой модели, благодаря чему становится проще решить, какая из них лучше всего подходит для твоего конкретного ИИ-решения. В частности, эталонный набор данных часто используется для справедливого сравнения и оценки того, насколько хорошо модель работает в различных сценариях реального мира.

Рис. 1. Зачем проводить бенчмарки моделей компьютерного зрения? Изображение автора.

Яркий пример того, почему бенчмаркинг жизненно важен, - приложения реального времени, такие как видеонаблюдение или робототехника, где даже небольшие задержки могут повлиять на принятие решений. Бенчмаркинг помогает оценить, может ли модель быстро обрабатывать изображения и при этом выдавать достоверные прогнозы. 

Он также играет ключевую роль в выявлении узких мест в производительности. Если модель работает медленно или использует слишком много ресурсов, бенчмаркинг может показать, связана ли проблема с аппаратными ограничениями, конфигурацией модели или форматом экспорта. Эти данные очень важны для выбора наиболее эффективной настройки.

Сравнительный анализ моделей по сравнению с оценкой и тестированием моделей

Бенчмаркинг, оценка и тестирование моделей - популярные термины ИИ, которые используются вместе. Несмотря на свою схожесть, они не являются одним и тем же и выполняют разные функции. Тестирование модели проверяет, насколько хорошо работает одна модель, запуская ее на тестовом наборе данных и измеряя такие факторы, как точность и скорость. Между тем оценка модели идет на шаг дальше, анализируя результаты, чтобы понять сильные и слабые стороны модели и то, насколько хорошо она работает в реальных ситуациях. И в том, и в другом случае внимание уделяется только одной модели за раз.

Бенчмаркинг же сравнивает несколько моделей между собой, используя одни и те же тесты и наборы данных. Это помогает выяснить, какая модель лучше работает для конкретной задачи, выявляя различия в точности, скорости и эффективности между ними. В то время как тестирование и оценка сосредоточены на одной модели, бенчмаркинг помогает выбрать правильную (или лучшую) модель, справедливо сравнивая различные варианты.

Рис 2. Чем бенчмаркинг моделей отличается от оценки и тестирования. Изображение автора.

Обзор Ultralytics YOLO11

Ultralytics YOLO11 - надежная модель искусственного интеллекта Vision AI, которая предназначена для точного выполнения различных задач компьютерного зрения. Она улучшает предыдущие версии модели YOLO и наполнена функциями, которые могут помочь в решении реальных задач. Например, с ее помощью можно обнаруживать объекты, классифицировать изображения, сегментировать регионы, отслеживать движения и многое другое. Кроме того, она может применяться во многих отраслях, от безопасности до автоматизации и аналитики.

Рис. 3. Пример использования YOLO11 для сегментации людей на изображении.

Одно из ключевых преимуществ, связанных с Ultralytics YOLO11 , - это то, насколько он прост в использовании. Всего несколько строк кода - и каждый может интегрировать его в свои ИИ-проекты, не имея дела со сложными настройками или продвинутыми техническими знаниями. 

Кроме того, он плавно работает с различным оборудованием, эффективно функционируя на CPU (центральных процессорах), GPU (графических процессорах) и других специализированных AI-ускорителях. Вне зависимости от того, развернут ли он на пограничных устройствах или облачных серверах, он обеспечивает высокую производительность. 

YOLO11 выпускается в виде моделей разных размеров, каждая из которых оптимизирована под разные задачи. Бенчмаркинг помогает определить, какая версия лучше всего подходит под твои конкретные нужды. Например, один из ключевых моментов, который может выявить бенчмарк, заключается в том, что модели меньшего размера, такие как nano или small, обычно работают быстрее, но могут уступать в точности.

Как сравнивать модели YOLO , например YOLO11

Теперь, когда мы поняли, что такое бенчмаркинг и какова его важность. Давай разберемся, как ты можешь провести бенчмаркинг моделей YOLO , таких как YOLO11 , и оценить их эффективность, чтобы получить ценные сведения.

Чтобы начать, ты можешь установить Python Ultralytics , выполнив в терминале или командной строке следующую команду: "pip install ultralytics". Если во время установки у тебя возникнут какие-либо проблемы, ознакомься с нашим руководством по общим проблемам, чтобы получить советы по устранению неполадок.

После установки пакета ты сможешь легко провести бенчмарк YOLO11, написав всего несколько строк кода на Python :

from ultralytics.utils.benchmarks import benchmark

# Benchmark on GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)

Когда ты запускаешь код, показанный выше, он вычисляет, насколько быстро модель обрабатывает изображения, сколько кадров она может обработать за одну секунду и насколько точно она обнаруживает объекты. 

Упоминание "coco8.yaml" в коде относится к файлу конфигурации набора данных, основанному на наборе данных COCO8 (Common Objects in Context) - небольшой, выборочной версии полного набора данных COCO, часто используемого для тестирования и экспериментов.

Если ты тестируешь YOLO11 для конкретного приложения, например для мониторинга трафика или медицинской визуализации, то использование соответствующего набора данных (например, набора данных трафика или медицинского набора данных) позволит получить более точные сведения. Бенчмаркинг с помощью COCO дает общее представление о производительности, но для достижения наилучших результатов ты можешь выбрать набор данных, который отражает твой реальный сценарий использования.

Понимание результатов бенчмаркинга YOLO11

После того как бенчмарк YOLO11 был запущен, следующий шаг - интерпретация результатов. Запустив бенчмарк, ты увидишь в результатах различные цифры. Эти показатели помогают оценить, насколько хорошо YOLO11 работает с точки зрения точности и скорости. 

Вот некоторые заметные бенчмарки YOLO11 , на которые стоит обратить внимание:

  • mAP50-95: измеряет точность распознавания объектов. Более высокое значение означает, что модель лучше распознает объекты.
  • accuracy_top5: Этот показатель обычно используется в задачах классификации. Он показывает, как часто правильная метка оказывается в пятерке лучших предсказаний.
  • Время вывода: Время, затрачиваемое на обработку одного изображения, измеряется в миллисекундах. Меньшие значения означают более быструю обработку.
Рис. 4. График, показывающий производительность бенчмарка YOLO11.

Другие факторы, которые следует учитывать при сравнении YOLO11 

Взгляд на результаты бенчмарков сам по себе говорит лишь часть истории. Чтобы лучше понять производительность, полезно сравнить различные настройки и аппаратные опции. Вот несколько важных моментов, на которые стоит обратить внимание:

  • GPU против CPU: Графические процессоры могут обрабатывать изображения гораздо быстрее, чем центральные. Бенчмаркинг поможет тебе понять, достаточно ли быстро работает CPU для твоих нужд или тебе выгоднее использовать GPU.
    ‍.
  • Настройки точности (FP32, FP16, INT8): Они управляют тем, как модель обрабатывает числа. Более низкая точность (например, FP16 или INT8) заставляет модель работать быстрее и использовать меньше памяти, но при этом может немного снижаться точность.
  • Форматы экспорта: Преобразование модели в формат, подобный TensorRT , может заставить ее работать гораздо быстрее на определенном оборудовании. Это полезно, если ты оптимизируешь скорость работы на конкретных устройствах.

Как провести бенчмарк YOLO11 на разных аппаратных средствах

Пакет Ultralytics Python позволяет конвертировать модели YOLO11 в различные форматы, которые эффективнее работают на конкретном оборудовании, повышая как скорость, так и расход памяти. Каждый формат экспорта оптимизирован для разных устройств. 

С одной стороны, форматONNX позволяет ускорить работу в различных средах. С другой стороны, OpenVINO повышает эффективность на оборудовании Intel , а такие форматы, как CoreML или TF SavedModel , идеально подходят для устройств Apple и мобильных приложений. 

Давай рассмотрим, как ты можешь провести бенчмарк YOLO11 в определенном формате. Приведенный ниже код бенчмарка YOLO11 в формате ONNX , который широко используется для запуска моделей ИИ как на CPU, так и на GPU.

from ultralytics.utils.benchmarks import benchmark  

# Benchmark a specific export format (e.g., ONNX)  
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")  

Помимо результатов бенчмарков, выбор правильного формата зависит от технических характеристик твоей системы и потребностей в развертывании. Например, самодвижущимся автомобилям необходимо быстрое обнаружение объектов. Если ты планируешь использовать графические процессоры NVIDIA для ускорения производительности, то формат TensorRT - идеальный выбор для запуска YOLO11 на NVIDIA GPU.

Рис. 5. Использование YOLO11 для обнаружения объектов в самоуправляемых автомобилях.

Основные выводы

Пакет Ultralytics Python упрощает бенчмаркинг YOLO11 , предоставляя простые команды, которые могут справиться с тестированием производительности за тебя. Выполнив всего несколько шагов, ты сможешь увидеть, как различные настройки влияют на скорость и точность моделей, что поможет тебе сделать осознанный выбор, не нуждаясь в глубоких технических знаниях.

Правильно подобранное оборудование и настройки также могут иметь огромное значение. Настройка таких параметров, как размер модели и набор данных, позволит тебе точно настроить YOLO11 для достижения наилучшей производительности, независимо от того, запускаешь ли ты его на high-end GPU или локально на edge-устройстве.

Общайся с нашим сообществом и изучай передовые проекты в области ИИ в нашем репозитории GitHub. Узнай о влиянии ИИ в сельском хозяйстве и роли компьютерного зрения в производстве на страницах наших решений. Изучи наши лицензионные планы и начни свое путешествие в области ИИ прямо сейчас!

Логотип LinkedInЛоготип ТвиттераЛоготип FacebookСимвол копирования-ссылки

Читайте больше в этой категории

Давай вместе построим будущее
искусственного интеллекта!

Начни свое путешествие с будущим машинного обучения