Модельная обрезка

Зачем использовать обрезку моделей?

Есть несколько веских причин использовать обрезку моделей. Во-первых, она значительно уменьшает размер моделей машинного обучения, что делает их более удобными для развертывания на устройствах с ограниченным объемом памяти, таких как мобильные телефоны или пограничные системы. Уменьшение размера моделей также приводит к увеличению скорости вывода, так как для генерации предсказаний требуется меньше вычислений. Такое увеличение скорости жизненно важно для приложений реального времени, таких как обнаружение объектов в автономных транспортных средствах или анализ видео в реальном времени. Кроме того, обрезанные модели потребляют меньше энергии, что является важным преимуществом для устройств, работающих от аккумуляторов, и крупных центров обработки данных, стремящихся к устойчивому развитию ИИ.

Виды обрезки моделей

Обрезку моделей можно условно разделить на два основных типа:

• Обрезка весов: Эта техника направлена на удаление отдельных весов в нейронной сети. Ее можно разделить на структурированную и неструктурированную обрезку. Неструктурированная обрезка удаляет отдельные веса независимо от их положения, что приводит к разреженности, но потенциально нерегулярным шаблонам доступа к памяти. Структурированная обрезка, с другой стороны, удаляет целые структуры, такие как фильтры или каналы, что приводит к более компактным и удобным для аппаратного обеспечения моделям.
• Обрезка нейронов: Обрезка нейронов, также известная как обрезка узлов или блоков, подразумевает удаление целых нейронов или узлов из нейронной сети. Этот метод упрощает архитектуру сети более агрессивно, чем обрезка весов, и иногда может приводить к более значительным ускорениям и уменьшению размера модели.

Обрезка модели по сравнению с другими техниками оптимизации

В то время как обрезка модели уменьшает ее размер за счет удаления параметров, другие техники, такие как квантование модели и дистилляция знаний, предлагают альтернативные стратегии оптимизации. Квантование уменьшает точность весов (например, с 32-битной плавающей точки до 8-битного целого числа), что также уменьшает размер модели и ускоряет вычисления без изменения структуры модели. Дистилляция знаний обучает меньшую модель "ученика" подражать поведению большей, более сложной модели "учителя". Эти техники часто используются в сочетании с обрезкой, чтобы добиться еще большего повышения эффективности. Например, модель можно сначала обрезать, чтобы уменьшить ее размер, а затем квантовать, чтобы еще больше оптимизировать ее производительность для развертывания.

Реальное применение обрезки моделей в реальном мире

Обрезка моделей широко применяется в различных областях, особенно там, где вычислительные ресурсы ограничены или эффективность имеет первостепенное значение. Некоторые ключевые приложения включают:

• Мобильные и граничные устройства: Развертывание моделейUltralytics YOLO на мобильных устройствах для обнаружения объектов и обработки изображений в реальном времени требует эффективных моделей. Обрезка помогает уменьшить размер модели и время ожидания, что делает возможным выполнение сложных задач ИИ на смартфонах и IoT-устройствах.
• Автономные транспортные средства: Самоуправляемым автомобилям требуется быстрое принятие решений на основе данных датчиков. Обрезанные модели обеспечивают быстрый вывод для таких критических задач, как обнаружение пешеходов и соблюдение полосы движения, где низкая задержка имеет решающее значение для безопасности.

Заключение

Обрезка моделей - важнейшая техника оптимизации для создания эффективных моделей машинного обучения. Уменьшение размера и сложности модели позволяет ускорить вычисления, снизить потребление памяти и энергопотребление. Ultralytics предоставляет набор инструментов и ресурсов, которые помогут пользователям оптимизировать свои модели, включая такие техники, как обрезка, чтобы повысить практичность и эффективность приложений для машинного зрения в различных сценариях развертывания.