Оптимизируй модели ИИ для пограничных устройств с помощью Quantization-Aware Training (QAT), обеспечивая высокую точность и эффективность в условиях ограниченных ресурсов.
Обучение с учетом квантования (Quantization-Aware Training, QAT) - это важнейшая техника оптимизации в машинном обучении, которая преодолевает разрыв между высокоточными моделями ИИ и их эффективным развертыванием на устройствах с ограниченными ресурсами. По мере того как приложения ИИ распространяются на такие устройства, как смартфоны, IoT-датчики и встраиваемые системы, потребность в моделях, которые были бы одновременно точными и вычислительно эффективными, становится первостепенной. QAT решает эту проблему, имитируя эффекты квантования на этапе обучения модели, что приводит к созданию моделей, которые являются надежными и оптимизированными для аппаратного обеспечения с низкой точностью.
Обучение с учетом квантования улучшает нейронные сети, чтобы они могли переносить пониженную точность чисел, присущую средам развертывания. В отличие от посттренингового квантования, которое применяется после того, как модель полностью обучена, QAT интегрирует квантование в сам цикл обучения. Это достигается за счет имитации процесса квантования - уменьшения числовой точности весов и активаций - во время прямого и обратного проходов. Таким образом, модель учится компенсировать потерю точности, в результате чего получается модель, которая сохраняет более высокую точность при реальном квантовании для развертывания. Этот метод предполагает использование операций "фальшивого квантования", которые имитируют низкоточную арифметику, например int8, но при этом выполняют вычисления градиента и обновления весов с полной точностью. Такой подход позволяет модели адаптироваться и стать менее чувствительной к эффектам квантования, что приводит к лучшей производительности в квантованном выводе.
Чтобы получить более широкое представление о методах оптимизации, обратись к гайду по оптимизации моделей, в котором представлен краткий обзор методов повышения эффективности моделей.
Хотя и QAT, и квантование модели направлены на снижение точности модели, их подходы и результаты существенно отличаются. Квантование модели - это, как правило, процесс посттренинга, который преобразует обученную модель с полной точностью в формат с более низкой точностью (например, INT8), чтобы уменьшить размер модели и ускорить вычисления. Этот метод прост, но иногда может привести к значительному снижению точности, особенно для сложных моделей. QAT, напротив, проактивно готовит модель к квантованию во время обучения, тем самым снижая потери точности и зачастую добиваясь превосходной производительности в средах с низкой точностью.
Обучение со смешанной точностью - еще одна техника оптимизации, направленная на ускорение процесса обучения и уменьшение занимаемой памяти во время обучения. Она подразумевает использование в сети как 16-битных, так и 32-битных чисел с плавающей точкой. В то время как смешанная точность в первую очередь направлена на эффективность обучения, QAT специально разработан для повышения производительности моделей после квантования, фокусируясь на эффективности и точности выводов в сценариях развертывания с низкой точностью.
Обучение с учетом квантования необходимо для развертывания моделей ИИ в реальных приложениях, где эффективность использования ресурсов критически важна. Вот несколько примеров:
В умных устройствах, таких как смартфоны и IoT-устройства, вычислительные ресурсы и мощность ограничены. QAT широко используется для оптимизации моделей для краевых приложений ИИ, обеспечивая обработку в реальном времени непосредственно на устройстве. Например, Ultralytics YOLO , современная модель обнаружения объектов, может быть оптимизирована с помощью QAT, чтобы обеспечить эффективное обнаружение объектов в реальном времени в таких приложениях, как системы безопасности умного дома или камеры, работающие на основе ИИ. Уменьшая размер модели и вычислительные требования, QAT делает возможным выполнение сложных задач ИИ на устройствах с ограниченными вычислительными возможностями.
Автономные транспортные средства и робототехника требуют систем искусственного интеллекта, способных принимать быстрые решения в условиях жестких ограничений по задержкам и мощности. QAT играет важную роль в оптимизации моделей для внедрения во встроенные системы в этих приложениях. Например, применение QAT к Ultralytics YOLOv8 моделям может значительно повысить эффективность систем обнаружения автомобилей и слежения за пешеходами, которые крайне важны для принятия решений в режиме реального времени при автономном вождении. Такая оптимизация гарантирует, что ИИ сможет эффективно работать в рамках ограничений по мощности и вычислительным возможностям аппаратного обеспечения автомобиля.
Чтобы узнать, как решения Ultralytics применяются в различных отраслях, посетите сайт Ultralytics Solutions.
