Implementação de modelos Ultralytics YOLOv8 quantificados em dispositivos de extremidade com o DeGirum

Bem-vindo à recapitulação de outra palestra perspicaz do nosso evento YOLO VISION 2023 (YV23), realizado no vibrante Campus Google for Startups em Madrid. Esta palestra foi apresentada por Shashi Chilappagar, arquiteto-chefe e cofundador da DeGirum. Mergulhou no fascinante mundo da quantização e da implementação de modelos quantizados, explorando os principais desafios, soluções e possibilidades futuras.

Introdução à Quantização e Implantação de Modelos Quantizados

Shashi apresentou uma visão geral abrangente da quantização, destacando a sua importância na otimização dos Ultralytics YOLO modelos para implantação em dispositivos de ponta. Desde a discussão dos conceitos básicos até a exploração de abordagens para melhorar a quantização, os participantes obtiveram informações valiosas sobre as complexidades da portabilidade e implantação de modelos.

Desafios na quantificação dos modelos YOLO

A quantização frequentemente apresenta desafios, particularmente com os modelos YOLO no TFLite. O nosso público ficou a conhecer a queda significativa na precisão observada quando todas as saídas são quantizadas com a mesma escala/ponto zero, esclarecendo as complexidades de manter a precisão do modelo durante o processo de quantização.

Melhorar a quantização dos modelos YOLO

Felizmente, existem soluções para enfrentar estes desafios. A introdução do fork DigiRAM oferece uma abordagem favorável à quantização, separando as saídas e optimizando a descodificação da caixa delimitadora. Com estes melhoramentos, a precisão do modelo quantizado regista uma melhoria significativa em relação aos níveis de base.

Arquitecturas de modelos mais favoráveis à quantização

A exploração de novas arquitecturas de modelos é fundamental para minimizar a perda de quantização. Os participantes descobriram como a substituição da CILU pela ativação limitada do Relu6 leva a uma perda mínima de quantização, oferecendo resultados promissores para manter a precisão em modelos quantizados.

Implantação de modelos quantificados

A implantação de modelos quantizados nunca foi tão fácil, com apenas cinco linhas de código necessárias para executar qualquer modelo na plataforma de nuvem Digitim. Uma demonstração de código ao vivo mostrou a simplicidade de detetar objetos com um modelo quantizado, destacando a integração perfeita de modelos quantizados em aplicações do mundo real. Ultralytics YOLOv5 destacando a integração perfeita de modelos quantizados em aplicações do mundo real. 

Para este efeito, Ultralytics fornece uma variedade de opções de implementação de modelos, permitindo aos utilizadores finais implementar eficazmente as suas aplicações em dispositivos incorporados e periféricos. Os diferentes formatos de exportação incluem OpenVINO, TorchScript, TensorRT, CoreMLTFlite, e TFlite EDGE TPU, oferecendo versatilidade e compatibilidade. 

Esta integração com aplicações de terceiros para implantação permite aos utilizadores avaliar o desempenho dos nossos modelos em cenários reais.

Utilizar modelos diferentes em hardware diferente

Os participantes também obtiveram informações sobre a versatilidade da implantação de diferentes modelos em várias plataformas de hardware, mostrando como uma única base de código pode suportar vários modelos em diferentes aceleradores. Exemplos de execução de diferentes tarefas de deteção em diversas plataformas de hardware demonstraram a flexibilidade e a escalabilidade da nossa abordagem.

Recursos e documentação

Para capacitar ainda mais os participantes, introduzimos uma secção de recursos abrangente, que fornece acesso à nossa plataforma de nuvem, exemplos, documentação e muito mais. O nosso objetivo é garantir que todos dispõem das ferramentas e do apoio de que necessitam para serem bem sucedidos na implementação eficaz de modelos quantizados.

Concluir

À medida que o campo da quantização evolui, é essencial que te mantenhas informado e envolvido. Estamos empenhados em fornecer apoio e recursos contínuos para te ajudar a navegar nesta viagem emocionante. Vê a palestra completa aqui! 

Junta-te a nós para continuarmos a explorar as últimas tendências e inovações em aprendizagem automática e inteligência artificial. Juntos, estamos a moldar o futuro da tecnologia e a promover mudanças positivas no mundo.

‍