Junta-te a nós enquanto recapitulamos os avanços da Sony no processamento de IA de ponta com o sensor IMX500 e a plataforma AITRIOS, para ajudar a otimizar os modelos Ultralytics YOLO .
A IA de ponta permite que os modelos de inteligência artificial (IA) funcionem diretamente em dispositivos como smartphones, câmaras e drones. A sua principal vantagem é que suporta a tomada de decisões mais rápida e em tempo real sem depender da nuvem. De facto, estudos mostram que a utilização de IA em plataformas de ponta pode aumentar a eficiência operacional em até 40%.
Os recentes avanços na IA de ponta, particularmente na visão computacional, tornaram-na um tópico central em YOLO Vision 2024 (YV24), Ultralytics' evento híbrido anual que reúne entusiastas e especialistas em IA para explorar as últimas novidades em IA de visão. Um dos destaques do evento foi a apresentação da Sony, que mostrou as suas novas soluções de hardware e software de IA de ponta. O sensor IMX500 e a plataforma AITRIOS foram apresentados, e a Sony demonstrou como estas inovações estão a tornar mais fácil e eficiente a implementação de modelosUltralytics YOLO como Ultralytics YOLO11 e Ultralytics YOLOv8 no limite.
A sessão foi conduzida por Wei Tang, um Gestor de Desenvolvimento Empresarial que se concentra nas soluções de imagem da Sony, e por Amir Servi, um Gestor de Produto de Aprendizagem Profunda de Borda com experiência na implementação de modelos de aprendizagem profunda em dispositivos de borda.
Neste artigo, vamos revisitar a palestra da Sony no YV24 e explorar a forma como o sensor IMX500 e a plataforma AITRIOS optimizam a utilização de modelos YOLO para um processamento de IA de ponta mais rápido e em tempo real. Toca a começar!
Wei Tang abriu a sessão falando sobre o objetivo da Sony de tornar a IA de ponta tão acessível como o fez com a fotografia há alguns anos. Salientou a forma como a Sony está agora concentrada em levar a IA de visão avançada a mais pessoas através da computação periférica. Um dos factores impulsionadores por detrás disto é o impacto positivo que a IA de ponta pode ter no ambiente. Ao processar dados diretamente nos dispositivos em vez de depender de grandes centros de dados, a computação periférica ajuda a reduzir a utilização de energia e as emissões de carbono. É uma abordagem mais inteligente e ecológica que se enquadra perfeitamente no compromisso da Sony em criar tecnologia que não só funciona melhor como também ajuda a criar um futuro mais sustentável.
Wei continuou a explicar como a Sony Semiconductor Solutions, a divisão da Sony especializada em tecnologias de imagem e deteção, cria sensores de imagem avançados. Estes sensores são utilizados numa variedade de dispositivos, convertendo a luz em sinais electrónicos para captar imagens. Com mais de 1,2 mil milhões de sensores enviados todos os anos, estão presentes em quase metade dos telemóveis do mundo, o que faz da Sony um dos principais intervenientes na indústria da imagem.
Com base nesta experiência, a Sony está agora a levar as coisas mais longe, transformando estes sensores de dispositivos de captação de imagem em ferramentas inteligentes que podem processar dados em tempo real, permitindo percepções baseadas em IA diretamente nos dispositivos. Antes de discutirmos as soluções de hardware e software que a Sony está a utilizar para apoiar esta mudança, vamos compreender os desafios de IA de ponta que estas inovações pretendem resolver.
O desenvolvimento de soluções de IA de ponta apresenta alguns desafios importantes, especialmente quando se trabalha com dispositivos como câmaras e sensores. Muitos destes dispositivos têm potência e capacidade de processamento limitadas, o que torna difícil executar modelos avançados de IA de forma eficiente.
Eis algumas das outras principais limitações:
O sensor de visão inteligente Sony IMX500 é uma peça de hardware revolucionária no processamento de IA de ponta. É o primeiro sensor de visão inteligente do mundo com capacidades de IA no chip. Este sensor ajuda a ultrapassar muitos desafios na IA de ponta, incluindo estrangulamentos no processamento de dados, preocupações com a privacidade e limitações de desempenho.
Enquanto outros sensores se limitam a transmitir imagens e fotogramas, o IMX500 conta uma história completa. Processa os dados diretamente no sensor, permitindo que os dispositivos gerem informações em tempo real. Durante a sessão, Wei Tang afirmou: "Ao tirar partido da nossa tecnologia avançada de sensores de imagem, pretendemos potenciar uma nova geração de aplicações que podem melhorar a vida quotidiana." A IMX500 foi concebida para atingir este objetivo, transformando a forma como os dispositivos tratam os dados diretamente no sensor, sem necessidade de os enviar para a nuvem para processamento.
Apresentamos-te algumas das suas principais caraterísticas:
O IMX500 não é apenas um sensor de câmara - é uma poderosa ferramenta de deteção que transforma a forma como os dispositivos percepcionam e interagem com o mundo à sua volta. Ao incorporar a IA diretamente no sensor, a Sony está a tornar a IA de ponta mais acessível para indústrias como a automóvel, a dos cuidados de saúde e a das cidades inteligentes. Nas secções seguintes, iremos aprofundar a forma como o IMX500 funciona com os modelos Ultralytics YOLO para melhorar a deteção de objectos e o processamento de dados em dispositivos periféricos.
Depois de apresentar o sensor IMX500, Wei Tang afirmou que, embora o hardware seja crucial, não é suficiente para enfrentar todos os desafios envolvidos na implementação da IA de ponta. Falou sobre como a integração da IA em dispositivos como câmaras e sensores requer mais do que apenas hardware avançado - precisa de software inteligente para o gerir. É aqui que entra a plataforma AITRIOS da Sony, que oferece uma solução de software fiável concebida para tornar a implementação da IA em dispositivos periféricos mais simples e mais eficiente.
AITRIOS actua como uma ponte entre modelos complexos de IA e as limitações dos dispositivos de ponta. Fornece aos programadores uma gama de ferramentas para implementar rapidamente modelos de IA pré-treinados. Mas, mais importante ainda, suporta a reciclagem contínua para que os modelos de IA possam permanecer adaptáveis às mudanças do mundo real.
Wei também destacou a forma como o AITRIOS simplifica o processo para aqueles que não têm conhecimentos profundos de IA, oferecendo flexibilidade para personalizar modelos de IA para casos específicos de utilização de IA de ponta. Também aborda desafios comuns como restrições de memória e quedas de desempenho, facilitando a integração da IA em dispositivos mais pequenos sem sacrificar a precisão ou a velocidade.
Na segunda parte da palestra, o microfone foi passado para Amir, que se debruçou sobre a parte técnica da forma como a Sony optimizou os modelosYOLO no sensor IMX500.
Amir começou por dizer: "Os modelosYOLO são de ponta e são bastante fáceis de otimizar, graças ao Glenn e à sua equipa. Vou convencer-te disso, não te preocupes". Amir explicou então que, apesar de se concentrar muito na otimização do próprio modelo de IA, esta abordagem esquece muitas vezes uma preocupação crucial: os estrangulamentos do pós-processamento.
Amir salientou que, em muitos casos, assim que o modelo de IA conclui a sua tarefa, o processo de transferência de dados e o tratamento do pós-processamento num dispositivo anfitrião podem causar atrasos significativos. Esta transferência de dados entre o dispositivo e o anfitrião introduz latência, o que pode ser um grande obstáculo à obtenção do melhor desempenho.
Para resolver este problema, Amir sublinhou a importância de olhar para todo o sistema de ponta a ponta, em vez de se concentrar apenas no modelo de IA. Com o sensor IMX500, descobriram que o pós-processamento era o principal obstáculo que atrasava tudo. Partilhou que o verdadeiro avanço foi desbloquear a supressão não máxima (NMS) no chip.
Permitiu que o pós-processamento ocorresse diretamente no sensor, eliminando a necessidade de transferir grandes quantidades de dados para um dispositivo anfitrião. Ao executar o NMS diretamente no IMX500, a Sony ultrapassou aquilo a que Amir chamou o "teto de vidro do pós-processamento", conseguindo um desempenho muito melhor e uma redução da latência.
De seguida, vamos ver como esta inovação ajudou os modelos YOLO , especialmente o YOLOv8 Nano, a funcionar de forma mais eficiente em dispositivos periféricos, criando novas oportunidades para o processamento de IA em tempo real em hardware mais pequeno e com recursos limitados.
Para terminar a palestra com uma nota alta, Amir demonstrou como conseguiram quadruplicar o desempenho do modelo YOLOv8 Nano executando o NMS no limite. Apresenta-o num Raspberry Pi 5, que foi integrado com o sensor IMX500 AI. Amir comparou o desempenho quando o pós-processamento era efectuado num dispositivo anfitrião e no chip IMX500.
Os resultados mostraram claramente uma grande melhoria nos quadros por segundo (FPS) e na eficiência geral quando o processamento foi feito no chip. A otimização tornou a deteção de objectos mais rápida e suave e também demonstrou a praticabilidade do processamento de IA em tempo real em dispositivos mais pequenos e com recursos limitados, como o Raspberry Pi.
O sensor IMX500 da Sony, a plataforma AITRIOS e os modelos Ultralytics YOLO estão a remodelar o desenvolvimento de IA de ponta. O processamento de IA no chip reduz a transferência de dados e a latência, ao mesmo tempo que aumenta a privacidade, a segurança e a eficiência. Ao concentrarem-se em todo o sistema, e não apenas no modelo de IA, estas inovações tornam a IA de ponta mais acessível aos programadores e àqueles que não têm conhecimentos profundos de IA. À medida que a tecnologia de IA de ponta continua a avançar, irá provavelmente permitir dispositivos mais inteligentes, tomadas de decisão mais rápidas e protecções de privacidade mais fortes numa vasta gama de indústrias e aplicações.
Mantém-te ligado à nossa comunidade para continuares a aprender sobre IA! Consulta o nosso repositório GitHub para descobrires como podemos utilizar a IA para criar soluções inovadoras em vários setores, como a agricultura e a indústria transformadora. 🚀
Começa a tua viagem com o futuro da aprendizagem automática
