Potenciar a visão computacional de código aberto com os transformadores de HuggingFace

Enquanto continuamos a explorar os destaques do evento YOLO VISION 2023 (YV23), vamos conhecer Merve Noyan, Developer Advocacy Engineer da HuggingFace, a plataforma líder de PNL com modelos pré-treinados para o desenvolvimento eficiente de aplicações linguísticas. Na sua palestra, Merve partilhou algumas ideias incríveis sobre o mundo da visão computacional de código aberto. 

Junta-te a nós numa viagem pelo fascinante universo da aprendizagem por transferência, dos transformadores e do ecossistema de código aberto da visão por computador.

Aprendizagem por transferência revelada: Recapitula rapidamente

Merve começou com uma breve introdução à aprendizagem por transferência, a varinha mágica que nos permite transferir conhecimentos de uma rede neural para outra. Imagina que treinas um modelo com base nas características universais das camadas iniciais, como arestas e cantos, e depois o afinas para tarefas específicas. Esta é a essência da aprendizagem por transferência, reduzindo as dependências de dados e aumentando a precisão.

Merve destacou os backbones convolucionais clássicos como o ResNet e o Inception, preparando o terreno para a viagem transformacional que se avizinha.

Entra nos Transformers: Um Enigma Desvendado

O que torna os Transformers especiais? Merve comparou-o a um enigma, mostrando como diferem dos modelos tradicionais baseados em convolução. O segredo está na sua capacidade de efetuar uma aprendizagem auto-supervisionada, captando características sem a necessidade de dados rotulados. O Vision Transformer, o Data Efficient Transformer, o CLIP e o SWIM CLIP estavam entre o elenco de modelos baseados em transformadores que ela apresentou. 

Estabelece alguns pontos em comum com Ultralytics que fornece suporte para um modelo de transformador concebido para a deteção de objectos. Este modelo apresenta um codificador híbrido eficaz, seleção de consultas com conhecimento de IOU e velocidade de inferência ajustável. Notavelmente, adere ao padrão familiar de outros Ultralytics YOLOv8 modelos, apresentando opções para previsão, treinamento, validação e exportação.

O teu balcão único

Merve mergulhou então no tesouro das ofertas do HuggingFace, com mais de 8.000 modelos para tarefas clássicas de visão computacional e 10.000 modelos para aplicações multimodais. O HuggingFace Hub possui mais de 3.000 conjuntos de dados, o que o torna um parque de diversões para programadores e entusiastas. Merve sublinhou a experiência perfeita, graças à API consistente da HuggingFace, que oferece modelos prontos a utilizar para vários casos de utilização.

Mágica prática com HuggingFace

A palestra passou para demonstrações práticas, mostrando como se pode trabalhar com modelos sem esforço. Desde a instanciação de modelos e processadores até o ajuste fino com a API Trainer, Merve deixou claro que a biblioteca HuggingFace Transformers é a melhor amiga do desenvolvedor. Apresentou ainda a API Pipeline, uma das suas favoritas, que simplifica o fluxo de trabalho para os utilizadores.

Uma visão geral das aplicações

Merve encerrou a palestra com um vislumbre de algumas aplicações fantásticas, incluindo o modelo Plot para responder a perguntas visuais, Blip para legendas de imagens e o poderoso modelo Segment Anything para segmentação de imagens. A API Pipeline do Ecossistema HuggingFace foi o centro das atenções, facilitando a utilização de modelos sem teres de te aprofundar nos aspectos técnicos.

A cereja no topo do bolo foi a apresentação de Merve sobre a criação de ilusões ópticas com o Elysian Diffusion, uma experiência cativante que dá um toque divertido ao mundo da IA.

Em poucas palavras!

Concluindo, a palestra de Merve deixou-nos inspirados e ansiosos por explorar as infinitas possibilidades da visão computacional de código aberto. HuggingFace tornou a IA verdadeiramente acessível, divertida e entusiasmante, dando aos programadores a possibilidade de libertarem a sua criatividade. Um brinde ao futuro da comunidade de código aberto e às incríveis inovações que ela encerra! 

Vê a conversa toda aqui!