Transformador

Como funcionam os transformadores

A principal inovação dos Transformers é o mecanismo de auto-atenção. Ao contrário das Redes Neurais Recorrentes (RNNs), que processam a entrada sequencialmente e podem ter dificuldades com sequências longas devido a problemas como o desaparecimento de gradientes, os Transformers podem considerar todas as partes da sequência de entrada simultaneamente. Essa capacidade de processamento paralelo acelera significativamente o treinamento em hardware moderno, como GPUs. Ao contrário das Redes Neuronais Convolucionais (CNNs) típicas, que se concentram em caraterísticas locais por meio de núcleos de tamanho fixo, a atenção permite que os Transformers capturem dependências de longo alcance e relações contextuais em toda a entrada, seja texto ou fragmentos de imagem.

Relevância e impacto

Os transformadores tornaram-se a base de muitos modelos de IA de última geração devido à sua eficácia na captura do contexto e no tratamento de sequências longas. A sua natureza paralelizável permitiu o treino de modelos maciços com milhares de milhões de parâmetros, como o GPT-3 e o GPT-4, levando a avanços na IA generativa. Esta escalabilidade e desempenho tornaram os Transformers centrais para o progresso em várias tarefas de IA, impulsionando a inovação na investigação e na indústria. Muitos modelos populares de Transformers estão prontamente disponíveis através de plataformas como Hugging Face e implementados com recurso a frameworks como o PyTorch e TensorFlow.

Aplicações em IA e ML

Os transformadores são altamente versáteis e alimentam inúmeras aplicações de IA:

• Processamento de linguagem natural (PNL): Este é o domínio onde os Transformers ganharam proeminência. Eles são a espinha dorsal dos modernos Modelos de Linguagem de Grande Porte (LLMs) usados para tarefas como tradução automática, resumo de texto, análise de sentimentos e alimentação de chatbots avançados. Os modelos de organizações como a OpenAI demonstram estas capacidades.
• Visão por computador (CV): Os transformadores são cada vez mais aplicados a dados visuais. Os Transformadores de Visão (ViTs) adaptam a arquitetura para tarefas como a classificação de imagens e a deteção de objectos. Os modelos híbridos, que combinam caraterísticas da CNN com blocos de transformadores, também são comuns. Por exemplo, o Ultralytics' RT-DETR da Ultralytics utiliza componentes do Transformer para deteção em tempo real de alta precisão, demonstrando seu potencial além da PNL. Podes explorar como RT-DETR se compara a outros modelos como o Ultralytics YOLOv8 em comparações técnicas.

Transformadores vs. outras arquitecturas

Em comparação com as RNNs, os Transformers oferecem um melhor tratamento das dependências de longo alcance e uma paralelização superior, tornando-os mais adequados para grandes conjuntos de dados e modelos. Em comparação com as CNNs tradicionais, que se destacam na captura de hierarquias espaciais locais usando convoluções, os Transformers (especialmente ViTs) podem modelar relações globais dentro dos dados de forma mais eficaz através da auto-atenção. No entanto, as arquitecturas híbridas combinam frequentemente os pontos fortes de ambas, utilizando CNNs para a extração inicial de caraterísticas e Transformers para a compreensão contextual, como se vê em modelos como o RT-DETR. A escolha entre estas arquitecturas depende muitas vezes da tarefa específica, das caraterísticas dos dados e dos recursos computacionais disponíveis, envolvendo frequentemente técnicas como a transferência de aprendizagem a partir de modelos pré-treinados disponíveis em plataformas como o Ultralytics HUB.