Auto-atenção

Como funciona a auto-atenção

Na sua essência, a auto-atenção funciona através da atribuição de uma "pontuação de atenção" a todos os outros elementos da sequência de entrada relativamente ao elemento que está a ser processado. Isto é conseguido através da criação de três vectores para cada elemento de entrada: uma Consulta (Q), uma Chave (K) e um Valor (V).

1. Consulta: Representa o elemento atual que está "à procura" de contexto.
2. Chave: Representa todos os elementos da sequência com os quais a Consulta pode ser comparada para encontrar informações relevantes.
3. Valor: Representa o conteúdo real de cada elemento, que será agregado com base nas pontuações de atenção.

Para uma determinada consulta, o mecanismo calcula a sua semelhança com todas as chaves da sequência. Estas pontuações de semelhança são depois convertidas em pesos (muitas vezes utilizando uma função softmax ), que determinam o grau de atenção que deve ser dado ao valor de cada elemento. O resultado final da consulta é uma soma ponderada de todos os valores, criando uma nova representação desse elemento enriquecida com o contexto de toda a sequência. Este processo é uma parte fundamental do funcionamento dos modelos de linguagem de grande dimensão (LLM). Uma excelente explicação visual deste processo Q-K-V pode ser encontrada em recursos como o blogue de Jay Alammar.

Auto-atenção vs. Mecanismo de atenção

A auto-atenção é um tipo específico de mecanismo de atenção. A principal distinção é a origem dos vectores Consulta, Chave e Valor.

• Auto-atenção: Todos os três vectores (Q, K, V) são derivados da mesma sequência de entrada. Isto permite que um modelo analise as relações internas numa única frase ou imagem.
• Atenção geral (ou atenção cruzada): O vetor Consulta pode vir de uma sequência enquanto os vectores Chave e Valor vêm de outra. Esta situação é comum em tarefas de sequência para sequência, como a tradução automática, em que o descodificador (que gera o texto traduzido) presta atenção à representação do texto de partida feita pelo codificador.

Aplicações em IA e visão computacional

Embora tenha sido popularizada pela primeira vez na PNL para tarefas como a sumarização e a tradução de textos, a auto-atenção também se revelou altamente eficaz na visão computacional (CV).

• Processamento de linguagem natural: Numa frase como "O robô pegou na chave inglesa porque era pesada", a auto-atenção permite ao modelo associar corretamente "ele" a "chave inglesa" em vez de "robô". Esta compreensão é fundamental para modelos como o BERT e o GPT-4.
• Visão computacional: O modelo Vision Transformer (ViT) aplica a auto-atenção a partes de uma imagem, permitindo-lhe aprender relações entre diferentes partes da cena visual para tarefas como a classificação de imagens. Alguns modelos de deteção de objectos também incorporam módulos baseados na atenção para aperfeiçoar os mapas de caraterísticas e melhorar a precisão. Embora alguns modelos como o YOLO12 utilizem a atenção, recomendamos o robusto e eficiente Ultralytics YOLO11 para a maioria dos casos de utilização.

Direcções futuras

A investigação continua a aperfeiçoar os mecanismos de auto-atenção, tendo em vista uma maior eficiência computacional (por exemplo, métodos como o FlashAttention e variantes de atenção esparsa) e uma aplicabilidade mais alargada. À medida que os modelos de IA crescem em complexidade, espera-se que a auto-atenção continue a ser uma tecnologia fundamental, impulsionando o progresso em áreas que vão desde aplicações especializadas de IA, como a robótica, até à busca da Inteligência Artificial Geral (AGI). Ferramentas e plataformas como o Ultralytics HUB facilitam o treino e a implementação de modelos que incorporam estas técnicas avançadas, muitas vezes disponíveis através de repositórios como o Hugging Face e desenvolvidos com estruturas como o PyTorch e o TensorFlow.