Janela de contexto

Janela de contexto no processamento de linguagem natural (NLP)

A janela de contexto é um conceito fundamental no Processamento de Linguagem Natural (PLN). Modelos como os Transformers, que estão na base de arquitecturas como o BERT e o GPT, baseiam-se fortemente em janelas de contexto. Nestes modelos, a janela de contexto determina quantos tokens anteriores (palavras ou sub-palavras) são considerados ao processar um token específico. Uma janela de contexto maior permite que o modelo compreenda as dependências de longo alcance no texto, levando potencialmente a resultados mais coerentes e contextualmente conscientes, como se vê em modelos avançados como o GPT-4 da OpenAI. No entanto, janelas maiores também aumentam a carga computacional e o uso de memória durante o treinamento e a inferência.

Janela de contexto na IA de visão

Embora mais proeminentemente discutida na PNL, a ideia de uma janela de contexto também é aplicável na visão computacional (CV), especialmente ao analisar fluxos de vídeo ou sequências de imagens. Por exemplo, no seguimento de objectos, um modelo pode utilizar uma janela de contexto de vários fotogramas consecutivos para prever melhor a trajetória de um objeto e lidar com oclusões. Este contexto temporal ajuda a manter a consistência do seguimento. Os modelosYOLO Ultralytics , conhecidos principalmente pela deteção de objectos em tempo real, podem ser integrados em sistemas que utilizam janelas de contexto para tarefas como a análise de vídeo, melhorando as suas capacidades para além do processamento de um único fotograma. Explora as soluçõesUltralytics para obteres exemplos de aplicações de visão avançada.

Exemplos de janelas de contexto em aplicações IA/ML do mundo real

• Chatbots e assistentes virtuais: Sistemas como os chatbots e os assistentes virtuais utilizam janelas de contexto para se lembrarem das últimas voltas de uma conversa. Isto permite-lhes compreender as perguntas seguintes e dar respostas relevantes, criando uma interação mais natural. Sem contexto suficiente, o assistente pode tratar cada pergunta de forma independente, levando a conversas desarticuladas. Podes explorar plataformas como o Ultralytics HUB para criar e implementar modelos de IA.
• Texto preditivo e preenchimento automático: Quando escreves no teu telemóvel ou utilizas um motor de busca, os algoritmos de texto preditivo analisam a janela de contexto das palavras recentemente escritas para sugerir a palavra seguinte ou completar a frase. Isto baseia-se em padrões estatísticos aprendidos a partir de grandes quantidades de dados de texto, tendo em conta o contexto imediatamente anterior para oferecer continuações prováveis. Estruturas como PyTorch e TensorFlow são frequentemente utilizadas para construir tais modelos.

Janela de contexto vs. outros termos relacionados

• Janela de contexto vs. comprimento da sequência: O comprimento da sequência refere-se ao número total de tokens numa sequência de entrada inteira fornecida ao modelo. A janela de contexto, no entanto, é a parte específica (geralmente menor) dessa sequência que o modelo usa ativamente para fazer uma previsão para um elemento específico. Por exemplo, um documento pode ter um comprimento de sequência de 1000 tokens, mas o modelo pode utilizar apenas uma janela de contexto de 128 tokens em torno de uma palavra-alvo. A biblioteca Hugging Face Transformers fornece ferramentas para lidar com sequências e janelas de contexto.
• Janela de contexto vs. campo recetivo: Nas Redes Neuronais Convolucionais (CNN), o campo recetivo descreve a extensão espacial da imagem de entrada que influencia a ativação de um determinado neurónio. Embora ambos os termos estejam relacionados ao escopo da entrada considerada, o campo recetivo é específico do domínio espacial nas CNNs, enquanto a janela de contexto normalmente se refere ao domínio seqüencial (como tempo ou posição do texto) em várias arquiteturas de modelo, incluindo Redes Neurais Recorrentes (RNNs) e Transformadores. Para obter mais detalhes sobre arquiteturas de modelos, consulte a documentação de modelosUltralytics .