Sintonização imediata

A afinação de prompts é uma técnica utilizada para adaptar e otimizar modelos pré-treinados para tarefas específicas, afinando apenas um pequeno conjunto de parâmetros, frequentemente associados a prompts específicos da tarefa. Esta abordagem reduz os custos de computação e os requisitos de armazenamento em comparação com os métodos tradicionais de afinação, em que todo o modelo é treinado de novo. A afinação de prompts é particularmente eficaz em domínios como o Processamento de Linguagem Natural (PNL) e a Visão por Computador (CV), permitindo aos utilizadores tirar partido do poder de grandes modelos pré-treinados para diversas aplicações.

Como funciona o Prompt Tuning

A afinação de prompts modifica os prompts de entrada ou os embeddings introduzidos num modelo pré-treinado, em vez de alterar a arquitetura central ou os pesos do modelo. Ao acrescentar informações ou parâmetros específicos da tarefa aos dados de entrada, o modelo pode ser orientado para adaptar as suas previsões a uma nova tarefa. Este método é especialmente útil quando se trabalha com modelos de grande escala, como o GPT-4 ou o Vision Transformers (ViT), em que o retreinamento de toda a rede seria computacionalmente dispendioso.

Exemplo: Ajuste fino vs. ajuste rápido

• Ajuste fino: Ajusta todos os pesos do modelo para uma tarefa específica, exigindo recursos computacionais e armazenamento significativos.
• Ajuste de prompts: Optimiza os prompts ou embeddings específicos da tarefa, deixando o modelo principal inalterado, o que é muito mais eficiente.

Para um mergulho mais profundo em técnicas relacionadas, explora o Parameter-Efficient Fine-Tuning (PEFT), que partilha semelhanças com o ajuste rápido, mas inclui estratégias mais amplas, como adaptadores e adaptações de baixo grau.

Vantagens do Prompt Tuning

• Eficiência: Requer menos recursos em comparação com o ajuste fino do modelo completo.
• Escalabilidade: Permite a utilização de modelos pré-treinados para várias novas tarefas sem duplicar todo o modelo.
• Flexibilidade: Integra-se facilmente com modelos multimodais, como os que combinam dados de texto e imagem (por exemplo, CLIP).
• Reduz o sobreajuste: Limita o risco de sobreajuste através do ajuste fino de apenas um pequeno subconjunto de parâmetros.

Aplicações no mundo real

O Prompt Tuning tem sido aplicado com sucesso em vários sectores para resolver desafios específicos de um domínio. Segue-se dois exemplos notáveis:

1. Análise do sentimento no feedback dos clientes

Ao afinar modelos linguísticos de grande dimensão, como o GPT, com instruções específicas para cada tarefa, as empresas podem analisar o sentimento dos clientes a partir de comentários ou publicações nas redes sociais. Por exemplo, um modelo pode ser solicitado a classificar o feedback como positivo, neutro ou negativo, melhorando os fluxos de trabalho do serviço ao cliente.

2. Segmentação de imagens na área da saúde

Na imagiologia médica, a afinação de avisos pode ajudar a adaptar modelos pré-treinados como o Segment Anything Model (SAM ) para tarefas específicas como a deteção de tumores ou a segmentação de órgãos. Ao personalizar apenas os avisos específicos da tarefa, os prestadores de cuidados de saúde podem obter resultados precisos sem voltar a treinar todo o modelo.

Prompt Tuning vs. Conceitos relacionados

Embora a afinação rápida partilhe semelhanças com outros métodos como a afinação fina e a aprendizagem zero, oferece vantagens únicas:

• Afinação: Requer mais recursos e modifica todo o modelo.
• Aprendizagem Zero-Shot: Usa modelos pré-treinados sem adaptação, enquanto o ajuste rápido fornece um meio-termo, permitindo uma adaptação mínima, mas eficaz.
• Engenharia de avisos: Concentra-se na conceção de prompts textuais ou de entrada, enquanto a afinação de prompts envolve a otimização de embeddings ou parâmetros especificamente para tarefas.

Ferramentas e estruturas

Vários quadros suportam a afinação rápida para tarefas de PNL e CV, tornando-a acessível a investigadores e programadores:

• Hugging Face: Oferece ferramentas para integrar a afinação rápida com modelos baseados em transformadores.
• Ultralytics HUB: Simplifica o treino e a implementação de modelos, com suporte para adaptar modelos pré-treinados como Ultralytics YOLO para novas tarefas.
• API OpenAI: Permite a otimização imediata para modelos de linguagem de ponta como o GPT-4.

Direcções futuras

O prompt tuning está pronto para crescer em relevância à medida que os modelos se tornam maiores e mais complexos. Com o aumento da aprendizagem multimodal e dos modelos de base, o prompt tuning oferece uma solução escalável para a adaptação específica de tarefas. Também se alinha com a mudança da indústria no sentido de tornar a IA mais acessível e eficiente, particularmente para aplicações do mundo real em áreas como os cuidados de saúde e a produção.

Para uma exploração aprofundada de conceitos e aplicações relacionados, visita o Glossário de IA e Visão por Computador.