Afinação eficiente de parâmetros (PEFT)

A afinação eficiente de parâmetros (Parameter-Efficient Fine-Tuning - PEFT) é uma abordagem de aprendizagem automática concebida para adaptar grandes modelos pré-treinados a novas tarefas com um mínimo de despesas computacionais. Ao afinar apenas um pequeno subconjunto de parâmetros, as técnicas PEFT tornam o processo de afinação mais eficiente, reduzindo os requisitos de recursos e mantendo o conhecimento geral codificado no modelo pré-treinado.

Importância do PEFT

O ajuste fino tradicional envolve a atualização de todos os parâmetros de um modelo, o que pode ser computacionalmente caro e exigir muita memória, especialmente para modelos grandes, como arquiteturas baseadas em transformadores. O PEFT aborda esta questão modificando apenas uma fração dos parâmetros, mantendo inalterada a maioria do modelo pré-treinado. Esta abordagem é especialmente vantajosa quando os recursos computacionais são limitados ou quando se lida com várias tarefas que requerem personalização sem treinar novamente todo o modelo de cada vez.

As técnicas PEFT alinham-se com a crescente procura de soluções eficientes em termos de recursos na IA, permitindo a aplicação prática de grandes modelos em diversos sectores, como os cuidados de saúde, a agricultura e o retalho.

Técnicas chave em PEFT

Foram desenvolvidas várias abordagens para uma afinação eficiente dos parâmetros:

• Adaptação de baixa classificação (LoRA): O LoRA injeta no modelo actualizações de baixa classificação específicas da tarefa, optimizando apenas estes parâmetros adicionais para se adaptar a novas tarefas.
• Camadas de adaptadores: São pequenos módulos de rede neural inseridos na arquitetura do modelo, normalmente entre camadas, para aprender ajustes específicos da tarefa.
• Ajuste de prompts: Este método envolve o ajuste apenas dos prompts de entrada alimentados ao modelo, deixando os parâmetros do modelo inalterados. Saiba mais sobre o Ajuste de prompts.
• Ajuste de prefixo: Semelhante ao ajuste de prompt, o ajuste de prefixo otimiza uma seqüência de parâmetros específicos da tarefa que atuam como um prefixo para os dados de entrada.

Cada método visa reduzir o tempo de formação e a utilização de recursos, mantendo um bom desempenho nas tarefas a jusante.

Aplicações do PEFT

O PEFT tem encontrado aplicações numa vasta gama de domínios de IA e de aprendizagem automática, especialmente quando as restrições de recursos ou a diversidade de tarefas são considerações fundamentais.

Exemplo 1: Processamento de linguagem natural (NLP)

Na PNL, as técnicas PEFT são amplamente utilizadas para adaptar modelos linguísticos de grande dimensão, como o GPT-3 ou o GPT-4, a tarefas específicas, como a análise de sentimentos, a sumarização ou a resposta a perguntas específicas de um domínio. Por exemplo, o LoRA pode ser aplicado para afinar o GPT-3 para análise de textos médicos, permitindo previsões precisas e minimizando as necessidades computacionais.

Exemplo 2: IA de visão

Na visão computacional, a PEFT é utilizada para afinar modelos pré-treinados como Ultralytics YOLO para tarefas específicas, como a deteção de objectos raros em conjuntos de dados especializados. Ao afinar apenas uma pequena parte dos pesos do modelo, as organizações podem implementar rapidamente soluções personalizadas para tarefas como a monitorização da vida selvagem ou o controlo de qualidade industrial, sem necessidade de uma reciclagem extensiva.

Benefícios do PEFT

1. Eficiência de recursos: Reduz os requisitos computacionais e de memória, tornando-o acessível para implantação em dispositivos de ponta ou em ambientes com recursos limitados.
2. Flexibilidade de tarefas: Facilita a adaptação rápida a várias tarefas a jusante sem ter de voltar a treinar todo o modelo, o que é particularmente útil para sectores como os cuidados de saúde e a indústria transformadora.
3. Custo-eficácia: Reduz o custo do ajuste fino de grandes modelos, concentrando-se num pequeno subconjunto de parâmetros.
4. Preserva o conhecimento geral: Mantém as capacidades de uso geral do modelo pré-treinado enquanto acrescenta conhecimentos específicos da tarefa.

Diferenças em relação à afinação tradicional

No ajuste fino tradicional, todo o modelo é atualizado, o que pode ser computacionalmente dispendioso e propenso a sobreajuste, especialmente com pequenos conjuntos de dados. O PEFT, por outro lado, concentra-se na otimização de um número mínimo de parâmetros, obtendo resultados comparáveis com uma sobrecarga computacional significativamente reduzida.

A PEFT também difere da Aprendizagem por Transferência, em que um modelo pré-treinado é adaptado a uma nova tarefa através do retreinamento de algumas ou todas as camadas. Enquanto a aprendizagem por transferência pode envolver o retreinamento completo do modelo, a PEFT é explicitamente projetada para minimizar as atualizações de parâmetros.

Impactos no mundo real

A adoção do PEFT permitiu a proliferação de soluções de IA em ambientes com recursos limitados. Por exemplo, na agricultura, o PEFT pode afinar os modelos de visão para detetar doenças das culturas com precisão, operando em dispositivos de baixo consumo. Do mesmo modo, nos cuidados de saúde, o PEFT facilita a adaptação de modelos para tarefas como a deteção de tumores, utilizando conjuntos de dados especializados, tal como destacado nas soluções de cuidados de saúdeUltralytics .

O PEFT também está integrado em ferramentas como o Ultralytics HUB, que simplifica a formação e a implementação de modelos personalizados, garantindo que os utilizadores podem adaptar eficazmente os modelos pré-treinados às suas necessidades específicas.

Conclusão

O Parameter-Efficient Fine-Tuning (PEFT) representa um passo em frente significativo para tornar a IA mais acessível e adaptável. Ao permitir a adaptação eficiente de grandes modelos a novas tarefas, a PEFT permite que as indústrias aproveitem todo o potencial da IA, reduzindo os custos e as exigências computacionais. Com aplicações que abrangem a PNL, a visão por computador e muito mais, a PEFT continua a desempenhar um papel fundamental no avanço das tecnologias de IA.