Aprendizagem por transferência

Como funciona a aprendizagem por transferência

Normalmente, o processo começa com um modelo pré-treinado num conjunto de dados grande e geral, como o ImageNet para tarefas de imagem ou grandes corpora de texto para Processamento de Linguagem Natural (PNL). Este pré-treinamento permite que o modelo, muitas vezes um modelo de Aprendizagem Profunda (DL) como uma Rede Neural Convolucional (CNN) ou um Transformador, aprenda caraterísticas gerais - bordas, texturas, padrões em imagens ou gramática e semântica em texto.

Para a nova tarefa alvo, este modelo pré-treinado é adaptado. As estratégias mais comuns incluem:

1. Utiliza o modelo pré-treinado como um extrator de caraterísticas: As camadas iniciais do modelo pré-treinado são mantidas congeladas (os seus pesos não são actualizados), e apenas o classificador final ou as camadas específicas da tarefa são treinadas no novo conjunto de dados.
2. Afinação fina: Isto implica descongelar algumas ou todas as camadas pré-treinadas e continuar o processo de treino(retropropagação) no novo conjunto de dados, normalmente com uma taxa de aprendizagem mais baixa para evitar alterar drasticamente as caraterísticas aprendidas. O ajuste fino permite que o modelo especialize o seu conhecimento geral para as nuances específicas da tarefa-alvo.

Benefícios da aprendizagem por transferência

O recurso à aprendizagem por transferência oferece várias vantagens importantes:

• Necessidades de dados reduzidas: Consegue um bom desempenho mesmo com conjuntos de dados alvo mais pequenos.
• Desenvolvimento mais rápido: Reduz significativamente o tempo de formação do modelo.
• Melhora o desempenho: Frequentemente conduz a uma maior precisão e melhor generalização em comparação com a formação de raiz, especialmente em tarefas complexas.
• Eficiência de recursos: Poupa custos computacionais (GPU tempo, energia) associados a uma formação extensiva.

Aprendizagem por transferência vs. conceitos relacionados

• Afinação: Tal como referido, a afinação é um método específico utilizado na aprendizagem por transferência, em que os pesos pré-treinados são ajustados durante o treino na nova tarefa. A aprendizagem por transferência é o conceito mais amplo de alavancagem do conhecimento, que também pode envolver apenas a utilização do modelo pré-treinado como um extrator de caraterísticas fixo sem afinação.
• Aprendizagem Zero-Shot: Ao contrário da aprendizagem por transferência, que adapta um modelo a uma nova tarefa utilizando frequentemente alguns dados rotulados novos, a aprendizagem Zero-Shot visa realizar tarefas (como a classificação) em classes que o modelo nunca viu durante o treino, baseando-se em informações auxiliares ou espaços de atributos partilhados.
• Treina a partir do zero: Esta é a abordagem tradicional em que os pesos do modelo são inicializados aleatoriamente e treinados apenas no conjunto de dados de destino, o que exige muito mais dados e tempo.

Aplicações no mundo real

A aprendizagem por transferência é amplamente aplicada em vários domínios:

1. Visão computacional: Modelos como o Ultralytics YOLO, pré-treinados em grandes conjuntos de dados como o COCO, são frequentemente adaptados para tarefas especializadas de deteção de objectos, segmentação de imagens ou classificação de imagens. Por exemplo, um modelo pré-treinado em objectos do quotidiano pode ser aperfeiçoado para aplicações específicas, como a análise de imagens médicas para detetar anomalias(deteção de tumores) ou para IA na agricultura para identificar culturas ou pragas específicas. Podes aprender a aplicar a aprendizagem por transferência com o YOLOv5 congelando camadas.
2. Processamento de linguagem natural (PNL): Os Modelos de Linguagem Grandes (LLMs), como o BERT e o GPT, são pré-treinados em conjuntos de dados de texto maciços. Eles servem como modelos de base poderosos que podem ser ajustados para tarefas específicas de NLP, como análise de sentimentos, reconhecimento de entidades nomeadas (NER) ou construção de chatbots especializados. Bibliotecas como a Hugging Face Transformers facilitam muito esse processo.

Plataformas como o Ultralytics HUB simplificam o processo de aplicação da aprendizagem por transferência, fornecendo modelos pré-treinados (YOLOv8, YOLOv11) e ferramentas para facilitar a formação personalizada em conjuntos de dados específicos do utilizador. Estruturas como o PyTorch e TensorFlow também oferecem um vasto apoio e tutoriais para a aprendizagem por transferência. Para um mergulho mais profundo, explora recursos como a visão geral do Stanford CS231n ou inquéritos académicos como"A Survey on Deep Transfer Learning".