Aprendizagem auto-supervisionada

A aprendizagem auto-supervisionada é uma abordagem de aprendizagem automática que utiliza dados não rotulados para treinar modelos. Ao contrário da aprendizagem supervisionada, que requer conjuntos de dados etiquetados, a aprendizagem auto-supervisionada cria as suas próprias etiquetas a partir da estrutura inerente dos próprios dados não etiquetados. Este método é particularmente valioso em domínios como a visão por computador (CV) e o processamento de linguagem natural (PNL), em que estão prontamente disponíveis grandes quantidades de dados não etiquetados, mas a etiquetagem manual é dispendiosa e morosa.

Como funciona a aprendizagem auto-supervisionada

A ideia central da aprendizagem auto-supervisionada consiste em conceber uma "tarefa de pretexto" que permita a um modelo aprender representações úteis a partir de dados não rotulados. Esta tarefa de pretexto é formulada de tal forma que a sua resolução exige a compreensão de padrões significativos nos dados. Por exemplo, no processamento de imagens, uma tarefa de pretexto pode ser a previsão da rotação aplicada a um fragmento de imagem ou a coloração de uma imagem em tons de cinzento. No processamento de linguagem, uma tarefa de pretexto comum é a modelação de linguagem mascarada, em que o modelo prevê palavras mascaradas numa frase.

Quando o modelo é treinado na tarefa de pretexto utilizando uma grande quantidade de dados não rotulados, aprende caraterísticas gerais e representações dos dados. Estas representações aprendidas podem então ser transferidas e aperfeiçoadas para tarefas posteriores, como a deteção de objectos, a classificação de imagens ou a segmentação de imagens, muitas vezes com muito menos dados rotulados do que seria necessário para uma formação puramente supervisionada. Esta capacidade de aprendizagem por transferência é uma das principais vantagens da aprendizagem auto-supervisionada.

Aplicações da aprendizagem auto-supervisionada

A aprendizagem auto-supervisionada tem encontrado aplicações em vários domínios, especialmente quando os dados rotulados são escassos ou dispendiosos de obter:

• Visão por computador: Na análise de imagens médicas, a aprendizagem auto-supervisionada pode pré-treinar modelos em grandes conjuntos de dados de imagens médicas não rotuladas (como radiografias ou exames de ressonância magnética). Estes modelos pré-treinados podem depois ser aperfeiçoados para tarefas de diagnóstico específicas utilizando dados rotulados limitados, melhorando a precisão e a eficiência da interpretação de imagens médicas. Por exemplo, modelos como Ultralytics YOLOv8 podem beneficiar de pré-treino auto-supervisionado para melhorar o seu desempenho na deteção de anomalias em imagens médicas.
• Processamento de linguagem natural: Os modelos de linguagem de grande dimensão (LLMs), como o GPT-4, são frequentemente pré-treinados utilizando técnicas de aprendizagem auto-supervisionadas em grandes quantidades de dados de texto. Este pré-treinamento permite-lhes aprender capacidades gerais de compreensão e geração de linguagem, que são depois afinadas para tarefas específicas de PNL, como resumo de texto, tradução ou análise de sentimentos. Técnicas como a sintonização rápida aproveitam ainda mais estes modelos pré-treinados para uma adaptação eficiente a novas tarefas.

Aprendizagem auto-supervisionada vs. conceitos semelhantes

É importante distinguir a aprendizagem auto-supervisionada de outros paradigmas relacionados com a aprendizagem automática:

• Aprendizagem não supervisionada: Embora ambas utilizem dados não rotulados, a aprendizagem não supervisionada visa encontrar estruturas ou padrões inerentes nos dados sem qualquer tarefa específica em mente (por exemplo, agrupamento, redução da dimensionalidade). A aprendizagem auto-supervisionada, por outro lado, formula uma tarefa prévia para aprender representações que são úteis para tarefas posteriores.
• Aprendizagem semi-supervisionada: A aprendizagem semi-supervisionada utiliza uma combinação de dados etiquetados e não etiquetados, mas continua a depender de uma certa quantidade de dados etiquetados para a formação. A aprendizagem auto-supervisionada centra-se principalmente na aprendizagem a partir de dados não etiquetados e, em seguida, potencialmente afinada com uma pequena quantidade de dados etiquetados.

A aprendizagem auto-supervisionada representa um avanço significativo na aprendizagem automática, permitindo a utilização eficaz das vastas quantidades de dados não rotulados disponíveis e reduzindo a dependência de conjuntos de dados rotulados dispendiosos. À medida que modelos como Ultralytics YOLO11 continuam a evoluir, as técnicas auto-supervisionadas desempenharão provavelmente um papel cada vez mais importante na melhoria do seu desempenho e aplicabilidade em diversas aplicações de IA de visão.