Descobre o poder da aprendizagem contrastiva, uma técnica auto-supervisionada para representações de dados robustas com um mínimo de dados rotulados.
A aprendizagem contrastiva é uma abordagem poderosa na aprendizagem auto-supervisionada, em que um modelo aprende a identificar pontos de dados semelhantes e dissemelhantes sem depender de dados rotulados. Este método envolve o treino de um modelo para compreender as relações entre diferentes amostras de dados, contrastando pares positivos com pares negativos. Essencialmente, o modelo aprende a juntar as representações de pontos de dados semelhantes e a afastar as representações de pontos diferentes. Esta técnica provou ser altamente eficaz em vários domínios, incluindo a visão por computador, o processamento de linguagem natural (PNL) e o processamento de áudio. Ao aprender representações de dados ricas e robustas, a aprendizagem contrastiva permite que os modelos tenham um bom desempenho em tarefas a jusante, mesmo com dados rotulados limitados, o que a torna uma ferramenta valiosa em cenários em que os dados rotulados são escassos ou dispendiosos de obter.
A aprendizagem contrastiva gira em torno da ideia de comparar e contrastar diferentes amostras de dados para aprender representações significativas. São utilizados dois tipos principais de pares de dados:
O objetivo é treinar o modelo de modo a que as representações dos pares positivos estejam próximas umas das outras no espaço de incorporação, enquanto as representações dos pares negativos estão afastadas. Isto é conseguido minimizando a distância entre pares positivos e maximizando a distância entre pares negativos.
Embora tanto a aprendizagem contrastiva como a aprendizagem supervisionada tenham como objetivo treinar modelos para fazer previsões precisas, diferem significativamente na sua abordagem e requisitos. A aprendizagem supervisionada baseia-se em conjuntos de dados rotulados, em que cada ponto de dados está associado a um rótulo específico ou a uma variável-alvo. O modelo aprende a mapear as entradas para as saídas com base nestes exemplos rotulados. Em contrapartida, a aprendizagem contrastiva insere-se no âmbito da aprendizagem auto-supervisionada, um subconjunto da aprendizagem não supervisionada, em que o modelo aprende a partir dos próprios dados sem necessidade de rótulos explícitos. Isto torna a aprendizagem contrastiva particularmente útil quando os dados rotulados são limitados ou não estão disponíveis.
A aprendizagem contrastiva e a aprendizagem semi-supervisionada são ambas técnicas que visam melhorar o desempenho do modelo quando os dados rotulados são escassos, mas fazem-no através de mecanismos diferentes. A aprendizagem semi-supervisionada utiliza uma combinação de dados rotulados e não rotulados durante o treino. O modelo aprende a partir dos dados rotulados de uma forma supervisionada tradicional, ao mesmo tempo que utiliza os dados não rotulados para obter uma melhor compreensão da estrutura de dados subjacente. A aprendizagem contrastiva, por outro lado, centra-se apenas na aprendizagem de representações a partir de dados não rotulados, contrastando amostras semelhantes e diferentes. Embora a aprendizagem semi-supervisionada possa beneficiar de alguns dados etiquetados, a aprendizagem contrastiva não requer quaisquer etiquetas, baseando-se antes nas relações inerentes aos próprios dados.
A aprendizagem contrastiva tem demonstrado um sucesso notável numa vasta gama de aplicações:
SimCLR (A Simple Framework for Contrastive Learning of Visual Representations) é uma estrutura amplamente reconhecida que demonstra o poder da aprendizagem contrastiva na representação de imagens. O SimCLR funciona treinando um modelo em pares de imagens aumentadas. Cada imagem num lote é transformada em duas vistas diferentes utilizando aumentos como o corte aleatório, o redimensionamento e a distorção da cor. Estas vistas aumentadas formam pares positivos, enquanto as vistas de imagens diferentes formam pares negativos. O modelo, normalmente uma rede neural convolucional (CNN), aprende a produzir incrustações semelhantes para pares positivos e incrustações diferentes para pares negativos. Uma vez treinado, o modelo pode gerar representações de imagem de alta qualidade que captam as caraterísticas essenciais e são invariantes em relação aos aumentos específicos aplicados. Estas representações podem melhorar significativamente o desempenho em várias tarefas de visão computacional a jusante. Sabe mais sobre o SimCLR no artigo de investigação original.
A aprendizagem contrastiva tem-se revelado muito promissora na análise de imagens médicas, particularmente em cenários em que os dados médicos rotulados são escassos. Por exemplo, um modelo pode ser treinado para distinguir entre diferentes vistas ou cortes do mesmo exame médico (por exemplo, exames de ressonância magnética ou tomografia computadorizada) como semelhantes, enquanto trata exames de diferentes pacientes como diferentes. Esta abordagem permite que o modelo aprenda representações robustas de imagens médicas sem depender de anotações manuais extensas. Estas representações aprendidas podem então ser utilizadas para melhorar a precisão e a eficiência das tarefas de diagnóstico, como a deteção de anomalias, a classificação de doenças e a segmentação de estruturas anatómicas. Ao tirar partido da aprendizagem contrastiva, os sistemas de imagiologia médica podem obter um melhor desempenho com menos dados rotulados, resolvendo um estrangulamento crítico neste domínio. Sabe mais sobre as aplicações da aprendizagem contrastiva na imagiologia médica neste documento de investigação.
