Retropropagação

Como funciona a retropropagação

O processo de retropropagação é central para o ciclo de treinamento do modelo e pode ser entendido como um ciclo de duas fases que se repete para cada lote de dados:

1. Forward Pass: Os dados de treinamento são inseridos na rede. Cada neurónio recebe entradas, processa-as utilizando os pesos do modelo e uma função de ativação e passa a saída para a camada seguinte. Isso continua até que a camada final produza uma previsão. A previsão do modelo é então comparada com a verdade terrestre (as etiquetas corretas) utilizando uma função de perda, que calcula uma pontuação de erro que quantifica o grau de erro da previsão.

2. Passagem para trás: É aqui que a retropropagação começa. Ela começa na camada final e propaga o erro para trás através da rede, camada por camada. Em cada neurônio, ele usa cálculos (especificamente, a regra da cadeia) para calcular o quanto os pesos e as polarizações do neurônio contribuíram para o erro total. Essa contribuição é conhecida como gradiente. Os gradientes indicam efetivamente ao modelo como ajustar cada peso para reduzir o erro. Um algoritmo de otimização utiliza então estes gradientes para atualizar os pesos.

Este ciclo de passagens para a frente e para trás é repetido durante muitas épocas, permitindo que o modelo minimize gradualmente o seu erro e melhore a sua precisão. Estruturas como o PyTorch e o TensorFlow têm motores de diferenciação automática altamente optimizados que lidam com o cálculo complexo da retropropagação nos bastidores.

Backpropagation vs. Conceitos relacionados

É importante distinguir a retropropagação de outros conceitos relacionados com a aprendizagem automática:

• Algoritmo de otimização: A retropropagação é o método para calcular os gradientes da perda em relação aos parâmetros do modelo. Um algoritmo de otimização, como o Stochastic Gradient Descent (SGD) ou o optimizador Adam, é o mecanismo que utiliza estes gradientes para atualizar os pesos do modelo. Pense no backpropagation como fornecendo o mapa, e o optimizador como conduzindo o carro.
• Função de perda: Uma função de perda mede o erro entre as previsões do modelo e os valores reais. A retropropagação usa essa pontuação de erro como ponto de partida para calcular os gradientes. A escolha da função de perda é crítica, mas é um componente separado do próprio algoritmo de retropropagação.
• Desaparecimento e explosão de gradientes: Estes são problemas que podem ocorrer durante a retropropagação em redes profundas. Um gradiente de desaparecimento ocorre quando os gradientes se tornam extremamente pequenos, impedindo a aprendizagem das camadas iniciais. Por outro lado, um gradiente explosivo ocorre quando os gradientes se tornam excessivamente grandes, levando a um treinamento instável. Técnicas como a inicialização cuidadosa do peso, a normalização e a utilização de funções de ativação como a ReLU são utilizadas para atenuar estes problemas.

Aplicações no mundo real

A retropropagação é implicitamente utilizada sempre que um modelo de aprendizagem profunda é submetido a treino. Eis dois exemplos concretos:

1. Deteção de objectos com o Ultralytics YOLO: Ao treinar um modelo Ultralytics YOLO (como o YOLO11) para deteção de objectos num conjunto de dados como o COCO, é utilizada a retropropagação em cada iteração de treino. Depois de o modelo prever as caixas delimitadoras e as classes, a perda é calculada. A retropropagação calcula os gradientes para todos os pesos ao longo da espinha dorsal do modelo e da cabeça de deteção. Um optimizador utiliza então estes gradientes para ajustar os pesos, melhorando a capacidade do modelo para localizar e classificar objectos com precisão. Os utilizadores podem tirar partido de plataformas como o Ultralytics HUB para gerir este processo de formação, beneficiando de implementações eficientes de retropropagação. Isto é crucial para aplicações que vão desde veículos autónomos a sistemas de segurança.
2. Modelos de processamento de linguagem natural: Os modelos de linguagem de grande dimensão (LLMs), como os modelos BERT e GPT, são treinados utilizando a retropropagação. Por exemplo, numa tarefa de análise de sentimentos, o modelo prevê o sentimento de um determinado texto. A diferença entre o sentimento previsto e a etiqueta real resulta num valor de erro. A retropropagação calcula quanto cada parâmetro da vasta rede contribuiu para este erro. Os algoritmos de otimização actualizam então estes parâmetros, permitindo que o modelo compreenda melhor as nuances linguísticas, o contexto e o sentimento ao longo da formação. Grupos de investigação académica como o grupo de PNL de Stanford exploram e aperfeiçoam continuamente estas técnicas.