Gradiente de desaparecimento

O que causa o desaparecimento de gradientes?

A principal causa do desaparecimento de gradientes reside na natureza de certas funções de ativação e na profundidade da própria rede.

• Funções de ativação: As funções de ativação tradicionais, como a sigmoide e a tangente hiperbólica (tanh), comprimem a sua entrada num intervalo de saída muito pequeno. As derivadas dessas funções são pequenas. Durante a retropropagação, essas pequenas derivadas são multiplicadas em muitas camadas. Quanto mais camadas a rede tiver, mais esses pequenos números serão multiplicados, fazendo com que o gradiente final diminua exponencialmente em direção a zero.
• Arquitecturas profundas: O problema é particularmente pronunciado em redes muito profundas, incluindo as primeiras Redes Neurais Recorrentes (RNNs), onde os gradientes são propagados de volta através de muitos passos de tempo. Cada passo envolve uma multiplicação, que pode diminuir o sinal do gradiente em sequências longas.

Desaparecimento de gradientes vs. Explosão de gradientes

Os gradientes que desaparecem são o oposto dos gradientes que explodem. Ambos os problemas estão relacionados com o fluxo de gradientes durante o treino, mas têm efeitos diferentes:

• Gradientes que desaparecem: Os gradientes diminuem exponencialmente até se tornarem demasiado pequenos para facilitar qualquer aprendizagem significativa nas camadas iniciais da rede.
• Gradientes explosivos: Os gradientes crescem descontroladamente, levando a actualizações de peso maciças que fazem com que o modelo se torne instável e não consiga convergir.

A resolução de ambas as questões é crucial para o sucesso do treino de modelos de IA profundos e poderosos.

Soluções e estratégias de atenuação

Foram desenvolvidas várias técnicas para combater o problema do gradiente decrescente:

• Melhores funções de ativação: Substituir sigmoide e tanh por funções como a Unidade Linear Rectificada (ReLU) ou suas variantes(Leaky ReLU, GELU) é uma solução comum. A derivada da ReLU é 1 para entradas positivas, o que impede que o gradiente diminua.
• Arquitecturas avançadas: As arquitecturas foram concebidas especificamente para atenuar este problema. As redes residuais (ResNets) introduzem "ligações de salto" que permitem que o gradiente contorne as camadas, proporcionando um caminho mais curto durante a retropropagação. Para dados sequenciais, as redes LSTM (Long Short-Term Memory) e GRU (Gated Recurrent Unit) utilizam mecanismos de gating para controlar o fluxo de informação e os gradientes, tal como descrito no documento original sobre LSTM e GRU.
• Inicialização de pesos: A inicialização adequada dos pesos da rede, usando métodos como a inicialização He ou Xavier, pode ajudar a garantir que os gradientes comecem dentro de um intervalo razoável. Mais informações sobre isso podem ser encontradas em discussões sobre as práticas recomendadas de aprendizado profundo.
• Normalização em lote: A aplicação da normalização em lote ajuda a normalizar as entradas de cada camada, o que estabiliza a rede e reduz a dependência da inicialização, atenuando assim o problema do gradiente de desaparecimento.

Impacto no mundo real e exemplos

Ultrapassar o desaparecimento de gradientes foi um avanço fundamental para a IA moderna.

1. Processamento de linguagem natural (PNL): Os primeiros RNNs falharam em tarefas como a tradução automática e a análise de sentimentos de forma longa porque não conseguiam lembrar-se de informações do início de uma frase longa. A invenção dos LSTMs e GRUs permitiu que os modelos capturassem essas dependências de longo alcance. Arquitecturas modernas como o Transformer utilizam a auto-atenção para contornar completamente o problema do gradiente sequencial, conduzindo a um desempenho topo de gama.
2. Visão computacional: Em tempos, pensava-se que o simples facto de tornar as Redes Neuronais Convolucionais (CNN) mais profundas não melhoraria o desempenho devido a dificuldades de formação como o desaparecimento de gradientes. A introdução das arquitecturas ResNet provou que isto estava errado, permitindo redes com centenas de camadas. Isto levou a grandes avanços na classificação de imagens, segmentação de imagens e deteção de objectos, formando a base para modelos como o Ultralytics YOLO. O treino destes modelos envolve frequentemente grandes conjuntos de dados de visão computacional e pode ser gerido em plataformas como o Ultralytics HUB.