Descida de Gradiente Estocástico (SGD)

Relevância na aprendizagem automática

O SGD é uma pedra angular para o treinamento de modelos de aprendizado de máquina em larga escala, especialmente as complexas Redes Neurais (NN) que alimentam muitos aplicativos modernos de IA. A sua eficiência torna-o indispensável quando se trabalha com conjuntos de dados que são demasiado grandes para caber na memória ou que demorariam demasiado tempo a processar utilizando a Descida de Gradiente em Lote tradicional. Modelos como o Ultralytics YOLO utilizam frequentemente o SGD ou as suas variantes durante o processo de formação para aprender padrões para tarefas como a deteção de objectos, a classificação de imagens e a segmentação de imagens. As principais estruturas de aprendizagem profunda, como o PyTorch e TensorFlow fornecem implementações robustas de SGD, destacando o seu papel fundamental no ecossistema de IA.

Conceitos-chave

Compreender o SGD implica algumas ideias fundamentais:

• Função de perda: Uma medida de quão bem as previsões do modelo correspondem aos valores-alvo reais. O SGD tem como objetivo minimizar esta função.
• Taxa de aprendizagem: Um hiperparâmetro que controla o tamanho do passo dado durante cada atualização de parâmetro. Encontrar uma boa taxa de aprendizagem é crucial para um treino eficaz. As programações da taxa de aprendizagem são frequentemente utilizadas para a ajustar durante o treino.
• Tamanho do lote: O número de amostras de treinamento usadas em uma iteração para estimar o gradiente. No SGD puro, o tamanho do lote é 1. Quando usa subconjuntos pequenos, é frequentemente chamado de Mini-batch Gradient Descent.
• Dados de treino: O conjunto de dados usado para treinar o modelo. O SGD processa estes dados amostra por amostra ou em mini-lotes. Dados de alta qualidade são essenciais, muitas vezes exigindo uma cuidadosa recolha e anotação de dados.
• Gradiente: Um vetor que indica a direção do aumento mais acentuado na função de perda. O SGD move os parâmetros na direção oposta do gradiente calculado a partir de uma amostra ou minilote.
• Época: Uma passagem completa por todo o conjunto de dados de treino. Normalmente, o treino envolve várias épocas.

Diferenças em relação a conceitos relacionados

O SGD é um dos vários algoritmos de otimização, pelo que é importante distingui-lo dos outros:

• Descida de gradiente em lote (BGD): Calcula o gradiente utilizando todo o conjunto de dados de treino em cada passo. Isto fornece uma estimativa precisa do gradiente, mas é computacionalmente caro e consome muita memória para grandes conjuntos de dados. Leva a um caminho de convergência mais suave em comparação com as atualizações ruidosas do SGD.
• Descida de Gradiente em Mini-batch: Um compromisso entre BGD e SGD. Calcula o gradiente utilizando um subconjunto pequeno e aleatório (mini-batch) dos dados. Equilibra a precisão do BGD com a eficiência do SGD e é a abordagem mais comum na prática. O desempenho pode depender do tamanho do lote.
• Adam Optimizer: Um algoritmo de otimização da taxa de aprendizagem adaptativa que calcula taxas de aprendizagem adaptativas individuais para diferentes parâmetros. Converge frequentemente mais rápido do que o SGD padrão, mas pode por vezes generalizar de forma menos eficaz, como discutido em pesquisas como "The Marginal Value of Adaptive Gradient Methods in Machine Learning". Existem muitas variantes do Gradient Descent para além destas.

Aplicações no mundo real

A eficiência do SGD permite a sua utilização em numerosas aplicações de IA em grande escala: