Algoritmo de otimização

Como funcionam os algoritmos de otimização

Na sua essência, um algoritmo de otimização navega num "cenário de perdas" - um espaço de elevada dimensão em que cada ponto representa um conjunto de parâmetros do modelo e a altura do ponto corresponde ao erro do modelo. O objetivo é encontrar o ponto mais baixo, ou "mínimo", nesta paisagem. O algoritmo começa com um conjunto inicial de parâmetros aleatórios e, em cada passo (ou época), calcula o gradiente da função de perda. Este gradiente aponta na direção da subida mais íngreme, pelo que o algoritmo dá um passo na direção oposta para descer a paisagem.

A dimensão deste passo é controlada por um hiperparâmetro crítico designado por taxa de aprendizagem. Uma taxa de aprendizagem bem escolhida garante que o modelo aprende de forma eficiente sem ultrapassar o mínimo ou ficar preso. Este processo iterativo de cálculo de gradientes e atualização de parâmetros é conhecido como retropropagação e continua até que o desempenho do modelo num conjunto de dados de validação deixe de melhorar, indicando convergência.

Tipos comuns de algoritmos de otimização

Foram desenvolvidos vários algoritmos de otimização, cada um com caraterísticas diferentes. Alguns dos mais utilizados na aprendizagem profunda incluem:

• Descida de Gradiente Estocástico (SGD): Um optimizador clássico e amplamente utilizado que actualiza os parâmetros utilizando o gradiente de um pequeno subconjunto(lote) dos dados de treino. Embora eficaz, o seu desempenho pode ser sensível à escolha da taxa de aprendizagem. Variações como SGD com momentum ajudam a acelerar a convergência.
• Optimizador Adam: O optimizador Adaptive Moment Estimation (Adam) é extremamente popular porque combina as vantagens de duas outras extensões do SGD: AdaGrad e RMSProp. Calcula taxas de aprendizagem adaptativas para cada parâmetro, o que o torna robusto e, muitas vezes, uma boa escolha por defeito para muitos problemas. Uma extensão, AdamW, é normalmente utilizada em modelos de transformação modernos. Estruturas como PyTorch e TensorFlow oferecem implementações destes optimizadores populares.

A escolha do optimizador pode ter um impacto significativo tanto na velocidade de treino como no desempenho final do modelo. No ecossistema Ultralytics, os utilizadores podem configurar facilmente o optimizador durante a configuração do treino.

Aplicações no mundo real

Os algoritmos de otimização estão a trabalhar nos bastidores de inúmeras aplicações de IA.

1. Análise de imagens médicas: Ao treinar uma rede neural convolucional (CNN) para detetar tumores em exames cerebrais, um algoritmo de otimização como o Adam ajusta sistematicamente os filtros da rede. Trabalha para minimizar a diferença entre as localizações de tumores previstas pelo modelo e as anotações de verdade fornecidas pelos radiologistas, melhorando a precisão do diagnóstico do modelo. Este é um componente essencial da criação de soluções eficazes de IA nos cuidados de saúde.
2. Veículos autónomos: Um modelo de deteção de objectos num veículo de condução autónoma, como o modelo YOLO da Ultralytics, deve identificar de forma fiável peões, outros veículos e sinais de trânsito. Durante o treinamento, um otimizador ajusta os parâmetros do modelo em milhões de imagens para reduzir os erros de deteção (por exemplo, objetos perdidos ou classificações incorretas), o que é fundamental para garantir a segurança em sistemas de IA no setor automotivo.

Algoritmos de otimização vs. conceitos relacionados

É importante distinguir os algoritmos de otimização dos conceitos de ML relacionados:

• Algoritmo de otimização vs. afinação de hiperparâmetros: Os algoritmos de otimização ajustam o parâmetros internos (pesos e desvios) do modelo durante formação. Em contrapartida, a afinação de hiperparâmetros centra-se em encontrar o melhor definições de configuração externa (como a taxa de aprendizagem, o tamanho do lote, ou mesmo a escolha do próprio optimizador) antes de começa a formação. O Ultralytics Tuner classe automatiza este processo utilizando métodos como algoritmos evolutivos.
• Algoritmo de otimização vs. Função de perda: A função de perda quantifica o erro do modelo. O algoritmo de otimização é o mecanismo utilizado para minimizar este erro. A função de perda fornece o objetivo, e o optimizador fornece a estratégia para o alcançar.
• Algoritmo de otimização vs. Arquitetura do modelo: A arquitetura do modelo define a estrutura da rede neural (por exemplo, suas camadas e conexões). O algoritmo de otimização trabalha dentro dessa estrutura predefinida para treinar seus parâmetros aprendidos. A Pesquisa de Arquitetura Neural (NAS) é um campo relacionado que automatiza o projeto da própria arquitetura.