Regularização

Importância na aprendizagem automática

A regularização é fundamental para treinar modelos de ML fiáveis, particularmente os complexos, como os modelos de aprendizagem profunda (DL) e as redes neurais (NN). Sem regularização, esses modelos podem facilmente memorizar os dados de treinamento em vez de aprender os padrões subjacentes. Isso leva a uma alta precisão no conjunto de treinamento, mas a um desempenho ruim nos dados de validação ou nas entradas do mundo real. Ao adicionar um termo de penalização à função de perda, a regularização ajuda a controlar a magnitude dos pesos do modelo, simplificando efetivamente o modelo e melhorando a sua capacidade de generalização. Este equilíbrio entre o ajuste dos dados e a manutenção da simplicidade é frequentemente discutido no contexto do compromisso entre viés e variância. Para modelos como o Ultralytics YOLOa regularização contribui para alcançar uma elevada precisão em tarefas exigentes como a deteção de objectos em tempo real.

Técnicas de regularização comuns

Várias técnicas de regularização são amplamente utilizadas:

• Regularização L1 (Lasso): Adiciona uma penalidade igual ao valor absoluto da magnitude dos coeficientes. Isso pode fazer com que alguns pesos se tornem exatamente zero, realizando efetivamente a seleção de caraterísticas. Saiba mais sobre a Regressão Lasso.
• Regularização L2 (Ridge): Adiciona uma penalização igual ao quadrado da magnitude dos coeficientes. Diminui os pesos para zero, mas raramente os torna exatamente zero. Saiba mais sobre a Regressão Ridge.
• Camada de abandono: Usado principalmente em redes neurais, o dropout define aleatoriamente uma fração das saídas dos neurônios como zero durante o treinamento. Isto evita que os neurónios se co-adaptem demasiado e força a rede a aprender caraterísticas mais robustas. Vê o artigo original sobre Dropout para mais detalhes.
• Interrupção antecipada: Monitora o desempenho do modelo em um conjunto de validação durante o treinamento e interrompe o processo de treinamento quando o desempenho pára de melhorar, evitando que o modelo se ajuste demais à medida que o treinamento progride. Esta é uma prática comum discutida nas dicas de treinamento de modelos.
• Aumenta os dados: Aumenta a diversidade dos dados de treinamento aplicando transformações aleatórias (como rotação, escala, corte) aos dados existentes. Isto ajuda o modelo a tornar-se mais invariante a essas variações. Explora as técnicas de aumento de dados.

Diferenças em relação a conceitos relacionados

A regularização é diferente de outros conceitos importantes de ML:

• Algoritmo de otimização: Algoritmos como o Gradient Des cent ou o Adam Optimizer são usados para minimizar a função de perda e atualizar os parâmetros do modelo durante o treinamento. A regularização modifica essa função de perda adicionando um termo de penalidade, orientando o processo de otimização para modelos mais simples, mas não é o algoritmo de otimização em si.
• Ajuste de hiperparâmetros: Trata-se de encontrar os hiperparâmetros óptimos (por exemplo, taxa de aprendizagem, número de camadas) para um modelo, utilizando frequentemente técnicas como a pesquisa em grelha ou métodos automatizados disponíveis em plataformas como o Ultralytics HUB. A força da regularização (por exemplo, o coeficiente de penalização em L1/L2) é, por si só, um hiperparâmetro que precisa de ser ajustado, mas a regularização é a técnica aplicada, enquanto o ajuste do hiperparâmetro é o processo de definição da sua força juntamente com outros parâmetros.

Aplicações no mundo real

As técnicas de regularização são essenciais para o sucesso prático de muitas aplicações de IA: