Subadaptação

Subajuste Vs. Sobreajuste

A subadaptação e a sobreadaptação são dois desafios fundamentais em AM relacionados com a capacidade de um modelo para generalizar a partir de dados de treino para novos dados. Representam dois extremos no espetro da complexidade do modelo.

• Subadaptação: O modelo é demasiado simples e tem um viés elevado. Não consegue aprender a estrutura subjacente dos dados, o que resulta num valor elevado da função de perda e num fraco desempenho nos conjuntos de dados de treino e de validação.
• Sobreajuste: O modelo é demasiado complexo e tem uma variância elevada. Aprende demasiado bem os dados de treino, incluindo o ruído e as flutuações aleatórias. Isto resulta num excelente desempenho no conjunto de treino mas num fraco desempenho em dados não vistos, uma vez que o modelo memorizou essencialmente os exemplos de treino em vez de aprender padrões gerais.

O objetivo final do ML é encontrar um equilíbrio entre estes dois aspectos, um conceito conhecido como compromisso entre a polarização e a variância, para criar um modelo que se generalize eficazmente a novos cenários do mundo real. A análise das curvas de aprendizagem é um método comum para diagnosticar se um modelo está subajustado, sobreajustado ou bem ajustado.

Causas e soluções para o subajuste

A identificação e o tratamento do subajuste são cruciais para a criação de modelos eficazes. Normalmente, o problema tem origem em algumas causas comuns, cada uma com soluções correspondentes.

• O modelo é demasiado simples: A utilização de um modelo linear para um problema complexo e não linear é uma causa clássica de subadaptação.
  • Solução: Aumentar a complexidade do modelo. Isto pode implicar a mudança para uma arquitetura de modelo mais poderosa, como uma rede neural mais profunda ou um modelo pré-treinado maior, como passar de uma variante de modelo YOLO do Ultralytics mais pequena para uma maior. É possível explorar várias comparações de modelos YOLO para selecionar uma arquitetura mais adequada.
• Caraterísticas insuficientes ou de má qualidade: Se as caraterísticas de entrada fornecidas ao modelo não contiverem informações suficientes para fazer previsões exactas, o modelo será subadaptado.
  • Solução: Melhorar as caraterísticas através da engenharia de caraterísticas. Isto pode implicar a criação de novas caraterísticas, a utilização de caraterísticas polinomiais ou a aplicação de diferentes técnicas de pré-processamento de dados para melhor representar os padrões subjacentes. Podem também ser aplicadas técnicas de seleção de caraterísticas.
• Formação insuficiente: O modelo pode não ter sido treinado o suficiente épocas para aprender os padrões nos dados.
  • Solução: Aumentar a duração do treinamento. É importante monitorizar as métricas de validação para garantir que um treino mais longo não leva a um sobreajuste. Ferramentas como o Ultralytics HUB podem ajudá-lo a acompanhar e gerir as suas experiências de formação.
• Regularização excessiva: Técnicas como Regularização L1 e L2 ou elevado abandono são utilizadas para evitar o sobreajuste, mas se forem demasiado agressivas, podem restringir demasiado o modelo e causar um subajuste.
  • Solução: Reduzir a quantidade de regularização. Isto pode significar a redução do termo de penalização nas funções de regularização ou a redução da taxa de desistência. Seguir as práticas recomendadas para o treinamento de modelos pode ajudar a encontrar o equilíbrio certo.

Exemplos reais de subadaptação

1. Classificador de imagens simples: Imagine treinar uma rede neural convolucional (CNN) muito básica, com apenas uma ou duas camadas, numa tarefa complexa de classificação de imagens, como a identificação de milhares de categorias de objectos no conjunto de dados ImageNet. A capacidade limitada do modelo impedi-lo-ia de aprender as caraterísticas complexas necessárias para distinguir entre tantas classes, resultando numa baixa precisão tanto nos dados de treino como nos de teste. Estruturas como PyTorch e TensorFlow fornecem as ferramentas para construir arquitecturas mais sofisticadas para ultrapassar este problema.
2. Manutenção Preditiva Básica: Considerar a utilização de um modelo de regressão linear simples para a modelação preditiva para estimar quando uma máquina irá falhar com base apenas na sua temperatura de funcionamento. Se as avarias das máquinas forem realmente influenciadas por uma interação complexa e não linear de factores como a vibração, a idade e a pressão, o modelo linear simples não será adequado. Não consegue captar a verdadeira complexidade do sistema, conduzindo a um fraco desempenho de previsão e a uma incapacidade de antecipar as avarias com precisão. Um modelo mais complexo, como uma máquina de aumento de gradiente ou uma rede neural, seria mais adequado.