Redução da dimensionalidade

Como funciona a redução da dimensionalidade

As técnicas de redução da dimensionalidade dividem-se geralmente em duas categorias principais:

1. Seleção de caraterísticas: Estes métodos selecionam um subconjunto das caraterísticas originais, descartando as consideradas irrelevantes ou redundantes. O objetivo é manter as caraterísticas mais informativas sem as alterar. Os métodos podem ser classificados como filtros (com base em propriedades estatísticas), invólucros (com base no desempenho do modelo) ou incorporados (integrados no processo de formação do modelo).
2. Extração de caraterísticas: Estes métodos transformam os dados originais de elevada dimensão num novo espaço de caraterísticas de dimensão inferior. Em vez de se limitarem a selecionar caraterísticas, criam novas caraterísticas (frequentemente combinações das originais) que captam a informação essencial. Este é um conceito central detalhado na entrada do glossário sobre extração de caraterísticas.

Técnicas fundamentais

Vários algoritmos são normalmente utilizados para a redução da dimensionalidade:

• Análise de componentes principais (PCA): Uma técnica linear amplamente utilizada para a extração de caraterísticas. A PCA identifica componentes principais - caraterísticas novas e não correlacionadas que captam a variância máxima nos dados originais. Projecta os dados nestes componentes, reduzindo efetivamente as dimensões e preservando a maior parte da variabilidade dos dados. É frequentemente implementado usando bibliotecas como Scikit-learn.
• t-SNE (t-distributed Stochastic Neighbor Embedding): Uma técnica não linear usada principalmente para visualizar dados de alta dimensão em duas ou três dimensões. O t-SNE concentra-se na preservação da estrutura local dos dados, mapeando pontos de dados de alta dimensão para pontos de baixa dimensão, de modo que pontos semelhantes permaneçam próximos uns dos outros. Embora seja excelente para visualização, é computacionalmente intensivo e menos adequado para a redução geral da dimensionalidade antes do treino do modelo, em comparação com o PCA. O site de Laurens van der Maaten oferece recursos sobre t-SNE.
• Autoencoders: Um tipo de rede neural (NN) utilizado para aprendizagem não supervisionada e extração de caraterísticas. Um autoencoder é composto por um codificador que comprime os dados de entrada numa representação latente de dimensão inferior (camada de estrangulamento) e um descodificador que reconstrói os dados originais a partir desta representação. A representação latente comprimida serve como saída de dimensão reduzida. Estes são frequentemente construídos utilizando estruturas como PyTorch ou TensorFlow.

Redução da dimensionalidade vs. conceitos relacionados

• Extração de caraterísticas: Como mencionado, a extração de caraterísticas é um tipo de redução de dimensionalidade que cria novas caraterísticas a partir das antigas. Técnicas como PCA e autoencoders enquadram-se nesta categoria.
• Engenharia de caraterísticas: Este é um processo mais amplo que envolve a criação, seleção e transformação de caraterísticas para melhorar o desempenho do modelo. A redução da dimensionalidade (tanto a seleção como a extração) é considerada uma parte da engenharia de caraterísticas. Uma engenharia de caraterísticas eficaz requer frequentemente conhecimentos especializados no domínio.
• Compressão de dados: Embora ambos tenham como objetivo reduzir o tamanho dos dados, a redução da dimensionalidade centra-se especificamente na preservação de informações relevantes para as tarefas de ML, podendo descartar alguns detalhes de reconstrução. A compressão de dados padrão (como os ficheiros ZIP) visa minimizar o tamanho do armazenamento sem perdas ou com perdas aceitáveis para a reconstrução, não sendo necessariamente optimizada para a entrada de modelos de ML.

Aplicações em IA e ML

A redução da dimensionalidade é vital em muitas aplicações de Inteligência Artificial (IA) e ML:

• Visão por computador (CV): As imagens contêm grandes quantidades de dados de pixéis. Técnicas como a PCA ou a extração de caraterísticas inerente às Redes Neuronais Convolucionais (CNN) (utilizadas em modelos como Ultralytics YOLO) reduzem esta dimensionalidade, concentrando-se em padrões relevantes para tarefas como a deteção de objectos ou a classificação de imagens. Isto acelera o processamento e pode melhorar a precisão do modelo. Os guias de dados de pré-processamento envolvem frequentemente passos relacionados com o tratamento de caraterísticas.
• Bioinformática: A análise de dados genómicos envolve frequentemente conjuntos de dados com milhares de expressões de genes (caraterísticas). A redução da dimensionalidade ajuda os investigadores a identificar padrões significativos relacionados com doenças ou funções biológicas, tornando os dados biológicos complexos mais fáceis de gerir. Os estudos publicados em revistas como a Nature Methods utilizam frequentemente estas técnicas.
• Processamento de linguagem natural (PNL): Os dados de texto podem ser representados em espaços de elevada dimensão utilizando técnicas como TF ou word embeddings. A redução da dimensionalidade ajuda a simplificar essas representações para tarefas como classificação de documentos, modelagem de tópicos ou análise de sentimentos.
• Visualização de dados: Técnicas como a t-SNE são inestimáveis para traçar conjuntos de dados de alta dimensão (por exemplo, segmentos de clientes, clusters genéticos) em 2D ou 3D, permitindo que os seres humanos inspeccionem visualmente e compreendam potenciais estruturas ou relações dentro dos dados. Plataformas como o Ultralytics HUB facilitam a gestão de conjuntos de dados e modelos em que essas análises são relevantes.

Benefícios e desafios

Beneficia:

• Reduz o custo computacional e o tempo de formação.
• Minimiza os requisitos de memória e armazenamento.
• Pode atenuar a maldição da dimensionalidade e reduzir o sobreajuste.
• Melhora o desempenho do modelo, removendo o ruído e a redundância.
• Permite a visualização de dados complexos e de elevada dimensão.

Desafios:

• Perde potencialmente informações importantes se não for aplicado com cuidado.
• A escolha da técnica adequada e do número pretendido de dimensões pode ser um desafio.
• As caraterísticas transformadas (na extração de caraterísticas) podem por vezes ser difíceis de interpretar em comparação com as caraterísticas originais.
• Algumas técnicas, como a t-SNE, são computacionalmente dispendiosas.

Compreender e aplicar a redução da dimensionalidade é essencial para lidar eficazmente com conjuntos de dados grandes e complexos no desenvolvimento moderno da IA.