Aprendizagem não supervisionada

Como funciona a aprendizagem não supervisionada

Na aprendizagem não supervisionada, o algoritmo examina os pontos de dados de entrada e tenta identificar semelhanças, diferenças ou correlações entre eles. Não existem respostas "corretas" ou resultados-alvo fornecidos durante a fase de formação. Os algoritmos devem inferir a estrutura inerente presente nos dados. Isto envolve frequentemente a organização dos pontos de dados em grupos(agrupamento), a redução da complexidade dos dados(redução da dimensionalidade) ou a identificação de pontos de dados invulgares(deteção de anomalias). O sucesso dos métodos não supervisionados depende frequentemente da capacidade do algoritmo para captar as propriedades intrínsecas do conjunto de dados sem orientação externa.

Principais técnicas e conceitos

Várias técnicas são abrangidas pelo conceito de aprendizagem não supervisionada:

• Agrupamento: Envolve o agrupamento de pontos de dados semelhantes com base em determinadas caraterísticas. O objetivo é criar clusters em que os itens dentro de um cluster são muito semelhantes e os itens em diferentes clusters são diferentes. Os algoritmos mais comuns incluem K-Means Clustering e DBSCAN. Isto é útil para tarefas como a segmentação de clientes ou a organização de grandes colecções de documentos.
• Redução da dimensionalidade: Estas técnicas visam reduzir o número de variáveis de entrada (caraterísticas) num conjunto de dados, preservando a informação essencial. Isto simplifica os modelos, reduz o custo computacional e pode ajudar na visualização dos dados. Os métodos mais populares incluem a análise de componentes principais (PCA) e a incorporação de vizinhos estocásticos t-distribuídos (t-SNE).
• Aprendizagem de regras de associação: Descobre relações interessantes ou regras de associação entre variáveis em grandes conjuntos de dados. Um exemplo clássico é a análise do cabaz de compras, que identifica os artigos frequentemente comprados em conjunto. Algoritmos como o Apriori são normalmente utilizados neste caso. Sabe mais sobre a extração de regras de associação.
• Deteção de anomalias: Esta técnica centra-se na identificação de pontos de dados que se desviam significativamente da maioria dos dados. É amplamente utilizada para a deteção de fraudes, segurança de redes e identificação de defeitos no fabrico.
• Modelos generativos: Alguns modelos não supervisionados, como as Redes Adversárias Generativas (GANs) ou os Autoencoders, podem aprender a distribuição de dados subjacente para gerar novas amostras de dados que se assemelham aos dados originais.

Aplicações no mundo real

A aprendizagem não supervisionada potencia várias aplicações em diferentes domínios:

• Segmentação de clientes: As empresas utilizam a clusterização para agrupar clientes com comportamentos ou dados demográficos semelhantes, permitindo campanhas de marketing direcionadas e experiências personalizadas. Lê sobre a IA na segmentação de clientes.
• Sistemas de recomendação: A aprendizagem não supervisionada ajuda a identificar padrões no comportamento do utilizador (por exemplo, produtos visualizados ou comprados) para sugerir itens ou conteúdos relevantes, normalmente vistos em plataformas como a Netflix ou a Amazon.
• Bioinformática: Os algoritmos de agrupamento agrupam genes com padrões de expressão semelhantes, ajudando os investigadores a compreender as funções genéticas e as doenças. Explora o agrupamento na análise da expressão genética.
• Pré-processamento de dados: Técnicas como o PCA são utilizadas para extração de caraterísticas ou redução de ruído antes de alimentar os dados em modelos supervisionados, melhorando potencialmente o desempenho. Vê as ferramentas de aprendizagem não supervisionada do Scikit-learn.

Comparação com outros paradigmas de aprendizagem

A aprendizagem não supervisionada difere significativamente de outras abordagens de ML:

• Aprendizagem supervisionada: Baseia-se em dados rotulados (pares de entrada-saída) para treinar modelos para tarefas como classificação ou regressão. O objetivo é mapear entradas para saídas conhecidas. Compara a aprendizagem supervisionada e não supervisionada.
• Aprendizagem por reforço: Envolve um agente que aprende a tomar decisões executando acções num ambiente para maximizar uma recompensa cumulativa. Aprende por tentativa e erro, guiado por sinais de feedback (recompensas ou penalizações). Vê uma visão geral da aprendizagem por reforço.
• Aprendizagem Semi-Supervisionada: Usa uma combinação de uma pequena quantidade de dados rotulados e uma grande quantidade de dados não rotulados, fazendo a ponte entre a aprendizagem supervisionada e não supervisionada.
• Aprendizagem auto-supervisionada: Um subconjunto da aprendizagem não supervisionada em que as etiquetas são geradas automaticamente a partir dos próprios dados de entrada, frequentemente utilizado para pré-treinar grandes modelos como os da PNL ou da Visão por Computador (CV).

A aprendizagem não supervisionada é uma ferramenta poderosa para explorar dados, descobrir estruturas ocultas e extrair caraterísticas valiosas, servindo frequentemente como um primeiro passo crítico em condutas de análise de dados complexos ou complementando outras técnicas de ML. Plataformas como o Ultralytics HUB fornecem ambientes onde vários modelos de ML, potencialmente incorporando técnicas não supervisionadas para preparação ou análise de dados, podem ser desenvolvidos e geridos. Estruturas como o PyTorch e TensorFlow oferecem bibliotecas extensas que suportam a implementação de algoritmos não supervisionados.