K-Nearest Neighbors (KNN)

Como funciona o KNN

A ideia central do KNN baseia-se na semelhança, frequentemente definida utilizando métricas de distância como a distância euclidiana. Ao prever um ponto de dados novo e inédito, o algoritmo identifica os 'K' pontos de dados mais próximos (vizinhos) a partir do conjunto de dados de treino armazenado. O valor "K" é um número inteiro definido pelo utilizador e representa o número de vizinhos considerados.

Para a classificação, o novo ponto é atribuído à classe mais comum entre os seus K vizinhos (votação por maioria). Para a regressão, a previsão é normalmente o valor médio dos K vizinhos. A escolha da métrica de distância (por exemplo, Manhattan, Minkowski) e o valor de 'K' são hiperparâmetros cruciais que influenciam significativamente o desempenho do modelo. Uma implementação eficiente baseia-se frequentemente em estruturas de dados como árvores KD ou árvores Ball para acelerar a pesquisa de vizinhos, especialmente com conjuntos de dados maiores.

Escolher o valor de 'K'

A seleção do valor ótimo de 'K' é fundamental. Um valor pequeno de 'K' (por exemplo, K=1) torna o modelo muito sensível ao ruído e aos valores atípicos nos dados, conduzindo potencialmente a um sobreajuste, em que o modelo tem um bom desempenho nos dados de treino mas um desempenho fraco em dados não vistos. Inversamente, um valor 'K' elevado pode suavizar excessivamente os limites de decisão, tornando o modelo menos sensível aos padrões locais e conduzindo potencialmente a uma subadaptação e a um elevado custo computacional durante a previsão. Técnicas como a validação cruzada (consulte o Guia de validação cruzada do Scikit-learn) são frequentemente empregadas para encontrar um 'K' adequado que equilibre a troca entre viés e variância. A biblioteca Scikit-learn fornece ferramentas para implementar o KNN e realizar pesquisas de hiperparâmetros, e podes encontrar dicas gerais no Guia de ajuste de hiperparâmetros doUltralytics .

Aplicações do KNN

A simplicidade do KNN presta-se a várias aplicações, particularmente quando a interpretabilidade é valorizada:

• Sistemas de recomendação: O KNN pode identificar utilizadores com gostos semelhantes com base no comportamento passado para recomendar itens, semelhante em princípio às técnicas utilizadas por plataformas como a Netflix para o seu sistema de recomendação.
• Classificação básica de imagens: Pode ser utilizado para tarefas simples de classificação de imagens, como o reconhecimento de dígitos manuscritos a partir de conjuntos de dados como o conjunto de dados MNIST.
• Deteção de anomalias: Identifica pontos de dados incomuns que estão distantes de seus vizinhos, úteis em áreas como segurança de rede(OWASP Anomaly Detection Project).
• Cuidados de saúde: Classifica os doentes com base em caraterísticas para prever resultados ou diagnosticar doenças, contribuindo para a IA nos cuidados de saúde (ver coleção Nature Medicine AI in Health and Medicine).

Vantagens e desvantagens do KNN

O KNN oferece vários benefícios, mas também tem limitações:

Vantagens:

• Simplicidade e interpretabilidade: Fácil de compreender e explicar a lógica de previsão baseada nos vizinhos.
• Não há fase de formação explícita: Adapta-se rapidamente a novos dados, uma vez que não é necessário reciclar o modelo, apenas adicionar pontos de dados.
• Flexibilidade: Lida naturalmente com a classificação multi-classe e pode ser adaptado para regressão.

Desvantagens:

• Custo computacional da inferência: As previsões podem ser lentas para grandes conjuntos de dados, uma vez que requerem o cálculo de distâncias para todos os pontos de treino.
• Sensibilidade a caraterísticas irrelevantes: As caraterísticas que não contribuem para a similaridade podem ter um impacto negativo no desempenho.
• Maldição da Dimensionalidade: O desempenho degrada-se em espaços de elevada dimensão à medida que as distâncias se tornam menos significativas. Técnicas como a redução da dimensionalidade (por exemplo, PCA) podem ajudar a atenuar este fenómeno.
• Necessidade de escalonamento de caraterísticas: As caraterísticas com intervalos maiores podem dominar os cálculos de distância, necessitando de uma escala de caraterísticas.
• Requer uma seleção óptima de 'K': O desempenho é altamente dependente da escolha do valor correto de K.

KNN vs. Conceitos relacionados

É importante distinguir o KNN de outros algoritmos:

• Agrupamento K-Means: O K-Means é um algoritmo de aprendizagem não supervisionado utilizado para agrupar dados em K clusters com base na semelhança. KNN é um algoritmo de aprendizagem supervisionado utilizado para classificação ou regressão com base em vizinhos rotulados.
• Máquina de vetor de suporte (SVM): O SVM é um algoritmo supervisionado que encontra um hiperplano ótimo para separar as classes. O KNN classifica com base na semelhança de vizinhos locais, enquanto o SVM procura um limite global ótimo. Saiba mais na página SVM do Scikit-learn.
• Árvores de decisão: As árvores de decisão classificam os dados através da aprendizagem de um conjunto de regras hierárquicas, criando uma estrutura semelhante a uma árvore. O KNN usa a similaridade baseada em distância, enquanto as Árvores de decisão usam divisões baseadas em recursos. Vê a página Árvores de decisão do Scikit-learn para obter detalhes.

Embora o KNN seja útil para determinadas tarefas e para compreender os conceitos fundamentais de ML, os problemas complexos, como a deteção de objectos em tempo real, beneficiam frequentemente de modelos mais avançados, como o Ultralytics YOLOque oferecem velocidade e desempenho superiores, especialmente em conjuntos de dados de visão computacional em grande escala. Podes treinar e implementar esses modelos utilizando plataformas como o Ultralytics HUB.