K-Voisins les plus proches (KNN)

Comment fonctionne le KNN

L'idée de base du KNN repose sur la similarité, souvent définie à l'aide de mesures de distance telles que la distance euclidienne. Lors de la prédiction d'un nouveau point de données inédit, l'algorithme identifie les "K" points de données les plus proches (voisins) à partir de l'ensemble de données d'apprentissage stocké. La valeur "K" est un nombre entier défini par l'utilisateur et représente le nombre de voisins pris en compte.

• Pour la classification : Le nouveau point de données est affecté à la classe la plus fréquente parmi ses K voisins les plus proches. Si K=3, et que deux voisins appartiennent à la classe A et un à la classe B, le nouveau point est classé dans la classe A.
• Pour la régression : La prédiction pour le nouveau point de données est généralement la moyenne (ou parfois la médiane) des valeurs de ses K plus proches voisins.

Le choix de la métrique de distance et la valeur de 'K' sont des hyperparamètres cruciaux qui influencent considérablement les performances du modèle.

Choisir la valeur de 'K'

La sélection de la valeur 'K' optimale est essentielle. Une petite valeur de 'K' rend le modèle sensible au bruit et aux valeurs aberrantes, ce qui peut conduire à un surajustement. Inversement, une valeur 'K' élevée peut trop lisser les limites de décision, ce qui peut conduire à un sous-ajustement et à des coûts de calcul élevés. Des techniques telles que la validation croisée sont souvent employées pour trouver un "K" approprié qui équilibre le compromis biais-variance.

Applications de KNN

La simplicité de KNN se prête à diverses applications, en particulier lorsque l'interprétabilité est importante :

1. Systèmes de recommandation : KNN peut suggérer des articles (comme des films ou des produits) aux utilisateurs en se basant sur les préférences de leurs voisins les plus "proches" (utilisateurs ayant des goûts similaires). Des services comme Netflix ont exploré des méthodes similaires basées sur les instances.
2. Reconnaissance d'images : Dans les tâches de classification d'images de base, le KNN peut classer une image en fonction des classes des images les plus similaires de l'ensemble d'apprentissage (par exemple, identifier des chiffres manuscrits en fonction de la similarité des pixels). Bien qu'efficace pour les ensembles de données plus simples comme MNIST, les tâches plus complexes nécessitent souvent des modèles sophistiqués.
3. Détection des anomalies : En identifiant les points de données éloignés de tout groupe de voisins, KNN peut être utilisé pour détecter les valeurs aberrantes ou les anomalies, utiles dans des domaines tels que la détection des fraudes ou l'identification des articles défectueux dans la fabrication. En savoir plus sur les méthodes de détection des anomalies.
4. Analyse de l'expression génétique : En bio-informatique, le KNN aide à classer les échantillons en fonction des modèles d'expression des gènes, en regroupant les profils génétiques similaires. En savoir plus sur l'IA dans les applications de santé.

Avantages et inconvénients du KNN

KNN offre plusieurs avantages mais comporte aussi des limites :

Avantages :

• Simplicité et intuition : Facile à comprendre et à mettre en œuvre.
• Pas de phase de formation : Apprend instantanément en stockant l'ensemble des données, ce qui le rend adaptable à de nouvelles données.
• Flexibilité : Gère naturellement la classification multi-classes et peut être adapté à la régression.

Inconvénients :

• Coût de calcul : La prédiction peut être lente et coûteuse en calcul, en particulier avec les grands ensembles de données, car elle nécessite de calculer les distances par rapport à tous les points d'entraînement.
• Sensibilité aux caractéristiques non pertinentes : Les performances se dégradent de manière significative avec des données de haute dimension (malédiction de la dimensionnalité) ou lorsque des caractéristiques non pertinentes sont présentes. Des techniques telles que la réduction de la dimensionnalité peuvent s'avérer nécessaires.
• Nécessité d'une mise à l'échelle des caractéristiques : Sensible à l'échelle des données ; les caractéristiques ayant une plus grande portée peuvent dominer les calculs de distance, ce qui nécessite une normalisation.
• Déterminer la valeur optimale de 'K' : Trouver la meilleure valeur pour 'K' nécessite un réglage minutieux des hyperparamètres.

KNN et concepts apparentés

Il est important de distinguer KNN des autres algorithmes :

• Regroupement K-Means: Bien que les deux utilisent "K" et des mesures de distance, K-Means est un algorithme d 'apprentissage non supervisé qui permet de regrouper les données en groupes sur la base de leur similarité. KNN est un algorithme d 'apprentissage supervisé pour la classification ou la régression basée sur les voisins étiquetés.
• Machine à vecteurs de support (SVM) : SVM est un algorithme supervisé qui trouve un hyperplan optimal pour séparer les classes. Contrairement à l'approche KNN basée sur les instances, SVM construit un modèle explicite, souvent plus performant avec des données de haute dimension.
• Arbres de décision: Les arbres de décision construisent un modèle basé sur la répartition des caractéristiques, fournissant des règles claires pour la classification ou la régression. KNN s'appuie sur la similarité locale plutôt que sur des règles explicites.

Si le KNN est précieux pour certaines tâches et la compréhension des concepts ML fondamentaux, les problèmes complexes comme la détection d'objets en temps réel bénéficient souvent de modèles plus avancés comme... Ultralytics YOLOqui offrent une vitesse et une précision supérieures, en particulier sur les ensembles de données de vision par ordinateur à grande échelle. Tu peux former et déployer de tels modèles en utilisant des plateformes comme Ultralytics HUB.