Régression logistique

Comment fonctionne la régression logistique

La régression logistique prédit la probabilité d'un résultat en ajustant les données à une fonction logit, souvent la fonction sigmoïde. Cette fonction prend n'importe quel nombre à valeur réelle et le convertit en une valeur comprise entre 0 et 1, qui représente la probabilité. Pour une tâche de classification binaire (par exemple, oui/non, vrai/faux), si la probabilité de sortie est supérieure à un certain seuil (généralement 0,5), le modèle prédit une classe ; dans le cas contraire, il prédit l'autre classe. Le modèle apprend les meilleurs coefficients pour les caractéristiques d'entrée par le biais d'un processus d'apprentissage qui vise à minimiser une fonction de perte, généralement à l'aide d'une technique d'optimisation telle que la descente de gradient.

La force principale de cette méthode réside dans sa capacité d'interprétation. Les coefficients appris indiquent la direction et la force de la relation entre chaque caractéristique d'entrée et le résultat, fournissant ainsi des informations précieuses sur les données. Bien que simple, sa performance dépend souvent d'une bonne ingénierie des caractéristiques pour capturer les informations les plus pertinentes.

Types de régression logistique

La régression logistique peut être classée en fonction du nombre de résultats possibles :

• Régression logistique binaire : Le type le plus courant, utilisé lorsque la variable dépendante n'a que deux résultats possibles (par exemple, spam ou non spam).
• Régression logistique multinomiale : Utilisée lorsque la variable dépendante comporte trois catégories non ordonnées ou plus (par exemple, prédire le choix d'un produit par un client parmi un ensemble de trois produits différents). Une explication détaillée peut être trouvée dans des ressources telles que l'article de Wikipedia sur le Logit Multinomial.
• Régression logistique ordinale : Utilisée lorsque la variable dépendante comporte trois catégories ordonnées ou plus (par exemple, l'évaluation d'un service comme "médiocre", "moyen" ou "bon").

Applications dans le monde réel

La régression logistique est utilisée dans de nombreux secteurs d'activité en raison de son efficacité et de sa simplicité.

• Analyse d'images médicales: Dans le domaine de la santé, elle peut être utilisée pour prédire la probabilité qu'un patient soit atteint d'une maladie spécifique sur la base de ses symptômes et de ses données de diagnostic. Par exemple, elle peut modéliser la probabilité qu'une tumeur soit maligne ou bénigne en fonction de ses caractéristiques, comme cela a été étudié dans diverses études de recherche médicale.
• Détection des courriels indésirables : Il s'agit d'un exemple classique où le modèle classe les courriels comme "spam" ou "non spam" sur la base de caractéristiques telles que la présence de certains mots-clés, les informations sur l'expéditeur et la structure des courriels. Cette classification binaire est essentielle pour filtrer le contenu indésirable.
• Evaluation du crédit et prévisions financières : Les banques et les institutions financières utilisent la régression logistique pour prédire si un demandeur de prêt sera défaillant ou non, ce qui les aide à prendre des décisions de prêt.

Forces et faiblesses

Points forts :

• Simplicité et efficacité : Il est facile à mettre en œuvre et sa formation est peu coûteuse en termes de calcul, même sur de grands ensembles de données.
• Interprétabilité : Les coefficients du modèle sont directement liés à l'importance des caractéristiques d'entrée, ce qui rend les résultats faciles à expliquer, un élément clé de l'IA explicable (XAI).
• Bonne référence : Il constitue un point de départ solide pour toute tâche de classification d'images et permet d'établir une référence en matière de performances.
• Probabilités des résultats : Il fournit des scores de probabilité pour les résultats, ce qui est utile pour classer et ajuster les seuils de décision.

Faiblesses :

• Hypothèse de linéarité : Il suppose une relation linéaire entre les caractéristiques d'entrée et les logarithmes des résultats, de sorte qu'il peut ne pas bien saisir les modèles complexes et non linéaires.
• Sensibilité aux valeurs aberrantes : Les performances peuvent être considérablement affectées par des valeurs aberrantes dans les données.
• Susceptible d'être sous-adapté: Il peut ne pas être assez puissant pour les ensembles de données complexes dont les limites de décision sont fortement non linéaires.
• Nécessite une ingénierie des caractéristiques : Son efficacité dépend souvent de la qualité de l'ingénierie et de la sélection des caractéristiques d'entrée.

Comparaison avec d'autres algorithmes

La régression logistique est souvent comparée à d'autres algorithmes fondamentaux d'apprentissage automatique.

• vs. régression linéaire: Bien qu'il s'agisse dans les deux cas de techniques de régression, la régression linéaire est utilisée pour prédire des valeurs continues (par exemple, le prix d'un logement), tandis que la régression logistique est utilisée pour les tâches de classification (par exemple, la prédiction d'un résultat binaire).
• vs. les machines à vecteurs de support (SVM): Les SVM peuvent traiter plus efficacement les relations non linéaires en utilisant l'astuce du noyau et visent à trouver un hyperplan de séparation optimal. La régression logistique, quant à elle, se concentre sur une approche probabiliste. Les SVM peuvent offrir une plus grande précision mais peuvent être moins faciles à interpréter.
• vs. Naive Bayes : Naive Bayes est un modèle génératif, tandis que la régression logistique est discriminative. Naive Bayes donne souvent de bons résultats avec des ensembles de données plus petits ou des données à haute dimension (comme du texte), tandis que la régression logistique peut être meilleure si l'hypothèse d'indépendance des caractéristiques de Naive Bayes n'est pas respectée.
• vs. les modèles d'apprentissage profond: Pour les tâches complexes telles que la vision par ordinateur, les modèles sophistiqués tels que les réseaux neuronaux convolutifs (CNN) et les modèles tels que Ultralytics YOLO surpassent de loin la régression logistique. Ces modèles effectuent automatiquement l'extraction des caractéristiques, alors que la régression logistique nécessite une ingénierie manuelle des caractéristiques. Cependant, la régression logistique est beaucoup plus rapide à former et nécessite beaucoup moins de données et de ressources informatiques telles que les GPU.

Les implémentations de la régression logistique sont largement disponibles dans des bibliothèques telles que Scikit-learn, et elles sont prises en charge par les principaux cadres de ML tels que PyTorch et TensorFlow. Bien qu'elle ne soit pas à la pointe de la technologie pour tous les problèmes, son utilité en tant que référence simple, interprétable et efficace en fait un outil indispensable dans la boîte à outils du praticien de l'apprentissage automatique. Des outils comme Ultralytics HUB peuvent aider à gérer le cycle de vie de différents modèles, des simples bases aux solutions complexes d'apprentissage profond.