Sigmoïde

Comment fonctionne Sigmoid

La fonction Sigmoïde prend n'importe quel nombre à valeur réelle et l'écrase dans l'intervalle (0, 1). Les entrées négatives importantes donnent des sorties proches de 0, les entrées positives importantes donnent des sorties proches de 1, et une entrée de 0 donne une sortie de 0,5. Il s'agit d'une fonction non linéaire, ce qui est crucial car l'empilement de plusieurs couches linéaires dans un réseau neuronal sans non-linéarité résulterait simplement en une autre fonction linéaire, ce qui limiterait la capacité du modèle à apprendre des modèles complexes présents dans des données telles que des images ou du texte. La sigmoïde est également différentiable, une propriété nécessaire pour former des réseaux neuronaux utilisant des méthodes d'optimisation basées sur le gradient, comme la rétropropagation et la descente de gradient.

Applications du sigmoïde

Aujourd'hui, la principale application de la sigmoïde se trouve dans la couche de sortie des modèles de classification binaire. Comme sa sortie se situe naturellement entre 0 et 1, elle est idéale pour représenter la probabilité qu'une entrée appartienne à la classe positive.

1. Diagnostic médical : Dans l'analyse d'images médicales, un modèle peut analyser les caractéristiques d'un scan (par exemple, un ensemble de données sur les tumeurs cérébrales) et utiliser une couche de sortie sigmoïde pour prédire la probabilité qu'une condition spécifique (par exemple, une tumeur maligne) soit présente. Une sortie supérieure à un certain seuil (souvent 0,5) indique une prédiction positive. Cette sortie probabiliste aide les cliniciens à comprendre la confiance du modèle. Voir des exemples dans la recherche sur l'IA en radiologie.
2. Détection de spam : Dans le traitement du langage naturel (NLP), une fonction sigmoïde peut être utilisée dans la couche finale d'un modèle conçu pour la classification de texte, par exemple pour identifier si un courriel est un spam ou non. Le modèle traite le contenu de l'e-mail et émet une probabilité (via la Sigmoïde) que l'e-mail soit un spam. Il s'agit d'un problème classique de classification binaire, courant dans les applications NLP.

Le Sigmoïde peut également être utilisé dans les tâches de classification multi-étiquettes, où une entrée peut appartenir à plusieurs catégories simultanément (par exemple, un article d'actualité étiqueté avec "politique", "économie" et "Europe"). Dans ce cas, un neurone de sortie sigmoïde distinct est utilisé pour chaque étiquette potentielle, estimant la probabilité que cette étiquette spécifique soit pertinente, indépendamment des autres. Cela contraste avec la classification multi-classe (où une seule étiquette s'applique, comme la classification d'une image en "chat", "chien" ou "oiseau"), qui utilise généralement la fonction Softmax.

Fonctions d'activation sigmoïdes et apparentées

Pour comprendre la Sigmoïde, il faut souvent la comparer à d'autres fonctions d'activation :

• ReLU (Rectified Linear Unit): La ReLU produit l'entrée directement si elle est positive, et zéro dans le cas contraire. Elle est plus simple à calculer et évite le problème de la disparition du gradient pour les entrées positives, ce qui en fait le choix préféré pour les couches cachées dans la plupart des NN modernes, y compris de nombreux NN. Ultralytics YOLO d'Ultralytics comme YOLOv8. Des variantes comme Leaky ReLU permettent de résoudre le problème des "neurones mourants" de ReLU.
• Tanh (Tangente hyperbolique): Tanh est mathématiquement lié à Sigmoïde mais écrase les entrées dans l'intervalle (-1, 1). Sa sortie est centrée sur zéro, ce qui peut parfois aider à l'optimisation par rapport à la sortie non centrée sur zéro de Sigmoïde (0 à 1). Cependant, comme la Sigmoïde, elle souffre du problème du gradient qui s'évanouit.
• Softmax: Utilisé dans la couche de sortie pour les problèmes de classification multi-classes. Contrairement à la Sigmoïde (qui fournit des probabilités indépendantes pour les tâches binaires ou à étiquettes multiples), la Softmax produit une distribution de probabilités pour toutes les classes, en veillant à ce que la somme des probabilités soit égale à 1. Elle convient donc lorsque les classes s'excluent mutuellement.
• SiLU (Sigmoid Linear Unit) / Swish: Une fonction d'activation plus récente qui multiplie l'entrée par la sigmoïde de l'entrée. Elle donne souvent de meilleurs résultats que ReLU dans les modèles plus profonds et est utilisée dans des architectures comme EfficientNet et certaines variantes de YOLO . Cela montre comment la sigmoïde continue d'être pertinente en tant que composant au sein de fonctions plus récentes. Consulte la documentation PyTorch pour l'implémentation de SiLU.

Avantages et limites

Avantages :

• Interprétation probabiliste : La plage de sortie (0, 1) est intuitive pour représenter les probabilités dans la classification binaire.
• Gradient lisse : Contrairement aux fonctions à variations brusques (comme les fonctions en escalier), la Sigmoïde a une dérivée lisse et bien définie, ce qui facilite l'apprentissage basé sur le gradient.

Limites :

• Gradients qui s'évanouissent : Pour des valeurs d'entrée très élevées ou très basses, le gradient de la fonction sigmoïde devient extrêmement petit (proche de zéro). Au cours de la rétropropagation, ces petits gradients peuvent être multipliés sur de nombreuses couches, entraînant la disparition des gradients des couches précédentes et l'arrêt effectif de l'apprentissage. C'est l'une des principales raisons pour lesquelles cette fonction est moins utilisée pour les couches cachées profondes.
• Sortie non centrée sur le zéro : La plage de sortie (0, 1) n'est pas centrée sur zéro. Cela peut parfois ralentir la convergence des algorithmes de descente de gradient par rapport aux fonctions centrées sur zéro comme Tanh.
• Coût de calcul : L'opération exponentielle qu'elle implique la rend légèrement plus coûteuse en termes de calcul que des fonctions plus simples comme ReLU.

Utilisation moderne et disponibilité

Bien qu'elle soit aujourd'hui moins courante dans les couches cachées des réseaux profonds, la sigmoïde reste un choix standard pour les couches de sortie dans les tâches de classification binaire et de classification multi-labels. Elle constitue également un élément essentiel des mécanismes de déclenchement au sein des réseaux neuronaux récurrents (RNN), tels que les LSTM et les GRU, qui contrôlent le flux d'informations.

Le sigmoïde est disponible dans toutes les grandes villes. cadres d'apprentissage profond, y compris PyTorch (comme torch.sigmoid) et TensorFlow (comme tf.keras.activations.sigmoid). Des plateformes comme Ultralytics HUB modèles de soutien utilisant diverses fonctions d'activation, ce qui permet aux utilisateurs de train et déployer sophistiqué vision par ordinateur solutions.