Sigmoide

Cómo funciona Sigmoid

La función Sigmoide toma cualquier número de valor real y lo aplasta en el intervalo (0, 1). Las entradas negativas grandes dan como resultado salidas cercanas a 0, las entradas positivas grandes dan como resultado salidas cercanas a 1, y una entrada de 0 da como resultado una salida de 0,5. Es una función no lineal, lo que es crucial porque apilar varias capas lineales en una red neuronal sin no linealidad simplemente daría como resultado otra función lineal, lo que limitaría la capacidad del modelo para aprender patrones complejos presentes en datos como imágenes o texto. La sigmoide también es diferenciable, una propiedad necesaria para entrenar redes neuronales utilizando métodos de optimización basados en gradientes, como la retropropagación y el descenso de gradiente.

Aplicaciones de la Sigmoide

La principal aplicación actual del sigmoide es en la capa de salida de los modelos de clasificación binaria. Como su salida cae naturalmente entre 0 y 1, es ideal para representar la probabilidad de que una entrada pertenezca a la clase positiva.

1. Diagnóstico médico: En el análisis de imágenes médicas, un modelo podría analizar las características de un escáner (por ejemplo, un conjunto de datos de tumores cerebrales) y utilizar una capa de salida sigmoidea para predecir la probabilidad de que se presente una afección específica (por ejemplo, malignidad). Una salida por encima de un determinado umbral (a menudo 0,5) indica una predicción positiva. Esta salida probabilística ayuda a los médicos a comprender la confianza del modelo. Ver ejemplos en la investigación sobre IA en Radiología.
2. Detección de spam: En el Procesamiento del Lenguaje Natural (PLN), se puede utilizar una función Sigmoide en la capa final de un modelo diseñado para la clasificación de textos, como identificar si un correo electrónico es spam o no. El modelo procesa el contenido del correo electrónico y emite una probabilidad (mediante Sigmoide) de que el correo electrónico sea spam. Se trata de un problema clásico de clasificación binaria habitual en las aplicaciones de PNL.

Sigmoid también puede utilizarse en tareas de clasificación multietiqueta, en las que una entrada puede pertenecer a varias categorías simultáneamente (por ejemplo, un artículo de noticias etiquetado con "política", "economía" y "Europa"). En este caso, se utiliza una neurona de salida Sigmoide distinta para cada etiqueta potencial, estimando la probabilidad de que esa etiqueta específica sea relevante, independientemente de las demás. Esto contrasta con la clasificación multiclase (en la que sólo se aplica una etiqueta, como clasificar una imagen como "gato", "perro" o "pájaro"), que suele utilizar la función Softmax.

Funciones de Activación Sigmoideas Vs. Relacionadas

Comprender la Sigmoidea a menudo implica compararla con otras funciones de activación:

• ReLU (Unidad Lineal Rectificada): La ReLU emite la entrada directamente si es positiva, y cero en caso contrario. Es computacionalmente más sencilla y evita el problema del gradiente evanescente para las entradas positivas, lo que la convierte en la opción preferida para las capas ocultas de la mayoría de las NN modernas, incluidas muchas Ultralytics YOLO de Ultralytics, como YOLOv8. Variantes como Leaky ReLU abordan el problema de la "neurona moribunda" de ReLU.
• Tanh (Tangente hiperbólica): Tanh está matemáticamente relacionado con Sigmoide, pero aplasta las entradas al rango (-1, 1). Su salida está centrada en cero, lo que a veces puede ayudar en la optimización en comparación con la salida no centrada en cero de Sigmoide (0 a 1). Sin embargo, al igual que Sigmoide, sufre el problema del gradiente evanescente.
• Softmax: Se utiliza en la capa de salida para problemas de clasificación multiclase. A diferencia de Sigmoide (que proporciona probabilidades independientes para tareas binarias o multietiqueta), Softmax produce una distribución de probabilidad en todas las clases, garantizando que las probabilidades suman 1. Esto lo hace adecuado cuando las clases son mutuamente excluyentes.
• SiLU (Unidad lineal sigmoidea) / Swish: Una función de activación más reciente que multiplica la entrada por el Sigmoide de la entrada. A menudo funciona mejor que ReLU en modelos más profundos y se utiliza en arquitecturas como EfficientNet y algunas variantes de YOLO . Demuestra cómo el Sigmoide sigue siendo relevante como componente dentro de funciones más nuevas. Consulta la documentación de PyTorch para ver la implementación de SiLU.

Ventajas y limitaciones

Ventajas:

• Interpretación probabilística: El rango de salida (0, 1) es intuitivo para representar probabilidades en la clasificación binaria.
• Gradiente suave: A diferencia de las funciones con cambios bruscos (como las funciones escalonadas), la Sigmoide tiene una derivada suave y bien definida, lo que facilita el aprendizaje basado en el gradiente.

Limitaciones:

• Gradientes que desaparecen: Para valores de entrada muy altos o muy bajos, el gradiente de la función sigmoidea se vuelve extremadamente pequeño (cercano a cero). Durante la retropropagación, estos pequeños gradientes pueden multiplicarse en muchas capas, haciendo que los gradientes de las capas anteriores se desvanezcan, lo que detiene el aprendizaje. Ésta es una de las principales razones por las que es menos favorecida para las capas ocultas profundas.
• Salida no centrada en cero: El rango de salida (0, 1) no está centrado en cero. Esto a veces puede ralentizar la convergencia de los algoritmos de descenso de gradiente en comparación con las funciones centradas en cero como Tanh.
• Coste computacional: La operación exponencial implicada hace que sea ligeramente más costosa computacionalmente que otras funciones más sencillas como ReLU.

Uso moderno y disponibilidad

Aunque hoy en día es menos común en las capas ocultas de las redes profundas, la sigmoidea sigue siendo una elección estándar para las capas de salida en tareas de clasificación binaria y clasificación multietiqueta. También es un componente básico de los mecanismos de activación de las redes neuronales recurrentes (RNN), como las LSTM y las GRU, que controlan el flujo de información.

Sigmoid está disponible en todas las principales marcos de aprendizaje profundoincluyendo PyTorch (como torch.sigmoid) y TensorFlow (como tf.keras.activations.sigmoid). Plataformas como Ultralytics HUB admiten modelos que utilizan diversas funciones de activación, lo que permite a los usuarios tren y despliega sofisticado visión por ordenador soluciones.