Sigmoide

Cómo funciona Sigmoid

La función Sigmoide asigna valores de entrada al intervalo (0, 1). Los valores de entrada positivos grandes dan como resultado una salida cercana a 1, los valores de entrada negativos grandes dan como resultado una salida cercana a 0, y una entrada de 0 da como resultado una salida de 0,5. Esta transformación es suave y diferenciable, lo que significa que podemos calcular su gradiente en cualquier punto. Esta diferenciabilidad es crucial para entrenar redes neuronales (NN) utilizando algoritmos de optimización como el descenso de gradiente, que se basan en gradientes calculados durante la retropropagación para actualizar los pesos del modelo.

Aplicaciones en el aprendizaje automático

Las funciones sigmoides tienen varias aplicaciones importantes en ML:

1. Clasificación binaria: En los problemas de clasificación binaria (en los que la salida es una de dos clases, por ejemplo, sí/no, spam/no spam), la función Sigmoide se utiliza a menudo en la capa de salida final de un modelo, como la Regresión Logística o una red neuronal. El valor de salida entre 0 y 1 se interpreta como la probabilidad de que la entrada pertenezca a la clase positiva. A continuación, se aplica un umbral (normalmente 0,5) para tomar la decisión final de clasificación.
2. Clasificación multietiqueta: A diferencia de la clasificación multiclase, en la que cada entrada pertenece a una sola clase (a menudo manejada por Softmax), la clasificación multietiqueta permite que una entrada pertenezca a varias clases simultáneamente. Sigmoide puede aplicarse independientemente a cada neurona de salida, dando la probabilidad de que esté presente esa etiqueta específica.
3. Mecanismos de compuerta: Las funciones sigmoides son componentes fundamentales de los mecanismos de puerta de las redes neuronales recurrentes, como las LSTM (memorias a largo plazo) y las GRU (unidades recurrentes con puerta). Estas puertas controlan el flujo de información, decidiendo qué información conservar o descartar, y el rango de salida de 0 a 1 de la Sigmoide representa naturalmente el grado en que una puerta está "abierta" o "cerrada".
4. Confianza en la detección de objetos: En algunos modelos de detección de objetos, como las versiones anteriores de Ultralytics YOLOse utilizan funciones sigmoidales (o funciones logísticas similares) en la capa de salida para predecir la puntuación de confianza: la probabilidad de que un objeto esté presente dentro de un cuadro delimitador propuesto y la precisión de dicho cuadro. Puedes explorar varios modelos YOLO en la sección ModelosUltralytics .

Ejemplos reales

• Probabilidad de diagnóstico médico: Un modelo entrenado con datos de pacientes podría utilizar una capa de salida sigmoidea para predecir la probabilidad (entre 0 y 1) de que un paciente padezca una determinada enfermedad, basándose en sus síntomas y en los resultados de las pruebas. Esto ayuda a los médicos en la toma de decisiones. Mira cómo se utiliza la IA en el análisis de imágenes médicas y soluciones de IA más amplias en la asistencia sanitaria.
• Análisis de Sentimiento: Para determinar si un fragmento de texto (como la reseña de un producto) expresa un sentimiento positivo o negativo, una función Sigmoide puede dar como resultado la probabilidad de que el sentimiento sea positivo. Más información sobre el análisis de sentimientos.

Comparación con otras funciones de activación

Aunque históricamente es importante, la Sigmoide suele sustituirse por otras funciones de activación en las capas ocultas de las redes profundas debido a ciertas limitaciones.

• Sigmoide frente a ReLU (Unidad Lineal Rectificada): La ReLU (y sus variantes, como la ReLU con fugas) suele preferirse en las capas ocultas porque no sufre el problema del gradiente evanescente tan gravemente como la Sigmoide para entradas positivas y es computacionalmente más barata. Sin embargo, las salidas de ReLU van de 0 a infinito, por lo que no son adecuadas para emitir probabilidades directamente.
• Sigmoide frente a Tanh (Tangente Hiperbólica): Tanh también tiene forma de S, pero asigna las entradas al intervalo (-1, 1). Su salida está centrada en cero, lo que a veces puede conducir a una convergencia más rápida durante el entrenamiento en comparación con la salida no centrada en cero (0 a 1) de Sigmoide. Sin embargo, Tanh también sufre el problema del gradiente evanescente.
• Sigmoide vs. Softmax: Softmax se utiliza para problemas de clasificación multiclase. Toma un vector de puntuaciones y lo convierte en una distribución de probabilidad en la que todas las probabilidades de salida suman 1. Sigmoide, en cambio, trata cada neurona de salida de forma independiente, por lo que es adecuado para tareas binarias o multietiqueta en las que las salidas no necesitan sumar 1. Frameworks como PyTorch proporcionan implementaciones para todas estas funciones de activación comunes.

Limitaciones

1. Gradientes que desaparecen: Para valores de entrada muy altos o muy bajos, el gradiente de la función sigmoidea se vuelve extremadamente pequeño (cercano a cero). Durante la retropropagación en redes profundas, estos pequeños gradientes pueden multiplicarse muchas veces, haciendo que los gradientes de las capas iniciales se vuelvan infinitamente pequeños. Esto impide que se actualicen los pesos de esas capas, obstaculizando el proceso de aprendizaje.
2. Salida no centrada en cero: La salida de Sigmoide está siempre entre 0 y 1, lo que significa que no está centrada en cero. Esto puede ralentizar la convergencia del descenso de gradiente, ya que las actualizaciones de peso tienden a moverse constantemente en direcciones positivas o negativas para todos los pesos de una capa.
3. Coste computacional: En comparación con ReLU, la función exponencial implicada en el cálculo Sigmoide es computacionalmente más cara.

A pesar de estas limitaciones, la función Sigmoide sigue siendo una herramienta valiosa, especialmente para las capas de salida en tareas de clasificación binaria y dentro de arquitecturas específicas como las LSTM y las GRU. Puedes gestionar y entrenar modelos utilizando varias funciones de activación en plataformas como Ultralytics HUB.