Tanh (Tangente hiperbólica)

Cómo funciona Tanh

La función Tanh toma como entrada cualquier número de valor real y da como salida un valor entre -1 y 1. Las entradas cercanas a cero producen salidas cercanas a cero. Las entradas positivas grandes producen salidas cercanas a 1, mientras que las entradas negativas grandes producen salidas cercanas a -1. Esta propiedad centrada en cero es una característica clave de Tanh. Como sus salidas están centradas en cero, a veces Tanh puede ayudar a que los modelos converjan más rápidamente durante el entrenamiento, en comparación con funciones como Sigmoide, cuyas salidas van de 0 a 1. Este centrado ayuda a equilibrar las actualizaciones aplicadas durante la optimización por descenso de gradiente.

Tanh frente a otras funciones de activación

Tanh era una opción popular, especialmente antes de la aparición de funciones como ReLU (Unidad Lineal Rectificada). He aquí cómo se compara:

• Tanh vs. Sigmoide: Ambas tienen curvas en forma de S, pero el rango de salida de Tanh (-1 a 1) está centrado en cero, a diferencia del de Sigmoide (0 a 1). Este centrado en cero a menudo hace que Tanh sea preferible en las capas ocultas de las arquitecturas de redes neuronales más antiguas. Sin embargo, ambos pueden sufrir el problema del gradiente evanescente, en el que los gradientes se vuelven muy pequeños para entradas positivas o negativas grandes, lo que ralentiza el aprendizaje en redes profundas.
• Tanh frente a ReLU: ReLU y sus variantes como Leaky ReLU y SiLU (utilizadas en modelos como Ultralytics YOLO) son computacionalmente más sencillas y, en general, evitan el problema del gradiente evanescente para entradas positivas. Aunque el Tanh es computacionalmente más intensivo y sigue siendo propenso a los gradientes evanescentes, no sufre el problema del "ReLU moribundo", en el que las neuronas pueden quedar permanentemente inactivas. Las arquitecturas modernas, como las utilizadas en modelos de detección de objetos de última generación como YOLOv8 y YOLO11suelen favorecer las variantes ReLU para un mejor rendimiento y un entrenamiento más rápido.

Aplicaciones en IA y aprendizaje automático

Aunque es menos común en las capas ocultas de las Redes Neuronales Convolucionales (CNN) profundas modernas en comparación con las variantes ReLU, Tanh sigue encontrando uso:

1. Redes Neuronales Recurrentes (RNNs): Tanh ha sido históricamente una función de activación común en los estados ocultos de las RNN y variantes como las LSTM utilizadas para tareas de modelado de secuencias en el Procesamiento del Lenguaje Natural (PLN) y el análisis de series temporales. Su rango acotado ayuda a regular el flujo de información dentro de las conexiones recurrentes.
2. Redes Adversariales Generativas (GAN): En algunas arquitecturas GAN, la capa final del generador puede utilizar Tanh para producir salidas normalizadas entre -1 y 1. Esto es especialmente útil cuando se generan imágenes cuyos valores de píxel se han normalizado a este rango durante el preprocesamiento de datos.

Ventajas y desventajas

Ventajas:

• Salida centrada en cero: Ayuda a la dinámica de optimización en comparación con las funciones no centradas en cero, como la Sigmoidea.
• Gradiente más fuerte: Comparado con el Sigmoide, el Tanh tiene una derivada más pronunciada alrededor de cero, lo que puede conducir a un aprendizaje inicial más rápido.

Desventajas:

• Gradientes evanescentes: Sufre gradientes de fuga para entradas grandes, lo que puede dificultar el aprendizaje en redes muy profundas. Consulta la documentaciónUltralytics para saber cómo mitigar estos problemas durante el entrenamiento del modelo.
• Coste computacional: Más caro computacionalmente que funciones más sencillas como ReLU, debido a los cálculos exponenciales que implica. Plataformas como Ultralytics HUB ofrecen herramientas para entrenar y evaluar modelos con diferentes configuraciones.

Comprender el Tanh proporciona un contexto valioso para la evolución de las funciones de activación y su papel en la configuración de las capacidades de las redes neuronales en diversas aplicaciones de IA. Aunque a menudo es sustituida por variantes de ReLU en el aprendizaje profundo moderno para la visión por ordenador, sigue siendo una función relevante en tipos de redes y aplicaciones específicas.