Descubra cómo la función de activación GELU mejora los modelos de transformador como GPT-4, aumentando el flujo de gradiente, la estabilidad y la eficacia.
GELU (Gaussian Error Linear Unit) es una función de activación de alto rendimiento que se ha convertido en un estándar en las arquitecturas de redes neuronales de última generación, especialmente en los modelos Transformer. Es conocida por su curva suave y no monótona, que ayuda a los modelos a aprender patrones complejos con más eficacia que otras funciones más antiguas. Introducida en el artículo"Gaussian Error Linear Units (GELUs)", combina propiedades de otras funciones como dropout y ReLU para mejorar la estabilidad del entrenamiento y el rendimiento del modelo.
A diferencia de ReLU, que corta bruscamente todos los valores negativos, GELU pondera sus entradas en función de su magnitud. Determina probabilísticamente si debe activar una neurona multiplicando la entrada por la función de distribución acumulativa (CDF) de la distribución gaussiana estándar. Esto significa que es más probable que las entradas se "descarten" (se pongan a cero) cuanto más negativas sean, pero la transición es suave y no brusca. Esta propiedad de regularización estocástica ayuda a evitar problemas como el del gradiente evanescente y permite una representación más rica de los datos, algo crucial para los modelos modernos de aprendizaje profundo.
GELU ofrece varias ventajas sobre otras funciones de activación populares, lo que ha llevado a su adopción generalizada.
GELU es un componente clave en muchos de los modelos de IA más potentes desarrollados hasta la fecha.
GELU está disponible en los principales marcos de aprendizaje profundo, lo que facilita su incorporación a modelos personalizados.
torch.nn.GELU
con información detallada en el documentación oficial de PyTorch GELU.tf.keras.activations.gelu
que se documenta en el Documentación de la API TensorFlow.Los desarrolladores pueden crear, entrenar y desplegar modelos utilizando GELU con plataformas como Ultralytics HUB, que agiliza todo el ciclo de vida de MLOps, desde el aumento de datos hasta el despliegue final del modelo.