Tanh (Tangente hiperbólica)

Compreender a Tanh

A função Tanh é uma curva em forma de S, definida matematicamente para produzir valores entre -1 e 1. Isso contrasta com a função Sigmoide, que produz valores entre 0 e 1. A natureza centrada em zero da função Tanh, ou seja, sua saída é simétrica em torno de zero, é uma caraterística fundamental. Essa propriedade pode ser benéfica em determinadas arquiteturas de redes neurais, pois ajuda a centralizar os dados, o que pode tornar mais eficiente a aprendizagem para as camadas subseqüentes.

No contexto das redes neurais, funções de ativação como Tanh são aplicadas à soma ponderada das entradas em um neurônio. Isso introduz a não-linearidade na rede, permitindo que ela modele relações complexas nos dados que os modelos lineares não conseguem. Sem funções de ativação não-lineares, uma rede neural profunda se comportaria essencialmente como um perceptron de camada única, limitando sua capacidade de aprendizado. Podes explorar outras funções de ativação comuns como ReLU (Unidade Linear Rectificada) e Leaky ReLU no nosso glossário para compreender as suas diferenças e casos de utilização.

Relevância e aplicações em IA/ML

Tanh é particularmente útil em situações em que a saída de um neurónio tem de ser tanto positiva como negativa. Algumas aplicações chave incluem:

• Redes Neurais Recorrentes (RNNs): O Tanh é usado com freqüência em RNNs, especialmente em redes de memória longa de curto prazo (LSTMs) e unidades recorrentes controladas (GRUs). Nestas arquitecturas concebidas para processar dados sequenciais, como texto ou séries temporais, o Tanh ajuda a regular o fluxo de informação através da rede. Por exemplo, em tarefas de PNL, como geração de texto ou tradução automática, a Tanh pode ser encontrada nas camadas ocultas das RNNs.
• Modelos generativos: Em alguns tipos de modelos generativos, em que a saída desejada pode abranger tanto valores positivos como negativos, Tanh pode ser uma escolha adequada para a camada de saída ou dentro da própria rede generativa. Por exemplo, em certos tipos de modelos de difusão usados para geração de imagem ou áudio, Tanh pode ser empregado em blocos de rede.

Embora a ReLU e as suas variantes se tenham tornado mais populares em muitas aplicações de aprendizagem profunda devido à sua simplicidade e eficiência na formação de redes profundas, a Tanh continua a ser uma opção valiosa, especialmente quando as saídas centradas em zero são vantajosas. Compreender as propriedades das diferentes funções de ativação é crucial para conceber arquitecturas de redes neuronais eficazes para várias tarefas de IA e ML.