Tanh (гиперболический тангенс)

Как работает Танх

Функция Tanh принимает на вход любое вещественное число и выдает на выходе значение от -1 до 1. Входы, близкие к нулю, дают на выходе значение, близкое к нулю. Большие положительные входы приводят к выходу, приближающемуся к 1, а большие отрицательные входы - к выходу, приближающемуся к -1. Это свойство сосредоточенности на нуле - ключевая характеристика Tanh. Поскольку его выходы сосредоточены вокруг нуля, Tanh иногда помогает моделям быстрее сходиться во время обучения по сравнению с функциями вроде Sigmoid, чьи выходы варьируются от 0 до 1. Это центрирование помогает сбалансировать обновления, применяемые во время оптимизации градиентного спуска.

Tanh по сравнению с другими функциями активации

Tanh был популярным выбором, особенно до появления таких функций, как ReLU (Rectified Linear Unit). Вот как они сравниваются:

• Танх против сигмоида: У обоих S-образные кривые, но у Tanh выходной диапазон (от -1 до 1) центрирован на нуле, в отличие от Sigmoid (от 0 до 1). Эта нулевая центровка часто делает Tanh предпочтительным в скрытых слоях старых архитектур нейронных сетей. Однако оба могут страдать от проблемы исчезающего градиента, когда градиенты становятся очень маленькими при больших положительных или отрицательных входах, что замедляет обучение в глубоких сетях.
• Танх против ReLU: ReLU и его разновидности, такие как Leaky ReLU и SiLU (используются в таких моделях, как Ultralytics YOLO) являются более простыми с вычислительной точки зрения и обычно избегают проблемы исчезающего градиента для положительных входов. Хотя Tanh более интенсивен в вычислениях и все еще подвержен исчезающим градиентам, он не страдает от проблемы "умирающего ReLU", когда нейроны могут стать постоянно неактивными. Современные архитектуры, например те, что используются в передовых моделях обнаружения объектов, таких как YOLOv8 и YOLO11часто отдают предпочтение вариантам ReLU для повышения производительности и ускорения обучения.

Приложения в искусственном интеллекте и машинном обучении

Несмотря на то что в скрытых слоях современных глубоких конволюционных нейронных сетей (CNN) они встречаются реже, чем варианты ReLU, Tanh все равно находит применение:

1. Рекуррентные нейронные сети (РНС): Танх исторически является распространенной активационной функцией в скрытых состояниях РНС и их разновидностей, таких как LSTM, используемых для задач моделирования последовательности в обработке естественного языка (NLP) и анализе временных рядов. Ее ограниченный диапазон помогает регулировать поток информации внутри рекуррентных связей.
2. Генеративные адверсарные сети (GAN): В некоторых архитектурах GAN последний слой генератора может использовать Tanh для получения выходов, нормализованных между -1 и 1. Это особенно полезно при генерации изображений, значения пикселей которых были нормализованы к этому диапазону во время предварительной обработки данных.

Преимущества и недостатки

Преимущества:

• Нуль-центрированный вывод: Помогает в динамике оптимизации по сравнению с функциями без нулевого центра, такими как сигмоид.
• Более сильный градиент: По сравнению с Sigmoid, Tanh имеет более крутую производную в районе нуля, что может привести к более быстрому начальному обучению.

Недостатки:

• Исчезающие градиенты: Страдает от исчезающих градиентов при больших входных данных, что потенциально мешает обучению очень глубоких сетей. Изучи документацию по Ultralytics , чтобы узнать, как устранить такие проблемы во время обучения модели.
• Вычислительные затраты: Более затратная в вычислительном плане, чем более простые функции вроде ReLU, из-за экспоненциальных вычислений. Платформы вроде Ultralytics HUB предлагают инструменты для обучения и оценки моделей с различными конфигурациями.

Понимание Tanh обеспечивает ценный контекст для эволюции функций активации и их роли в формировании возможностей нейронных сетей в различных приложениях ИИ. Хотя в современном глубоком обучении для компьютерного зрения она часто вытесняется вариантами ReLU, она остается актуальной функцией в определенных типах сетей и приложениях.