Глоссарий

Сигмовидный

Откройте для себя возможности сигмоидальной функции в искусственном интеллекте. Узнайте, как она обеспечивает нелинейность, помогает в бинарной классификации и стимулирует прогресс в области ОД!

Сигмоидальная функция - популярная функция активации, используемая в машинном обучении (ML) и глубоком обучении (DL). Это математическая функция, которая создает характерную "S"-образную, или сигмоидальную, кривую. Ее основная задача - взять любое вещественное число и "сплющить" его в диапазон между 0 и 1. Этот результат часто интерпретируется как вероятность, что делает Sigmoid особенно полезной в моделях, где целью является предсказание вероятности исхода. Внедрение нелинейности в нейронную сеть (НС) позволяет модели изучать сложные закономерности на основе данных, которые в противном случае были бы невозможны при использовании простых линейных преобразований.

Роль и применение

Способность сигмоидальной функции сопоставлять входные данные с вероятностным выходом делает ее краеугольным камнем для некоторых типов задач. Хотя она все реже используется в скрытых слоях современных глубоких нейронных сетей, она остается стандартным выбором для выходного слоя в определенных сценариях.

Ключевые приложения

  • Бинарная классификация: В задачах бинарной классификации целью является отнесение входных данных к одному из двух классов (например, спам или не спам, болезнь присутствует или отсутствует). Сигмоидальная функция на выходном слое дает единственное значение между 0 и 1, представляющее вероятность того, что входные данные принадлежат положительному классу. Например, модель анализа медицинских изображений может использовать сигмоид для вывода вероятности 0,9, что означает 90-процентную вероятность того, что опухоль является злокачественной.
  • Многопометная классификация: В отличие от многоклассовой классификации, где входные данные относятся только к одному классу, многопометные задачи позволяют ассоциировать входные данные с несколькими метками одновременно. Например, модель обнаружения объектов, подобная Ultralytics YOLO, может анализировать изображение и одновременно идентифицировать "автомобиль", "пешехода" и "светофор". В этом случае к каждому выходному нейрону независимо применяется сигмоидальная функция, дающая вероятность для каждой возможной метки. Вы можете узнать больше об эволюции распознавания объектов.
  • Механизмы стробирования в РНС: Сигмоидальные функции являются основным компонентом стробирующих механизмов рекуррентных нейронных сетей (РНС), таких как долговременная кратковременная память (LSTM) и рекуррентные блоки с управлением (GRU). Эти ворота используют сигмоид для управления потоком информации, решая, какие данные сохранить или отбросить на каждом шаге. Этот механизм имеет решающее значение для обучения долгосрочным зависимостям в последовательных данных, о чем рассказывается в этой подробной статье блога о понимании LSTM.

Сравнение с другими функциями активации

Важно отличать сигмоидальную функцию от других функций активации, чтобы понимать, когда ее использовать.

  • Softmax: Функция Softmax обычно используется для решения задач многоклассовой классификации, когда каждый входной сигнал принадлежит ровно одному из нескольких возможных классов. В отличие от Sigmoid, которая вычисляет независимые вероятности для каждого выхода, Softmax вычисляет распределение вероятностей по всем классам, которое в сумме равно 1. Например, модель, классифицирующая рукописные цифры из набора данных MNIST, использует Softmax для присвоения единой вероятности каждой цифре от 0 до 9.
  • ReLU (ректифицированная линейная единица): ReLU стал стандартом де-факто для скрытых слоев в глубоких сетях. Он более эффективен с вычислительной точки зрения и помогает справиться с проблемой исчезающего градиента - значительной проблемой сигмоида, когда градиенты становятся чрезвычайно малыми во время обратного распространения, замедляя или останавливая процесс обучения. Подробнее о проблемах градиентов вы можете прочитать в статье DeepLearning.AI.
  • SiLU (Sigmoid Linear Unit): Также известная как Swish, SiLU - это более современная активационная функция, производная от Sigmoid. Она часто работает лучше, чем ReLU, в более глубоких моделях, включая передовые архитектуры компьютерного зрения. В моделях Ultralytics часто используются усовершенствованные функции активации для достижения лучшего баланса между скоростью и точностью.

Современное использование и доступность

Хотя сегодня сигмоид не так часто используется в скрытых слоях, он остается стандартным выбором для выходных слоев в задачах бинарной и многометочной классификации. Он также является основным компонентом в механизмах стробирования в сложных архитектурах, обрабатывающих последовательные данные.

Сигмоид можно приобрести во всех крупных фреймворки глубокого обучения, в том числе PyTorch (как torch.sigmoid) и TensorFlow (как tf.keras.activations.sigmoid). Такие платформы, как Ultralytics HUB поддерживают модели, использующие различные функции активации, что позволяет пользователям поезд и развернуть сложные решения в области компьютерного зрения.

Присоединяйтесь к сообществу Ultralytics

Присоединяйтесь к будущему искусственного интеллекта. Общайтесь, сотрудничайте и развивайтесь вместе с мировыми новаторами

Присоединяйтесь сейчас
Ссылка копируется в буфер обмена