Глоссарий

t-распределенное стохастическое встраивание соседей (t-SNE)

Изучите t-SNE, мощную технику визуализации высокоразмерных данных. Узнайте о ее использовании, преимуществах и применении в ИИ и ОД.

t-distributed Stochastic Neighbor Embedding (t-SNE) - это мощный нелинейный метод уменьшения размерности, используемый в основном для визуализации данных. Она позволяет исследователям и практикам в области машинного обучения (ML) визуализировать высокоразмерные наборы данных в низкоразмерном пространстве, как правило, в виде двумерных или трехмерных графиков. Разработанный Лоренсом ван дер Маатеном и Джеффри Хинтоном, он обладает замечательной способностью выявлять локальные структуры данных, такие как кластеры и многообразия, которые другие методы могут упустить. Реализации широко доступны в таких библиотеках, как Scikit-learn, и фреймворках, таких как PyTorch.

Основная идея t-SNE заключается в том, чтобы расположить схожие точки данных близко друг к другу, а несхожие - далеко друг от друга на низкоразмерной карте. Это достигается путем преобразования высокоразмерных евклидовых расстояний между точками данных в условные вероятности, которые представляют сходство. Затем он использует аналогичное распределение вероятностей в низкоразмерной карте и минимизирует расхождение между этими двумя распределениями.

Приложения в Ai и Ml

t-SNE широко используется для визуального исследования в различных областях искусственного интеллекта (ИИ).

  • Визуализация характеристик нейронной сети: В компьютерном зрении (CV) t-SNE неоценима для понимания того, чему научилась модель глубокого обучения. Например, можно взять вложения признаков из промежуточного слоя конволюционной нейронной сети (CNN), обученной классификации изображений, и построить их с помощью t-SNE. Если модель, например модель Ultralytics YOLO, хорошо обучена на таком наборе данных, как CIFAR-10, то на полученном графике будут видны четкие кластеры, соответствующие различным категориям изображений (например, "кошки", "собаки", "автомобили"). Это служит визуальным подтверждением дискриминационной способности модели.
  • Исследование текстовых данных: При обработке естественного языка (NLP) t-SNE может визуализировать высокоразмерные вкрапления слов, такие как Word2Vec или GloVe. Это помогает понять семантические отношения между словами; например, такие слова, как "король", "королева", "принц" и "принцесса", будут сгруппированы вместе. Такие визуализации полезны для изучения текстовых корпораций и отладки языковых моделей, используемых в таких задачах, как классификация документов.
  • Биоинформатика и медицинская визуализация: Исследователи используют t-SNE для визуализации сложных биологических данных, таких как паттерны экспрессии генов из микрочипов, для идентификации клеточных популяций или подтипов заболеваний. Она также используется в анализе медицинских изображений для кластеризации различных типов тканей или опухолей, как, например, в наборе данных Brain Tumor.

T-SNE по сравнению с другими методами. Другие методы

Важно отличать t-SNE от других методов уменьшения размерности.

  • Анализ главных компонент (PCA): PCA - это линейный метод, ориентированный на сохранение максимальной дисперсии данных, что соответствует сохранению крупномасштабной, глобальной структуры. В отличие от этого, t-SNE - нелинейный метод, позволяющий выявить локальную структуру (т. е. то, как отдельные точки данных группируются между собой). Хотя PCA быстрее и детерминированнее, его линейная природа может не позволить уловить сложные взаимосвязи, как это может сделать t-SNE. Обычная практика заключается в том, чтобы сначала использовать PCA для сокращения набора данных до промежуточного числа измерений (например, 30-50), а затем применять t-SNE, чтобы снизить вычислительную нагрузку и уменьшить шум.
  • Автоэнкодеры: Автоэнкодеры - это тип нейронных сетей, которые могут обучать мощные нелинейные представления данных. Хотя они более гибкие, чем PCA и t-SNE, они часто менее интерпретируемы и требуют больших вычислительных затрат при обучении. В основном они используются для извлечения признаков, а не для прямой визуализации.

Соображения и ограничения

Несмотря на свою мощь, t-SNE имеет ряд ограничений, которые необходимо учитывать пользователям.

  • Вычислительные затраты: Алгоритм имеет квадратичную временную и пространственную сложность в зависимости от количества точек данных, что делает его медленным для наборов данных с сотнями тысяч образцов. Такие методы, как Barnes-Hut t-SNE, позволяют значительно повысить производительность.
  • Чувствительность гиперпараметров: На результаты могут существенно повлиять гиперпараметры, в частности "perplexity", который представляет собой предположение о количестве близких соседей у каждой точки. Не существует единого, универсально лучшего значения perplexity. Отличный ресурс для понимания этих эффектов - статья Distill"Как эффективно использовать t-SNE".
  • Интерпретация глобальной структуры: Визуализации t-SNE следует интерпретировать с осторожностью. Относительные размеры кластеров и расстояния между ними на итоговом графике не обязательно отражают реальное разделение в исходном высокоразмерном пространстве. Алгоритм ориентирован на сохранение локальных окрестностей, а не глобальной геометрии. Такие инструменты, как TensorFlow Projector, позволяют проводить интерактивное исследование, что может способствовать развитию интуиции. Управление и визуализация таких анализов могут быть упрощены с помощью таких платформ, как Ultralytics HUB.

Присоединяйтесь к сообществу Ultralytics

Присоединяйтесь к будущему искусственного интеллекта. Общайтесь, сотрудничайте и развивайтесь вместе с мировыми новаторами

Присоединяйтесь сейчас
Ссылка копируется в буфер обмена