t-распределенное стохастическое встраивание соседей (t-SNE)

Понимание t-SNE

Основная идея t-SNE заключается в сохранении локальной структуры данных. Он моделирует сходство между высокоразмерными точками данных как условные вероятности, а затем пытается найти низкоразмерное вложение, которое дает схожее распределение вероятностей между сопоставленными точками. В отличие от линейных методов, таких как анализ главных компонент (PCA), t-SNE является нелинейным и вероятностным. Это позволяет ему улавливать сложные взаимосвязи, которые PCA может упустить, особенно когда данные лежат на искривленных многообразиях. Однако PCA лучше сохраняет глобальную структуру и дисперсию данных.

Алгоритм вычисляет попарное сходство между точками как в высоких, так и в низких измерениях. Он использует гауссово распределение в высокоразмерном пространстве и t-распределение (в частности, t-распределение Стьюдента с одной степенью свободы) в низкоразмерном пространстве. Использование t-распределения помогает облегчить "проблему скученности" (когда точки стремятся сгрудиться в центре карты) и более эффективно разделяет разнородные точки на низкоразмерной карте. Процесс заключается в минимизации расхождения между этими двумя распределениями с помощью градиентного спуска. За подробным техническим объяснением обращайся к оригинальной статье о t-SNE.

Приложения в искусственном интеллекте и ML

t-SNE - это прежде всего техника визуализации, неоценимая для изучения и понимания высокоразмерных данных, генерируемых моделями ИИ. Вот несколько примеров:

• Визуализация вкраплений слов: В обработке естественного языка (NLP) такие модели, как BERT или GPT, генерируют высокоразмерные векторные представления(вкрапления) для слов или предложений. Применение t-SNE к этим вкраплениям позволяет исследователям визуализировать семантические связи, потенциально показывая, как слова с похожими значениями группируются вместе на двумерном графике. Это помогает понять качество изученного языкового моделирования.
• Понимание представлений признаков CNN: В компьютерном зрении (КЗ) конволюционные нейронные сети (КНС), подобные тем, что используются в Ultralytics YOLO t-SNE можно применить к активациям промежуточных или конечных слоев набора данных (например, ImageNet). Визуализация этих карт признаков помогает понять, насколько хорошо модель разделяет различные классы объектов, и может дать понимание во время разработки модели, возможно, даже при обучении моделей на Ultralytics HUB.

Основные соображения

Несмотря на свою мощь, t-SNE обладает характеристиками, которые пользователи должны понимать:

• Вычислительные затраты: t-SNE может потребовать больших вычислительных затрат, особенно для очень больших наборов данных, так как требует вычисления парного сходства.
• Чувствительность к гиперпараметрам: Результаты чувствительны к гиперпараметрам, в частности к параметру "perplexity", который влияет на количество локальных соседей, учитываемых для каждой точки. Часто требуется правильная настройка гиперпараметров. Реализации, подобные той, что есть в scikit-learn, предлагают регуляторы для этих параметров.
• Интерпретация: Размеры кластеров и расстояния между ними на графике t-SNE не всегда напрямую соответствуют реальным размерам кластеров или разделениям в исходном высокомерном пространстве. В первую очередь он выявляет локальные сходства и группировки. Это инструмент для исследования, а не для окончательного анализа кластеризации, как K-Means.

В общем, t-SNE - это ценный инструмент в наборе средств искусственного интеллекта (ИИ) для визуализации и получения интуиции о сложных, высокоразмерных наборах данных, дополняющий другие аналитические методы.