t 分布随机邻域嵌入（t-SNE）

了解 t-SNE

t-SNE 的核心思想是保留数据的局部结构。它将高维数据点之间的相似性建模为条件概率，然后试图找到一种低维嵌入，使映射点之间产生相似的概率分布。与主成分分析（PCA）等线性方法不同，t-SNE 是非线性和概率性的。这使它能够捕捉 PCA 可能忽略的复杂关系，尤其是当数据位于弯曲的流形上时。不过，PCA 能更好地保留数据的全局结构和方差。

该算法计算高维和低维空间中点之间的成对相似性。该算法在高维空间中使用高斯分布，在低维空间中使用 t 分布（具体来说，是具有一个自由度的 Student's t 分布）。使用 t 分布有助于缓解 "拥挤问题"（即点往往聚集在地图中心），并在低维地图中更有效地分离不同的点。这一过程包括使用梯度下降法最小化这两种分布之间的发散。有关详细的技术解释，请参阅t-SNE 论文原文。

人工智能和 ML 的应用

t-SNE 主要是一种可视化技术，对于探索和理解人工智能模型生成的高维数据非常有价值。下面是一些例子：

• 词嵌入的可视化在自然语言处理（NLP）中，BERT或GPT等模型会生成单词或句子的高维向量表示（嵌入）。将 t-SNE 应用于这些嵌入可以让研究人员直观地看到语义关系，可能会在二维图中显示出具有相似含义的词聚集在一起。这有助于了解所学语言建模的质量。
• 了解 CNN 特征表示：在计算机视觉（CV）领域，卷积神经网络（CNN），如用于 Ultralytics YOLOt-SNE 可用于数据集（如ImageNet）中间层或最终层的激活。可视化这些特征图有助于了解模型分离不同物体类别的能力，并在模型开发过程中，甚至在 Ultralytics HUB 上训练模型时提供深入见解。

主要考虑因素

t-SNE 功能强大，但也有用户应该了解的特点：

• 计算成本：t-SNE 需要计算成对相似度，因此计算量很大，尤其是对于超大数据集。
• 超参数敏感性：结果对超参数很敏感，尤其是 "复杂度"，它影响着每个点所考虑的本地邻居的数量。通常需要对超参数进行适当调整。像scikit-learn这样的实施工具可以控制这些参数。
• 解释：t-SNE 图中的聚类大小和聚类之间的距离并不总是直接对应于原始高维空间中的实际聚类大小或分隔。它主要揭示局部相似性和分组。它是一种探索工具，而不是像K-Means 那样的确定性聚类分析工具。

总之，t-SNE 是人工智能（AI）工具包中的一个重要工具，可用于对复杂的高维数据集进行可视化并获得直觉，是对其他分析方法的补充。