K-Nearest Neighbors（KNN）

KNN 如何工作

KNN 的核心理念基于相似性，通常使用欧氏距离等距离指标来定义。当预测一个新的、未见过的数据点时，算法会从存储的训练数据集中找出与之最接近的 "K "个数据点（邻近点）。K "值是用户自定义的整数，代表所考虑的邻居数量。

对于分类，新点被分配到其 K 个邻居中最常见的类别（多数票）。对于回归，预测值通常是 K 个相邻点的平均值。距离度量的选择（如曼哈顿、闵科夫斯基）和 "K "的值是至关重要的超参数，对模型的性能有很大影响。高效的实现通常依赖于KD 树或Ball 树等数据结构，以加快邻居搜索速度，尤其是在数据集较大的情况下。

选择 K 值

选择最佳 "K "值至关重要。较小的'K'值（如 K=1）会使模型对数据中的噪声和异常值高度敏感，从而可能导致过拟合，即模型在训练数据上表现良好，但在未见数据上表现不佳。相反，如果 "K "值过大，则会使决策边界过于平滑，从而降低模型对局部模式的敏感度，并可能导致预测过程中的拟合不足和高计算成本。交叉验证等技术（请参阅《Scikit-learn 交叉验证指南》）通常被用来找到一个合适的 "K "值，以平衡偏差与方差之间的权衡。Scikit-learn 库提供了实施 KNN 和执行超参数搜索的工具，您可以在《Ultralytics 超参数调整指南》中找到一般提示。

KNN 的应用

KNN 非常简单，适用于各种应用，尤其是注重可解释性的应用：

• 推荐系统：KNN 可以根据用户过去的行为识别出品味相似的用户，从而向其推荐商品，其原理与Netflix等平台的推荐系统所使用的技术类似。
• 基本图像分类：它可用于简单的图像分类任务，例如识别MNIST 数据集等数据集中的手写数字。
• 异常检测：识别与相邻数据点相距甚远的异常数据点，在网络安全等领域非常有用（OWASP 异常检测项目）。
• 医疗保健：根据特征对病人进行分类，以预测结果或诊断病情，为人工智能在医疗保健领域的应用做出贡献（参见《自然-医学》人工智能在医疗保健领域的应用文集）。

KNN 的优缺点

KNN 有几个优点，但也有局限性：

优势

• 简明易懂:易于理解和解释基于邻居的预测逻辑。
• 没有明确的培训阶段:无需重新训练模型，只需添加数据点，即可快速适应新数据。
• 灵活性:自然处理多类分类，并可用于回归。

缺点

• 推理时的计算成本:由于需要计算所有训练点的距离，因此对于大型数据集来说，预测速度可能会很慢。
• 对无关特征的敏感性:与相似性无关的特征会对性能产生负面影响。
• 维度的诅咒:在高维空间中，由于距离变得不那么有意义，性能就会下降。降维（如PCA）等技术有助于缓解这一问题。
• 功能缩放的必要性:范围较大的地物会在距离计算中占主导地位，因此需要对地物进行缩放。
• 要求选择最佳 "K:性能在很大程度上取决于对 K 值的正确选择。

KNN 与相关概念

将 KNN 与其他算法区分开来非常重要：

• K-Means 聚类:K-Means 是一种无监督学习算法，用于根据相似性将数据分成 K 个簇。KNN 是一种有监督的学习算法，用于基于标记的邻居进行分类或回归。
• 支持向量机 (SVM):SVM 是一种有监督的算法，它能找到一个最佳超平面来区分类别。KNN 基于局部邻居相似性进行分类，而 SVM 则寻求全局最优边界。更多信息，请访问Scikit-learn SVM 页面。
• 决策树:决策树通过学习一组分层规则来对数据进行分类，从而形成树状结构。KNN 使用基于距离的相似性，而决策树则使用基于特征的分割。详情请查看Scikit-learn 决策树页面。

虽然 KNN 对于某些任务和理解基本 ML 概念很有价值，但像实时物体检测这样的复杂问题通常需要更先进的模型，例如 Ultralytics YOLO等更先进的模型，它们能提供卓越的速度和性能，尤其是在大规模计算机视觉数据集上。您可以使用Ultralytics HUB 等平台训练和部署此类模型。