CPU

在人工智能和机器学习中的作用

CPU 设计为通用处理器，擅长快速执行指令序列和处理各种计算任务。影响性能的关键特性包括时钟速度（每秒运行多少次）和内核数量（允许并行执行任务）。现代 CPU 的制造商包括 Intel和AMD等制造商生产的现代 CPU 具有多个内核，但它们不具备 GPU 的大规模并行架构，因此不太适合深度学习训练中常见的大规模矩阵乘法。

然而，CPU 在人工智能/人工智能流水线中的几个关键功能中是不可或缺的：

• 数据准备：加载数据集、数据清理、转换和数据扩充等任务通常在 CPU 上高效运行。像Pandas这样的库和Scikit-learn的部分功能在很大程度上依赖于CPU 处理。为计算机视觉项目准备数据是一个常见CPU步骤。
• 工作流协调：中央处理器管理 ML 流水线的整体执行流程，协调不同硬件组件（如 GPU）和软件模块之间的任务。
• 传统 ML 模型：许多经典的 ML 算法，如支持向量机 (SVM)和随机森林 (Random Forests)，通常都是在 CPU 上训练和有效运行的。
• 推理：虽然 GPU 为推理提供了高吞吐量，但 CPU 仍经常用于实时推理，尤其是在资源有限的环境中（边缘人工智能），或者当单次预测的延迟优先于批处理吞吐量时。ONNX Runtime和Intel OpenVINO 工具包等框架可在 CPU 上提供优化的推理功能。Ultralytics 模型可导出为以下格式 ONNX等格式导出，以便在CPU 上部署，详情请参见模型导出文档。
• 输入/输出（I/O）操作：中央处理器负责从存储器和网络通信中读写数据，这对加载模型和数据至关重要。

CPU 与GPU 和TPU

CPU、GPU 和 TPU 之间的主要区别在于它们的架构和预期用途：

• CPU：通用处理器，为低延迟执行连续任务而优化。它有几个功能强大的内核。是控制流、操作系统功能和各种计算的理想选择。
• GPU：最初用于图形处理，现在广泛用于人工智能。具有数千个较小的内核，针对并行处理大型数据块（如深度学习中的矩阵）进行了优化。有关示例，请参见NVIDIA ®）GPU。大大加快了以下模型的训练速度 Ultralytics YOLO.
• TPU： Google的定制硬件，专门用于加速神经网络中使用的tensor 计算，尤其是在 TensorFlow框架内。针对特定 ML 工作负载的高吞吐量和高效率进行了优化。

即使在严重依赖 GPU 或 TPU 训练复杂模型的系统中，如YOLOv10或 YOLO11的系统中，CPU 也要管理整个系统、准备数据并处理工作流程中不适合使用加速器的部分。选择合适的硬件需要了解这些权衡因素，以便高效部署模型。

使用CPU的 AI/ML 实际应用案例

1. 自然语言处理 (NLP) 预处理：标记化（将文本分解为更小的单元（单词或子单词））等任务是NLP 的基础。Hugging Face 的 Tokenizers等库通常在CPU 上高效执行这些操作，然后再将数据传递给GPU 进行模型推理或训练。
2. 边缘设备推理：许多边缘人工智能应用在功率和计算资源有限的设备上部署 ML 模型，如Raspberry Pi或基于ARM 架构的设备。在这些情况下，推理通常直接在设备的CPU 上运行，可能会使用TensorFlow Lite或OpenVINO等优化库。 OpenVINO等优化库，以实现基本对象检测或关键词定位等任务的可接受性能。通过Ultralytics HUB 等平台可以方便地管理这些部署。

要设计和优化端到端人工智能系统，从数据处理（参见数据收集指南）到跨不同硬件平台的高效部署，了解CPU 的能力和局限性至关重要。