参数高效微调 (PEFT)

参数高效微调（PEFT）是机器学习领域中一种先进的优化策略，能够在最小化计算成本的前提下，将大型预训练模型定制化应用于特定任务。随着现代基础模型参数规模膨胀至数十亿量级，传统训练方法（即更新网络中所有权重）在硬件和能源消耗方面已变得极其昂贵。 PEFT通过冻结预训练模型绝大多数权重，仅更新少量参数子集或添加轻量级适配器层来应对这一挑战。该方法降低了技术门槛，使开发者无需工业级数据中心，仅凭消费级GPU即可获得顶尖性能。

效率的运作机制

PEFT的核心原理基于 迁移学习，即模型利用 从海量公开数据集（如ImageNet）中学习到的特征表示 ImageNet 等海量公开数据集上学习到的特征表示来 解决新问题。在标准工作流程中，模型适配可能涉及"全微调"——即通过 反向传播调整神经网络中的 每个参数。

PEFT技术（如LoRA低秩适应）则另辟蹊径。它们保持模型庞大的"骨干"结构不变——保留其通用知识——同时在特定层注入小型可训练矩阵。这种方法能避免灾难性遗忘现象，即模型在学习新信息时丧失原有能力的情况。 通过将可训练参数数量 减少高达99%，PEFT显著降低存储需求，并支持在实时推理过程中 将多个任务专用适配器 灵活切换至单一基础模型。

实际应用

PEFT在边缘计算和数据隐私至关重要的行业中尤为重要。

• 农业人工智能：农业科技初创企业常将模型部署在电池续航和处理能力有限的无人机上。借助PEFT技术，工程师可将YOLO26这类高效模型进行微调，通过小型定制数据集 detect 区域害虫（如秋行军虫）detect 。通过冻结主干网络，训练可在笔记本电脑上快速完成，生成的模型仍保持足够轻量化以满足机载处理需求。
• 医疗健康领域的人工智能： 在医学影像分析中，标注数据往往稀缺且获取成本高昂。医院采用PEFT技术将通用视觉模型适配于识别MRI扫描中的异常情况。由于基础参数被冻结，该模型不易在小数据集上过拟合，既确保了稳健的诊断性能，又维护了患者数据隐私。

使用Ultralytics实现冷冻层

Ultralytics 参数效率通常通过"冻结"网络的初始层来实现。这确保了强大的特征提取器保持不变，而仅有头部或后续层适应新类别。这是物体检测中PEFT原则的实际应用。

以下示例演示了如何在冻结主干网络前10层以节省计算资源的同时训练YOLO26模型：

from ultralytics import YOLO

# Load the YOLO26 model (latest stable version)
model = YOLO("yolo26n.pt")

# Train on a custom dataset with the 'freeze' argument
# freeze=10 keeps the first 10 layers static, updating only deeper layers
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

对于希望扩展此流程的团队Ultralytics 提供统一界面，用于管理数据集、自动化标注，并从云端监控这些高效的训练运行。

区分PEFT与相关概念

为选择合适的模型适应策略，区分PEFT与类似术语很有帮助：

• 微调：常被称为 "全微调"，该过程会更新模型中的所有参数。虽然它提供了 最大的可塑性，但计算成本高昂，且需要为每个任务保存模型的完整副本。 PEFT是微调的一个子类别，专注于效率优化。
• 提示工程：这 涉及通过精心设计文本输入来引导模型输出，而不改变任何内部权重。相反，PEFT 通过数学方法改变部分权重或适配器，从而永久性地改变模型处理数据的方式。
• 知识蒸馏： 该技术通过训练小型学生模型来模仿大型教师模型。虽然它能生成高效模型， 但本质上属于压缩方法，而PEFT则是用于向现有模型传授新技能的适应方法。

通过普及高性能人工智能的访问权限，PEFT使开发者能够构建专用于 自动驾驶汽车和 智能制造的专用工具，而无需依赖 超级计算机基础设施。