参数效率微调（PEFT）

PEFT 如何工作？

PEFT 背后的核心原理是对预先训练好的模型进行有针对性的最小修改。PEFT 方法不更新每个参数，而是在训练过程中引入一小部分可训练参数，或从现有参数中选择一小部分进行更新。这是一种优化效率的迁移学习形式。目前有几种流行的 PEFT 方法，每种方法都有不同的策略：

• LoRA（低秩适应）：这种技术将小的、可训练的低秩矩阵注入预训练模型的层中，通常是在注意力机制中。这些 "适配器 "矩阵比原始权重矩阵小得多，因此训练速度快、效率高。LoRA原始研究论文提供了更多技术细节。
• 提示调整：这种方法并不修改模型的架构，而是完全冻结模型，并学习一组 "软提示 "或可训练的嵌入向量。这些向量被添加到输入序列中，以指导模型针对特定任务的输出，详情请参见其基础论文。
• 适配器调整：这种方法是在预训练模型的层之间插入小型全连接神经网络模块，即 "适配器"。只对这些新适配器的参数进行训练。

这些方法和其他方法可通过拥抱脸 PEFT 库等框架广泛获取，从而简化了实施过程。

PEFT 与相关概念

必须将 PEFT 与其他模型适应战略区分开来：

• 完全微调：与 PEFT 相反，完全微调会更新预训练模型的所有权重。这需要大量资源，每个微调模型版本都需要强大的GPU和大量存储空间。
• 提示工程：这种技术包括手动设计有效的文本提示，以指导模型的行为。它不涉及任何训练或参数更新；纯粹是对输入进行精心设计，以便从冻结的模型中获得所需的输出。
• 知识蒸馏：这包括训练一个较小的 "学生 "模型来模仿一个较大的、预先训练好的 "教师 "模型的行为。虽然可以创建一个较小的模型，但这一过程本身仍然需要大量计算。

实际应用

PEFT 可使大型模型在各个领域得到实际应用：

• 自然语言处理 (NLP)：公司可以使用 PEFT 调整GPT-4或BERT等通用模型，为内部知识库创建专门的聊天机器人。他们可以使用 LoRA 等方法来教授模型公司特定的术语和程序，从而为客户服务或内部支持提供更准确的回复，而不是昂贵的全面重新培训。斯坦福大学 NLP 小组等研究小组正在探索这类应用。
• 计算机视觉（CV）：PEFT 可以为特定的视觉识别任务定制大型视觉模型，如Vision Transformers (ViT)或Ultralytics YOLO模型。例如，在广泛的COCO 数据集上预先训练好的模型，可以使用 PEFT 进行调整，以便在制造质量控制中对独特缺陷进行精确的目标检测，在医疗图像分析中执行专门的图像分割，或在野生动物保护相机陷阱中识别特定的动物物种。Ultralytics HUB等平台可帮助管理这些调整后的模型和实验。

从本质上讲，"参数高效微调 "技术使最先进的人工智能模型更具通用性和成本效益，从而使各种特定应用获得强大的人工智能能力。