参数效率微调（PEFT）

参数高效微调（PEFT）是一种机器学习方法，旨在以最小的计算开销使大型预训练模型适应新任务。通过只对一小部分参数进行微调，PEFT 技术可以提高微调过程的效率，减少资源需求，并保留预训练模型中的一般知识。

PEFT 的重要性

传统的微调涉及更新模型的所有参数，计算成本高且占用大量内存，尤其是对于像基于变压器的架构这样的大型模型。PEFT 可解决这一问题，它只修改部分参数，而保持大部分预训练模型不变。当计算资源有限或处理多个需要定制的任务时，这种方法尤为有利，而无需每次都重新训练整个模型。

PEFT 技术符合人工智能领域对资源节约型解决方案日益增长的需求，使大型模型在医疗保健、农业和零售等不同行业得到实际应用。

PEFT 的关键技术

目前已开发出几种有效微调参数的方法：

• 低等级适应（LoRA）：LoRA 将特定任务的低等级更新注入模型，仅优化这些额外参数，以适应新任务。
• 适配器层：这些是插入模型架构的小型神经网络模块，通常位于层与层之间，用于学习特定任务的调整。
• 提示调整：这种方法只对输入模型的输入提示进行调整，模型参数保持不变。了解有关提示调整的更多信息。
• 前缀调整：与提示调整类似，前缀调整优化的是作为输入数据前缀的一系列特定任务参数。

每种方法都旨在减少训练时间和资源使用，同时在下游任务中保持强劲的性能。

PEFT 的应用

PEFT 已被广泛应用于人工智能和机器学习领域，特别是在资源限制或任务多样性是主要考虑因素的情况下。

示例 1：自然语言处理（NLP）

在 NLP 中，PEFT 技术被广泛用于调整GPT-3或GPT-4等大型语言模型，以适应情感分析、摘要或特定领域问题解答等特定任务。例如，LoRA 可用于微调 GPT-3，使其适用于医学文本分析，在实现准确预测的同时将计算需求降至最低。

示例 2：视觉人工智能

在计算机视觉领域，PEFT 被用于微调预训练模型，如 Ultralytics YOLO等预先训练好的模型进行微调。只需对模型的一小部分权重进行微调，企业就能为野生动物监测或工业质量控制等任务快速部署量身定制的解决方案，而无需进行大量的重新训练。

PEFT 的优点

1. 资源效率：降低计算和内存要求，使其可以部署在边缘设备或资源有限的环境中。
2. 任务灵活性：便于快速适应多个下游任务，而无需重新培训整个模型，这对医疗保健和制造业等行业尤为有用。
3. 成本效益：通过专注于一小部分参数，降低微调大型模型的成本。
4. 保留通用知识：保留预训练模型的通用能力，同时增加特定任务的专业知识。

与传统微调的区别

在传统的微调方法中，整个模型都要更新，这不仅计算成本高，而且容易造成过度拟合，尤其是在数据集较小的情况下。而 PEFT 则侧重于优化极少量的参数，从而在显著降低计算开销的同时获得可比的结果。

PEFT 也不同于迁移学习，后者是通过重新训练部分或所有层，使预先训练好的模型适应新任务。迁移学习可能会涉及全部模型的重新训练，而 PEFT 则明确设计为最小化参数更新。

现实世界的影响

PEFT 的采用使人工智能解决方案在资源有限的环境中得以推广。例如，在农业领域，PEFT 可以对视觉模型进行微调，从而在低功耗设备上精确检测作物疾病。同样，在医疗保健领域，PEFT 也有助于利用专门数据集为肿瘤检测等任务调整模型，如Ultralytics 医疗保健解决方案中强调的那样。

PEFT 还集成到了Ultralytics HUB 等工具中，简化了自定义模型的训练和部署，确保用户可以高效地调整预训练模型，以满足其独特的需求。

结论

参数高效微调（PEFT）在使人工智能更易于使用和适应方面迈出了重要一步。通过对大型模型进行高效调整以适应新任务，PEFT 使各行业能够充分发挥人工智能的潜力，同时降低成本和计算需求。PEFT 的应用范围涵盖 NLP、计算机视觉等领域，将继续在人工智能技术的发展中发挥关键作用。