参数效率微调（PEFT）

参数高效微调（PEFT）是机器学习中的一套技术，旨在使预先训练好的模型高效地适应特定的下游任务，同时只对少量模型参数进行微调。这种方法在大型语言模型（LLM）和其他大规模人工智能模型时代尤为重要，因为在这些模型中，全面微调可能会耗费大量计算成本和资源。PEFT 方法大大降低了计算和存储成本，使得为更广泛的应用定制这些大规模模型以及在资源有限的环境中部署这些模型变得可行。

相关性和应用

参数高效微调技术的意义在于，它能使获取功能强大的预训练模型的途径民主化。PEFT 不需要从头开始训练一个大型模型，也不需要为每个新任务微调模型的所有参数，开发人员和研究人员只需调整原始参数的一小部分，就能获得相当的性能。这种效率有几个主要优势和应用：

• 降低计算成本：传统的大型模型微调需要大量的计算资源和时间。PEFT 技术大大降低了这些要求，加快了实验和部署速度，使资源有限的个人和组织更容易获得人工智能。在使用Ultralytics HUB Cloud Training 等平台时，这一点尤为有利，因为高效的训练可直接节省成本并加快迭代周期。
• 更低的存储要求：微调大型模型的所有参数会导致每个任务需要多个全尺寸副本。而 PEFT 方法只修改一小部分参数，因此微调后的模型体积明显更小。这对于在边缘设备或存储有限的情况下部署模型至关重要。
• 防止过拟合：在小型数据集上对大型模型进行微调时，有可能会出现过拟合的情况，即模型在训练数据中学会了良好的表现，但对新的、未见过的数据的泛化效果却很差。PEFT 方法可以作为正则化的一种形式，因为它们会限制模型的适应性，从而可能带来更好的泛化效果。

PEFT 在现实世界中的应用多种多样，并在迅速扩展。例如，在自然语言处理（NLP）领域，PEFT 可用于调整GPT-3或GPT-4等基础模型，以适应情感分析、文本摘要或问题解答等特定任务。在计算机视觉领域，PEFT 可应用于预先训练好的图像模型，使其专门用于医疗图像分析或特定领域的物体检测等任务，如检测制造业中的缺陷或识别野生动物保护中的不同物种。

关键概念

PEFT 以迁移学习和微调原则为基础。迁移学习是指利用从解决一个问题中获得的知识，将其应用到不同但相关的问题中。在这里，微调是指将预先训练好的模型在新的特定任务数据集上进一步训练的过程。

然而，传统的微调通常需要更新预训练模型的全部或大部分参数。PEFT 则与众不同，它引入了只修改一小部分参数的技术。常见的 PEFT 技术包括

• 适配器模块：在预训练模型中添加新的小层（适配器），并只训练这些适配器层，同时保持原有模型权重不变。
• 前缀调整：在模型输入中添加可训练的前缀，引导模型执行新任务。
• 低阶自适应（LoRA）：将权重矩阵分解为低阶矩阵，只训练这些较小的低阶矩阵。

这些方法与全面微调（更新所有模型参数）和模型剪枝（通过删除不那么重要的连接来缩小模型规模）形成鲜明对比。PEFT 侧重于高效适应，而不是缩小规模或完全重新训练。

总之，参数高效微调技术是使大型人工智能模型更加实用和易用的关键进步。通过在保持高性能的同时大幅减少计算和存储开销，PEFT 让更多人有能力利用最先进的人工智能技术来实现多样化和专业化的应用，包括利用以下模型实现的应用 Ultralytics YOLO11.