提示调整

提示调谐如何工作

在 "提示调整"（Prompt Tuning）中，核心理念是冻结绝大多数预训练模型的参数。当为情感分析或文本生成等任务调整模型时，不是调整数以亿计的 weights and biases而是只使用梯度下降法训练一小部分提示参数（软提示嵌入）。这些学习到的嵌入作为指令或上下文，引导冻结模型为特定任务生成所需的输出。这使其成为参数高效微调（PEFT）的一种形式，大大降低了大规模基础模型专业化的门槛。

及时调整的好处

即时调试有几个优点：

• 计算效率：与全面微调相比，所需的计算量和内存要少得多，因为在训练过程中只需更新很小一部分参数。
• 减少存储：每个任务只需存储一小部分提示嵌入，而不是微调模型的完整副本。
• 适应更快：训练特定任务的提示比微调整个模型要快得多。
• 减少灾难性遗忘：由于原始模型参数保持不变，因此模型仍能保持预训练时学到的一般能力，避免了在一项任务上进行微调而降低其他任务性能的问题（灾难性干扰）。
• 简化部署：多个特定任务提示可与单个共享核心模型一起使用，从而简化MLOps 管道中的模型部署和管理。

实际应用

提示调整功能对于为专门应用定制大型语言模型尤为有效：

1. 定制客户服务聊天机器人：公司可以使用像GPT-4这样的通用预训练 LLM，并使用 "提示调整"（Prompt Tuning）为不同的支持领域（如计费、技术支持、产品咨询）创建专门的提示。每个提示都会指导基础模型在特定的上下文中使用公司特定的语言和知识做出适当的回应，而不需要单独的微调模型。这样就能有效地扩展聊天机器人的功能。
2. 专业内容生成：营销机构可以使用 "提示调整 "来调整大型文本生成模型，以创建特定品牌声音或风格的内容（例如，正式报告、休闲博客文章、朗朗上口的广告文案）。针对每种风格都会训练不同的提示，从而使OpenAI或Google AI等机构提供的相同的强大基础模型能够满足不同客户的需求。

提示调整与相关概念

重要的是要将 "提示调整 "与类似技术区分开来：

• 微调:涉及在新数据集上更新大部分甚至全部预训练模型的参数。这种方法的计算量较大，但有时可以通过深入调整模型的内部表示来获得更高的性能。模型训练技巧通常包括微调的各个方面。
• 及时工程:重点是手动设计有效的基于文本的提示（硬提示），以便从冻结的预训练模型中诱发所需的行为。它涉及在输入文本本身中精心设计指令和示例，而不涉及训练任何新参数。思维链提示等技术就属于这一类。
• 提示丰富:在人工智能模型处理之前，通过添加上下文或相关信息（如使用检索增强生成（RAG））自动增强用户的输入提示。与提示调整不同，它不修改模型或训练参数，而是完善输入查询。
• LoRA（低等级适应）:这是另一种 PEFT 技术，它将小的、可训练的低秩矩阵注入预训练模型的现有层（如注意力机制）。与只关注输入嵌入的 Prompt Tuning 相比，它更新了模型的不同部分。这两种方法都可以在Hugging Face PEFT 库等库中找到。

提示调整主要应用于自然语言处理（NLP）中的 LLM，而高效适应的核心原则则与整个人工智能（AI）相关。在计算机视觉（CV）领域，虽然对模型（如 Ultralytics YOLO等模型在自定义数据集上进行全面微调的方法在物体检测等任务中很常见，但 PEFT 方法正日益受到重视，尤其是在大型多模态模型中。Ultralytics HUB等平台简化了各种人工智能模型的训练和部署过程，未来有可能将这种高效技术融入其中。

总之，"提示调整 "提供了一种强大而高效的方法，可以针对不同任务对大型预训练模型（如 LLM）进行专门化，同时兼顾性能和计算可行性。在使强大的人工智能模型更具适应性和可访问性方面，它是一个关键的进步。