深圳Yolo 视觉
深圳
立即加入
词汇表

Prompt Chaining

了解如何通过提示串联将复杂的人工智能任务分解为可靠的工作流。探索如何Ultralytics 与大型语言模型集成,构建高级人工智能代理。

提示串联是人工智能(AI)开发中的一种高级架构模式,通过将复杂任务分解为一系列更小、更易管理的子任务。在此工作流中,某一步骤的输出(通常由大型语言模型(LLM)或计算机视觉系统生成)将作为后续步骤的输入。 与试图一次性解决多维问题的单一整体式提示不同,链式处理使开发者能够构建更可靠、可测试且功能强大的应用程序。这种模块化方法对于创建能够推理、浏览网页或与物理环境交互的复杂AI智能体至关重要。

链式反应的机制

从本质上讲,提示串联技术旨在解决基础模型在上下文窗口和推理能力方面的局限性。当模型被要求在单次请求中执行过多不同操作时(例如"分析这张图片,提取文本,将其翻译成西班牙语,并格式化为表格"),基础模型往往力不从心 当模型被要求在单次请求中执行过多独立操作(例如:"分析这张图片,提取文本,将其翻译成西班牙语,并格式化为JSON发票"),出错概率会增加。通过将任务拆分为流水线处理,开发者可验证每个阶段的准确性

高效的链式操作通常会使用用Python编写的"粘合代码" Python或由LangChain等编排库管理的 胶水代码来处理步骤间的数据转换。这使得不同技术能够实现融合,例如将 物体检测的视觉敏锐度与生成式文本模型的 语言流畅性相结合。

实际应用

提示链技术在弥合不同数据模态间的鸿沟时尤为强大,使多模态模型能够在动态的工业和商业环境中高效运作。

  1. 自动化视觉报告: 在智能制造中,质量控制系统可将视觉模型与大型语言模型(LLM)串联。首先,高速模型(Ultralytics )扫描装配线上的组件。 结构化输出(例如"类别:凹陷罐头,置信度:0.92")被转换为文本字符串。该文本随后通过提示词(如"根据此缺陷起草维护请求")传递至语言模型,为车间经理生成可读性强的电子邮件。
  2. 情境感知客户支持:智能聊天机器人常通过链式处理来解析复杂用户查询。 链条的首节可能运用 自然语言处理(NLP) classify 。若判定为技术类需求,系统将触发 检索增强生成(RAG) 工作流:为查询生成嵌入向量, 在向量数据库中检索技术文档,最终调用大型语言模型(LLM)将检索到的片段整合为 实用解答。

视觉到语言代码示例

以下示例展示了链条中的首个"环节":利用 计算机视觉(CV)生成结构化数据 作为下游提示的上下文基础。

from ultralytics import YOLO

# Load the YOLO26 model (natively end-to-end and highly efficient)
model = YOLO("yolo26n.pt")

# Step 1: Run inference to 'see' the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Step 2: Format visual detections into a natural language string
det_names = [model.names[int(c)] for c in results[0].boxes.cls]
prompt_context = f"The scene contains: {', '.join(det_names)}. Please describe the likely activity."

# The 'prompt_context' variable is now ready to be sent to an LLM API
print(prompt_context)

区分相关概念

要实现有效的机器学习(ML)架构, 有必要区分提示串联与人工智能领域中 其他类似术语:

  • 思维链提示 思维链(CoT)是一种单个提示中使用的技术,旨在鼓励模型"展示其推导过程"(例如"逐步思考")。提示链则涉及多个独立的API调用,其中步骤B的输入依赖于步骤A的输出。
  • 提示工程对比: 提示工程是优化文本输入以激发模型更佳表现的广义学科。链式操作作为其中特定工程模式,专注于操作序列流与逻辑控制。
  • 提示调优提示调优 是一种 模型优化方法 ,在训练阶段更新可学习参数(软提示)。提示链式处理完全发生在 实时推理过程中,且不改变 模型的模型权重

通过利用提示串联技术,团队能够构建集逻辑处理、数据检索与动作识别于一体的强大应用程序。为管理支撑这些串联流程的数据集并训练视觉模型Ultralytics 提供了一站式解决方案,涵盖标注、训练及部署全流程。

加入Ultralytics 社区

加入人工智能的未来。与全球创新者联系、协作和共同成长

立即加入