上下文窗口

自然语言处理（NLP）中的语境窗口

上下文窗口是自然语言处理（NLP）中的一个基本概念。作为BERT和GPT 等架构基础的Transformers 等模型在很大程度上依赖于上下文窗口。在这些模型中，上下文窗口决定了在处理特定标记时要考虑多少前面的标记（单词或子单词）。语境窗口越大，模型就越能理解文本中更长距离的依赖关系，从而有可能产生更连贯、更具语境意识的输出结果，如OpenAI 的 GPT-4 等高级模型。不过，更大的窗口也会增加训练和推理过程中的计算负荷和内存使用量。

视觉人工智能中的语境窗口

虽然上下文窗口的概念在 NLP 中讨论得最多，但它也适用于计算机视觉（CV），尤其是在分析视频流或图像序列时。例如，在物体跟踪中，模型可能会使用连续几帧的上下文窗口来更好地预测物体的轨迹并处理遮挡。这种时间上下文有助于保持跟踪的一致性。Ultralytics YOLO 模型主要用于实时物体检测，可以集成到利用上下文窗口执行视频分析等任务的系统中，从而增强了单帧处理以外的功能。探索Ultralytics 解决方案，了解高级视觉应用实例。

真实世界人工智能/移动语言应用中的语境窗口示例

• 聊天机器人和虚拟助理： 聊天机器人和虚拟助理等系统利用上下文窗口记住对话的最后几个回合。这使它们能够理解后续问题并提供相关回复，从而创造更自然的互动。如果没有足够的上下文，助理可能会独立处理每个询问，导致对话脱节。您可以探索Ultralytics HUB等平台来构建和部署人工智能模型。
• 预测文本和自动完成：当你在手机上键入或使用搜索引擎时，预测文本算法会分析最近键入单词的上下文窗口，以建议下一个单词或完成短语。这依赖于从大量文本数据中学习到的统计模式，考虑到前面的上下文，从而提供可能的接续词。像 PyTorch和 TensorFlow等框架通常用于构建此类模型。

上下文窗口与其他相关术语

• 上下文窗口与序列长度：序列长度指的是提供给模型的整个输入序列中标记的总数。而上下文窗口则是模型在对特定元素进行预测时主动使用的序列中的特定部分（通常较小）。例如，文档的序列长度可能是 1000 个词组，但模型可能只使用目标词周围 128 个词组的上下文窗口。Hugging Face Transformers库提供了处理序列和上下文窗口的工具。
• 上下文窗口与感受野：在卷积神经网络（CNN）中，感受野描述的是影响特定神经元激活的输入图像的空间范围。虽然这两个术语都与所考虑的输入范围有关，但感受野是 CNN 中空间域的特定术语，而上下文窗口通常指各种模型架构（包括递归神经网络 (RNN)和变换器）中的顺序域（如时间或文本位置）。有关模型架构的更多详情，请参阅Ultralytics 模型文档。