令牌化

标记化是将文本分解成称为标记的较小单元的过程。这些标记可以小到单个字符、单词或短语，具体取决于上下文和应用。标记化是自然语言处理（NLP）和机器学习（ML）任务的基础步骤，使计算机能够有效地处理和分析文本数据。通过将非结构化文本转换为结构化标记，标记化使算法更容易执行文本分类、情感分析和语言建模等任务。

人工智能代币化的重要性

要将原始文本转换成机器学习模型可以理解的格式，标记化是必不可少的。在 NLP 中，BERT或GPT等模型处理的是标记序列，而不是原始文本。这些标记是进一步分析（如嵌入生成或关注机制）的基石。

此外，标记化还有助于标准化文本，使算法能够关注有意义的模式，而不是无关的细节（如标点符号或空白）。这一过程还支持文本生成（模型预测序列中的下一个标记）和机器翻译（标记在不同语言之间进行翻译）等任务。

令牌化类型

1. 单词标记化：将文本划分为单个词语。例如，句子 "Ultralytics HUB is powerful "就变成了["Ultralytics"、"HUB"、"is"、"powerful"]。
2. 子词标记化：将文本分解为更小的子词单位。这种方法在BERT和 GPT 等模型中很常见，通过将罕见词或未知词分解为有意义的词块（例如，将 "powerful "分解为 "power "和 "ful"）来处理这些词。
3. 字符标记化：将文本分割成单个字符。例如，"Ultralytics" 变成 ["U", "l", "t", "r", "a", "l", "y", "t", "i", "c", "s"]。

每种方法都有其优势和利弊。单词标记化简单，但可能难以处理未知单词，而子单词和字符标记化能更好地处理罕见单词，但会增加序列长度和计算复杂度。

令牌化的应用

情感分析

在情感分析中，标记化将用户评论或社交媒体帖子划分为标记，以识别正面、负面或中性情感。例如，在 "我喜欢Ultralytics YOLO 的速度 "这样的产品评论中，标记化可以帮助提取 "喜欢"、"速度 "和 "Ultralytics YOLO "等关键标记，用于情感评估。

文本分类

标记化是垃圾邮件检测或主题建模等文本分类任务的关键步骤。在垃圾邮件检测中，模型会分析电子邮件中的标记，找出区分垃圾邮件和合法邮件的模式。进一步了解分类任务及其在Ultralytics YOLO 工作流中的实施。

语言模型

标记化是训练和使用 GPT-4 等语言模型不可或缺的一部分。标记代表了这些模型的输入和输出，有助于完成文本摘要、问题解答和对话式人工智能等任务。

物体检测元数据

在计算机视觉任务中，标记化用于处理元数据，如对象标签或注释。例如，像Ultralytics YOLO 这样的物体检测模型可能会对基于文本的注释进行标记化处理，以提高与机器学习管道的兼容性。

令牌化实践

示例 1：NLP 应用

考虑一下由自然语言理解（NLU）驱动的聊天机器人。标记化将用户输入（如 "马德里的天气怎么样？"）转换为["什么"、"的"、"的"、"天气"、"像"、"在"、"马德里"、"？"]等标记。然后对这些标记进行处理，生成相关的回复。

例 2：针对罕见词的子词标记化

在医疗数据集中，像 "血管成形术 "这样的罕见医学术语可能不会出现在标准词汇表中。子词标记化将术语拆分为["angio", "plasty"]，使模型能够有效地理解和处理陌生术语。了解有关人工智能在医疗保健领域应用的更多信息。

令牌化与相关概念

虽然标记化是 NLP 的基础，但它不同于嵌入和注意机制等相关概念。标记化是为处理原始文本做准备，而嵌入则是将标记转换成数字向量，而关注机制则是确定序列中标记的重要性。

支持令牌化的工具和框架

• PyTorch:令牌化通常被集成到PyTorch 管道中，用于 NLP 任务。
• Ultralytics HUB：简化模型训练和部署，包括标记化等预处理步骤。
• Hugging Face 转换器：为最先进的语言模型提供预训练的标记化器。

总之，标记化是为人工智能和机器学习应用准备文本数据的关键步骤。它的多功能性和实用性可扩展到情感分析、分类、语言建模等领域，使其成为现代人工智能工作流中不可或缺的流程。