微调

如何进行微调

这一过程通常从选择一个预先训练好的模型开始，例如 Ultralytics YOLO模型。这些模型通常是用于视觉的卷积神经网络（CNN）或用于 NLP 的Transformers，它们已经学会了从初始训练数据中识别一般特征。在微调过程中，模型权重--在训练过程中学到的参数--会根据新的、更小的数据集进行调整。通常情况下，网络的初始层（学习边缘或纹理等一般特征）会被 "冻结"（其权重不会更新），而后面的、针对特定任务的层会被重新训练。这种重新训练通常涉及使用比原始训练中更低的学习率，对权重进行较小的调整，从而在适应新任务细微差别的同时，保留之前学习的知识。您可以在fast.ai 课程等资源中找到更多有关机制的详细信息。

为什么要进行微调？

微调具有几个关键优势：

• 减少训练时间：与从头开始训练相比，使用预训练模型可大大减少所需时间，因为该模型已经了解基本模式。
• 更低的数据要求：即使任务特定数据有限，微调通常也能取得很好的结果，因为它建立在从大型初始数据集中获得的广泛知识的基础上。Kaggle等平台经常举办以微调为关键策略的竞赛。
• 提高性能：通过利用从大型数据集中学到的特征，微调可以提高目标任务的准确性和泛化效果，尤其是在目标数据集较小的情况下。
• 可访问性：它使那些可能不具备初始预训练所需的大量计算资源的从业人员也能使用最先进的模型。 Hugging Face提供了一个庞大的预训练模型库，可随时进行微调。

探索更多优化流程的模型训练技巧。

微调与相关概念

必须将微调与类似的 ML 概念区分开来：

• 迁移学习：这是一个宽泛的概念，即把从一项任务中获得的知识应用到不同但相关的任务中。微调是迁移学习的一种具体方法，即在新任务的数据上进一步训练（调整）预训练模型的权重。其他迁移学习方法可能涉及纯粹使用模型进行特征提取。从Andrew Ng 的机器学习课程等资源中了解更多信息。
• 特征提取：在这种方法中，预先训练好的模型（通常去掉了最后几层）被用作固定的特征提取器。然后将输出（特征）输入一个新的、通常更简单的模型（如SVM或小型神经网络），该模型在新的数据集上从头开始训练。与微调不同的是，主要预训练模型的权重通常不会更新。
• 超参数调整：这包括在训练或微调过程开始之前找到一组最佳的超参数（如学习率、批量大小、历时次数、网络架构选择）。它能优化学习过程的配置，而微调则能根据数据优化模型权重。Ultralytics Tuner等工具可自动搜索超参数。

实际应用

微调技术被广泛应用于各个领域：

• 医学图像分析：在 ImageNet 上预先训练好的视觉模型可以在较小的 X 光或 CT 扫描数据集上进行微调，以检测肺炎或脑肿瘤等特定病症。这就利用了模型所学到的识别形状和纹理的能力来进行医学诊断。该领域的研究成果经常发表在arXiv 等平台上。
• 专用物体检测：像YOLO 这样在COCO 上预先训练好的通用对象检测器可以进行微调，以识别利基环境中的特定项目，如制造质量控制中人工智能的特定类型缺陷，或野生动物保护中的特定动物物种。
• 定制聊天机器人和文本分析：大型语言模型，如BERT（在Google 人工智能博客中进行了解释）或OpenAI的GPT-3可以在公司特定文档或客户服务日志上进行微调，以创建专门的问题解答系统，或针对特定行业进行高度准确的情感分析。斯坦福大学 NLP 小组是 NLP 研究的重要贡献者。

在计算机视觉领域探索更多应用。

微调Ultralytics YOLO 模型

Ultralytics 为微调YOLO 模型提供了强大的支持。用户可以轻松加载预先训练好的权重（例如在 COCO 上训练好的模型），并在自己的自定义数据集上继续训练，以完成检测、分割或分类等任务。Ultralytics 文档提供了有关训练过程的详细指导，使用户能够调整最先进的模型，如 YOLO11等最先进的模型，以应对特定的计算机视觉挑战。Ultralytics HUB等平台进一步简化了定制训练过程。这种适应性是在从农业人工智能到机器人等各种应用中实现最佳性能的关键。关于迁移学习技术的更多信息，可以在Coursera 的深度学习专业等教育平台以及Papers with Code或Distill.pub等网站上找到，以获得研究见解。