超参数调整

超参数调整与相关概念

必须将超参数调整与 ML 中的其他关键概念区分开来：

• 优化算法：优化算法，如Adam或随机梯度下降算法（SGD），是在训练过程中调整模型内部参数（权重和偏置）以最小化损失函数的引擎。相比之下，超参数调整涉及选择最佳外部设置，甚至包括优化算法本身的选择。
• 神经架构搜索（NAS）：超参数调整可优化给定模型结构的设置，而 NAS 则可自动设计模型架构本身，例如确定层的数量和类型。两者都是自动机器学习（AutoML）的一种形式，通常一起使用以建立最佳模型。
• 模型参数：这些是模型的内部变量，如神经网络中的权重和偏置，通过反向传播从训练数据中学习。超参数是管理这些参数学习方式的高级设置。

常用调整方法和超参数

实践者使用多种策略来寻找最佳超参数值。常见的方法包括网格搜索（穷尽尝试指定值的每种组合）、随机搜索（随机抽样组合）以及贝叶斯优化和进化算法等更先进的方法。

最常调整的超参数包括

• 学习率:控制根据损失梯度调整模型权重的程度。
• 批量大小:一次迭代中使用的训练实例数量。
• 历时次数：整个训练数据集通过模型的次数。
• 数据增强强度：应用于训练数据的变换程度，如旋转、缩放或颜色偏移。Albumentations 库是一个常用的工具。

实际应用

超参数调整适用于各个领域，以达到最佳性能：

• 医学图像分析：在训练肿瘤检测模型时，调整超参数（如学习率计划、数据增强设置和损失函数权重）对于在特定医疗数据集上实现高检测精度至关重要。这对于可靠的人工智能医疗解决方案至关重要，也是目前正在进行的研究课题。
• 自动驾驶汽车：自动驾驶汽车中的物体检测模型需要仔细调整。对输入图像分辨率、非最大抑制（NMS）阈值和锚框配置等超参数进行优化，可确保系统以较低的延迟可靠地检测到行人和障碍物，从而实现安全导航。这种调整对于Waymo这样的公司至关重要，有助于在汽车中实现强大的人工智能解决方案。

使用 Ultralytics 进行超参数调整

Ultralytics 提供了简化超参数调整的工具，可用于 超数据 YOLO 模型(二)... Ultralytics Tuner 类在 超参数调整指南通过使用进化算法，该系统实现了流程自动化。与以下平台集成 雷-图恩 为分布式和高级搜索策略提供了进一步的功能，帮助用户针对特定数据集有效地优化其模型（如 COCO)和任务。用户可以利用以下平台 Ultralytics HUB 简化实验跟踪和管理，这通常是遵循以下最佳实践的关键部分 模型培训.流行的开源库，如 奥普图纳 和 Hyperopt 也被 ML 界广泛用于此目的。