优化算法

优化算法的工作原理

优化算法的核心是浏览 "损失景观"--一个高维空间，其中每个点代表一组模型参数，点的高度与模型误差相对应。目标是在这个空间中找到最低点或 "最小值"。算法从一组随机参数开始，在每一步（或每一纪元）计算损失函数的梯度。该梯度指向最陡峭的上升方向，因此算法会朝相反的方向迈出一步，以降低地形。

这一步骤的大小由一个称为学习率的关键超参数控制。精心选择的学习率可确保模型高效学习，而不会过冲最小值或陷入困境。这种计算梯度和更新参数的迭代过程被称为反向传播，一直持续到模型在验证数据集上的性能停止提高，表明已经收敛。

常见的优化算法类型

目前已开发出多种优化算法，每种算法都有不同的特点。深度学习中应用最广泛的算法包括

• 随机梯度下降法（SGD）：随机梯度下降法（SGD）：一种经典且广泛使用的优化方法，它利用训练数据的一个小子集（批次）的梯度来更新参数。虽然有效，但其性能对学习率的选择很敏感。带有动量的 SGD 等变体有助于加速收敛。
• 亚当优化器自适应矩估计（Adam）优化器非常流行，因为它结合了 SGD 的另外两个扩展：AdaGrad 和 RMSProp 的优点。 它为每个参数计算自适应学习率，因此非常稳健，通常是许多问题的理想默认选择。AdamW扩展常用于现代变压器模型。PyTorch和TensorFlow等框架提供了这些流行优化器的实现。

优化器的选择会对训练速度和模型的最终性能产生重大影响。在 Ultralytics 生态系统中，用户可以在训练设置过程中轻松配置优化器。

实际应用

优化算法在无数人工智能应用的幕后发挥着作用。

1. 医学图像分析：在训练卷积神经网络（CNN） 检测脑部扫描中的肿瘤时，亚当（Adam）等优化算法会系统地调整网络的滤波器。它能最大限度地减少模型预测的肿瘤位置与放射科医生提供的地面实况注释之间的差异，从而提高模型的诊断准确性。这是构建有效的人工智能医疗解决方案的核心组成部分。
2. 自动驾驶汽车：自动驾驶汽车中的物体检测模型（如Ultralytics YOLO模型）必须能够可靠地识别行人、其他车辆和交通标志。在训练过程中，优化器会通过数百万张图像对模型参数进行微调，以减少检测错误（如遗漏物体或错误分类），这对于确保汽车人工智能系统的安全性至关重要。

优化算法与相关概念

将优化算法与相关的 ML 概念区分开来非常重要：

• 优化算法与超参数调整： 优化算法可调整 内部参数 (权重和偏差）的模型 期间 训练。相比之下，超参数调整侧重于找到最佳的 外部配置设置 (学习率、批量大小，甚至优化器本身的选择）。 之前 培训开始。培训开始 Ultralytics Tuner 类 等方法自动完成这一过程。 进化算法.
• 优化算法与损失函数：损失函数量化了模型的误差。优化算法是用于最小化误差的机制。损失函数提供了目标，优化算法提供了达到目标的策略。
• 优化算法与模型架构：模型架构定义了神经网络的结构（如层和连接）。优化算法在此预定义结构内工作，训练其可学习参数。神经架构搜索（NAS）是一个相关领域，可自动设计架构本身。