优化算法

人工智能和机器学习的相关性

优化算法是驱动大多数 ML 模型学习过程的引擎，在深度学习（DL）中尤其如此。卷积神经网络（CNN）和循环神经网络（RNN）等模型在很大程度上依赖于这些算法来浏览广阔的参数空间，并找到能产生良好性能的配置。如果没有有效的优化，模型将很难收敛到最优解，从而导致预测结果不佳和训练时间延长。例如 Ultralytics YOLO模型在训练过程中采用了复杂的优化算法，以实现高精度的实时物体检测。这些算法对于GPT-4和其他大型语言模型 (LLM) 等尖端模型的训练也至关重要，使其具备了令人印象深刻的能力。优化器的选择会对训练速度和最终模型性能产生重大影响，这一点在模型训练技巧指南中已有论述。有效地探索损失情况是成功训练模型的关键。

关键概念和算法

在机器学习中，有几种优化算法被广泛使用，每种算法都提供了不同的策略，用于导航损失景观和更新模型参数。一些常见的例子包括

• 梯度下降:这是一种基础算法，它以损失函数梯度的相反方向迭代移动参数。这就像小心翼翼地走下坡路，寻找最低点。有不同的变体来提高性能。
• 随机梯度下降（SGD）:随机梯度下降法是梯度下降法的一种变体，每次只使用一个或几个训练实例（迷你批次）来更新参数，从而使更新速度更快，并有可能摆脱局部最小值。
• 亚当优化器:这是一种自适应学习率优化算法，可根据梯度的第一矩和第二矩估计值，为不同参数计算出单独的自适应学习率。它以高效著称，被广泛应用于深度学习。有关技术细节，请阅读Adam原文。
• RMSprop:另一种自适应学习率方法，它将权重的学习率除以该权重最近梯度大小的运行平均值。

这些优化器通常是 ML 框架中的可配置参数，例如 PyTorch和 TensorFlow和Ultralytics HUB 等平台中的可配置参数，允许用户选择最适合其特定任务和数据集的优化器。选择正确的优化器对于高效的模型训练至关重要。

实际应用

优化算法是人工智能/人工智能在各个领域取得成功的基础：

1. 医疗保健：在医学图像分析中，优化算法可训练模型来检测肿瘤等异常情况或对组织类型进行分类。例如，在使用YOLO11 进行肿瘤检测时，优化算法会根据带注释的医学扫描（数据集）调整模型参数，以准确识别癌症区域，从而帮助放射科医生进行诊断。探索更多医疗保健领域的人工智能解决方案。
2. 自动驾驶汽车：优化算法对于训练自动驾驶汽车的感知系统至关重要。它们可以完善用于从传感器数据（如摄像头和激光雷达）中检测行人、其他车辆、交通信号灯和车道的模型。Adam 等算法有助于模型快速学会高精度地识别物体，这对复杂环境中的安全和导航至关重要。了解汽车领域的人工智能解决方案。
3. 金融：欺诈检测或股市预测模型的训练在很大程度上依赖于优化，以最大限度地减少基于历史数据的预测误差。
4. 电子商务： 推荐系统利用优化技术对算法进行微调，以预测用户偏好并推荐相关产品，从而最大限度地提高参与度和销售额。

优化算法与相关概念

必须将优化算法与相关的 ML 概念区分开来：

• 优化算法与超参数调整： 优化算法（如 亚当 或 新加坡元) 调整 内部参数 weights and biases）的模型 期间 培训过程，以尽量减少 损失函数.另一方面，超参数调整则侧重于找到最佳的 外部配置设置 (超参数，如 学习率, 批量大小甚至优化算法本身的选择）。 之前 培训开始。工具，如 Ultralytics Tuner 类 等方法自动调整超参数 进化算法.阅读 超参数调整指南 了解更多详情。
• 优化算法与损失函数：损失函数通过测量预测值与实际值之间的误差来量化模型的性能。优化算法是用于迭代调整模型参数的机制，目的是使量化误差最小化。根据任务的不同，可以选择不同的损失函数（如分类的交叉熵，回归的均方误差）。
• 优化算法与模型架构：模型架构定义了神经网络的结构，包括层的数量和类型（如卷积层、剔除层）以及它们的连接方式。优化算法在此预定义架构内工作，训练与这些层相关的可学习参数weights and biases）。设计架构和选择优化器都是建立有效 ML 模型的关键步骤。神经架构搜索（NAS）是一个可自动设计架构的相关领域。