Adam オプティマイザー

Adam （Adaptive Moment Estimationの略称）は、深層学習モデルの学習に広く用いられる高度な最適化アルゴリズムである。確率的勾配降下法（SGD）の2つの主要な拡張手法である適応勾配法（AdaGrad）と二乗平均平方根伝播法（RMSProp）の長所を組み合わせることで、この分野に革命をもたらした。 勾配の第一・第二モーメント推定値から 各パラメータごとに個別の適応学習率を計算することで、 Adam 従来の方法よりも大幅に高速な収束をAdam 。 その頑健性と最小限の調整要件により、 新たな機械学習（ML）プロジェクトを開始する多くの実践者にとって デフォルトの選択肢となっています。

Adam 働き

モデルを訓練する本質は、損失関数を最小化することにある。損失関数はモデルの予測値と実際のデータとの差を測る指標である。標準的なアルゴリズムは通常、一定のステップサイズ（学習率）を用いて「損失の風景」を下降し、誤差の最小値を目指す。しかしこの風景はしばしば複雑で、単純なアルゴリズムを閉じ込める渓谷や高原が存在する。

Adam はこのAdam 、各パラメータに対して2つの履歴バッファを維持する：

1. 運動量（第一運動量）：重い球が坂を転がり落ちるのに似て、これは過去の勾配の移動平均を追跡し、 関連する方向への速度を維持する。
2. 分散（二乗モーメント）：これは勾配の二乗の移動平均を追跡し、学習率をスケーリングする。

この組み合わせにより、最適化アルゴリズムは平坦な領域ではより大きなステップを、急峻またはノイズの多い領域ではより小さく慎重なステップを取ることが可能となる。具体的な仕組みは、KingmaとBaによるAdam で詳述されており、様々な深層学習（DL）タスクにおいてその実証的優位性が示されている。

実際のアプリケーション

Adam の汎用性により、人工知能（AI）のほぼすべての分野で採用が進んでいる。

• 自然言語処理（NLP）：大規模言語モデル（例：生成事前学習トランスフォーマー（GPT））は、 トレーニングAdam またはその変AdamW）に大きく依存している。このアルゴリズムは、 膨大な語彙と大規模データセットに伴う疎な勾配を効率的に処理し、強力なチャットボットや 翻訳システムの構築を可能にする。
• 医療におけるコンピュータビジョン： 医療画像解析では、モデルはMRIスキャン内の腫瘍のような微妙な異常をdetect する必要があります。Adam 畳み込みニューラルネットワーク（CNN）が高速に高精度解へ収束するのをAdam 、医療AIの診断ツール開発において極めて重要です。

Adam SGD

Adam 一般的に収束Adam 、確率的勾配降下法（SGD）との区別が重要です。SGD 固定学習率を用いてモデル重みを SGD 、最先端の物体検出モデルの最終段階の訓練ではしばしば好まれます。これはテストデータ上での汎化性能（最終精度）がわずかに向上する場合があるためです。

ただし、Adam 「適応型」Adam 、学習率の調整を自動的に行う。これにより、初期実験や複雑なアーキテクチャにおいて、SGD 調整SGD 困難SGD 、はるかにユーザーフレンドリーになる。Ultralytics 上で実験を管理するユーザーにとって、これらの最適化アルゴリズムを切り替えて性能を比較することは、ハイパーパラメータ調整における重要なステップとなることが多い。

Ultralytics実装

PyTorchのような現代的なフレームワーク PyTorch やUltralyticsライブラリは Adam の利用をAdam にします。 AdamW （Adam ）Adam 、 Adam 正則化に関する問題を修正するため、 しばしば推奨されます。これは特に YOLO26のような最新のアーキテクチャにおいて効果的で、 AdamW 安定性の恩恵を受けます。

以下の例は、AdamW を使用してYOLO26モデルをトレーニングする方法を示しています：

from ultralytics import YOLO

# Load the cutting-edge YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimizer
# The 'optimizer' argument allows easy switching between SGD, Adam, AdamW, etc.
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

より深い理論的背景に関心のある開発者向けに、 スタンフォード大学CS231n最適化ノートなどの資料は、 Adam RMSPropやAdaGradといった他のアルゴリズムとAdam かを 優れた可視化で提供しています。さらに、 PyTorch のドキュメントでは、 カスタマイズ可能な引数や実装の詳細に関する技術情報が提供されています。