アダム・オプティマイザー

アダムの働き

Adamは、勾配の1次モーメントと2次モーメントの推定値に基づいて、各パラメータの適応学習率を計算する。基本的には、過去の勾配の指数関数的に減衰する平均（momentumに似ている）と、過去の2乗勾配の指数関数的に減衰する平均（AdaGrad/RMSpropに似ている）を追跡する。

• 運動量：関連する方向への勾配降下を加速させ、振動を減衰させ、収束を早める。
• 適応学習率：各ウェイトの学習率は、過去の更新頻度や更新量に基づいて調整される。大きな更新や頻繁な更新を受けたパラメータは学習率が小さくなり、小さな更新や頻繁でない更新を受けたパラメータは学習率が大きくなる。これは特に勾配が疎な問題やノイズの多いデータに有効である。
• バイアス補正：アダムには、特にディケイ平均がまだ初期化されていないトレーニングの初期段階において、モーメント推定値のゼロへの初期バイアスを打ち消すメカニズムが含まれている。

確率的勾配降下法（SGD）のような、単一の固定学習率（またはスケジュールに従って減衰する学習率）を使用する単純なアルゴリズムと比較すると、アダムのパラメータごとの適応は、特に複雑な損失ランドスケープの場合、良い解を見つけるための迅速な進歩をしばしば可能にする。

アダムの利点

アダムが人気なのにはいくつかの理由がある：

• 計算効率：比較的少ないメモリで済み、計算効率が高い。
• 優れたデフォルト性能：デフォルトのハイパーパラメータは、多くの場合、広範囲の問題でうまく機能し、大規模なハイパーパラメータのチューニングの必要性を低減します。
• 大規模問題への適性： コンピュータ・ビジョン(CV)や自然言語処理(NLP)で一般的な、大規模なデータセットや高次元のパラメータ空間を持つ問題で優れた性能を発揮する。
• 非定常目的関数を扱う：目的関数が時間とともに変化する問題に適しています。
• 疎な勾配に効果的：適応的な学習率により、勾配が疎なシナリオに適している。

実例

アダムは多くの最先端モデルのオプティマイザーとして活躍している：

ウルトラリティクスでの使用 YOLO

Ultralyticsのエコシステムでは、Adamとその亜種のAdamW（Adam with decoupled weight decay）は、Ultralytics YOLOモデルのトレーニングに使用できるオプティマイザーです。Adamの適応学習率を活用することで、YOLO11や YOLOv10のようなオブジェクト検出、インスタンス分割、ポーズ推定モデルのトレーニング中の収束を加速させることができます。 SGDは、最終的な汎化（オーバーフィッティングの回避）に優れている可能性があるため、YOLOモデルのデフォルトや推奨のオプティマイザとして使用されることがよくありますが、Adamは、特定のシナリオや最初の実験やモデル評価の際に特に役立つ、堅牢な代替手段を提供します。オプティマイザやその他の学習設定は簡単に設定できます。Ultralytics HUBのようなツールはプロセスを合理化し、ユーザーはローカルまたはクラウドトレーニングを介して、Adamを含む様々なオプティマイザを使用してモデルをトレーニングすることができます。PyTorchや TensorFlowなどのフレームワークは、Adamの標準的な実装を提供しており、Ultralyticsフレームワーク内で利用されている。さらなるパフォーマンス向上のためには、知識の蒸留や異なるモデルアーキテクチャの探索などのテクニックを検討する。