確率的勾配降下法 (SGD)

機械学習における関連性

SGDは、大規模な機械学習モデル、特に最新のAIアプリケーションの多くを支える複雑なニューラルネットワーク（NN）を学習するための基礎となるものです。SGDの効率性により、メモリに収まらないほど大きなデータセットや、従来のバッチ勾配降下法では処理に時間がかかりすぎるようなデータセットを扱う場合に不可欠となります。次のようなモデル Ultralytics YOLOのようなモデルは、物体検出、画像分類、画像セグメンテーションのようなタスクのパターンを学習するために、学習プロセスでSGDやその変種を利用することが多い。次のような主要なディープラーニングフレームワーク PyTorchや TensorFlowなどの主要なディープラーニングフレームワークは、SGDの強固な実装を提供しており、AIのエコシステムにおけるSGDの基本的な役割を強調している。

キーコンセプト

SGDを理解するには、いくつかの核となる考え方がある：

• 損失関数：モデルの予測値が実際の目標値とどの程度一致するかの尺度。SGDはこの関数を最小化することを目指す。
• 学習レート：各パラメータ更新時のステップサイズを制御するハイパーパラメータ。効果的な学習には、適切な学習率を見つけることが重要である。学習率スケジュールは、学習中に学習率を調整するためによく使用される。
• バッチサイズ：勾配を推定するために1回の反復で使用するトレーニングサンプルの数。純粋なSGDでは、バッチサイズは1です。小さなサブセットを使用する場合、ミニバッチ勾配降下と呼ばれることがよくあります。
• トレーニングデータ：モデルの学習に使用するデータセット。SGD は、このデータをサンプルごとに、またはミニバッチで処理します。高品質のデータが不可欠であり、多くの場合、慎重なデータ収集と注釈付けが必要となります。
• 勾配：損失関数の最も急峻な増加方向を示すベクトル。SGDは、サンプルまたはミニバッチから計算された勾配の反対方向にパラメータを移動する。
• エポック： 学習データセット全体を1回完全に通過すること。通常、訓練には複数のエポックが含まれる。

関連概念との違い

SGDはいくつかの最適化アルゴリズムのひとつであり、他のものと区別することが重要です：

• バッチ勾配降下（BGD）：各ステップで学習データセット全体を使用して勾配を計算する。これにより正確な勾配推定が可能になるが、大規模なデータセットでは計算量とメモリ消費量が大きくなる。SGDのノイジーな更新に比べ、よりスムーズな収束経路を導く。
• ミニバッチ勾配降下法：BGDとSGDの折衷案。データの小さなランダムな部分集合（ミニバッチ）を用いて勾配を計算する。これはBGDの精度とSGDの効率のバランスをとるもので、実際には最も一般的なアプローチである。性能はバッチサイズに依存します。
• アダム・オプティマイザー：適応学習率最適化アルゴリズムで、異なるパラメータに対する個々の適応学習率を計算する。標準的なSGDよりも早く収束することが多いが、「機械学習における適応的勾配法の限界値」などの研究で議論されているように、汎化効果が低い場合もある。これら以外にも多くの勾配降下法が存在する。

実世界での応用

SGDの効率性は、数多くの大規模なAIアプリケーションでの使用を可能にしている：