用語集

勾配降下

Ultralytics YOLO のようなAIモデルを最適化し、ヘルスケアから自動運転車までのタスクで正確な予測を可能にする勾配降下法をご覧ください。

Ultralytics HUB で
を使ってYOLO モデルをシンプルにトレーニングする。

さらに詳しく

勾配降下は、機械学習(ML)や人工知能(AI)で広く使用されている基本的な最適化アルゴリズムである。以下のような複雑なディープラーニングアーキテクチャを含む、多くのモデルをトレーニングするための主要な方法として機能します。 Ultralytics YOLO.勾配降下の目標は、モデルの予測値と実際の目標値との差を測定する損失関数を最小化するために、モデルの内部パラメータ(多くの場合、モデルの重みとバイアスと呼ばれる)を繰り返し調整することである。勾配降下は、現在位置の傾き(勾配)を評価し、最も急な下降方向に小さなステップを踏むことによって、あなたを導きます。この反復プロセスにより、モデルはデータから学習し、予測精度を向上させることができる。

機械学習における関連性

勾配降下法は、現代の多くのAIアプリケーションの基礎となるニューラルネットワーク(NN)のような高度なモデルを学習する上で特に重要である。物体検出画像分類自然言語処理(NLP)などに使用されるこれらのモデルは、最適化が必要なパラメータが数百万から数十億に及ぶことが多い。勾配降下法(Gradient Descent)は、その変種とともに、複雑なロスランドスケープ(すべての可能なパラメータの組み合わせに対する損失値を表す高次元サーフェス)をナビゲートし、良好なパフォーマンスをもたらすパラメータ値を見つけるための、計算実行可能な方法を提供します。勾配降下による効果的な最適化がなければ、このような大規模なモデルを高い精度レベルまで訓練することは現実的ではありません。主なMLフレームワーク PyTorchTensorFlowのような主要なMLフレームワークは、必要な勾配を計算するために、勾配降下の様々な実装やバックプロパゲーションのような関連アルゴリズムに大きく依存しています。このプロセスを最適化するための洞察については、モデルトレーニングのヒントを参照してください。

キーコンセプトとバリエーション

勾配降下の核となる考え方は、モデル・パラメータに対する損失関数の勾配(最も急な上り坂の方向)を計算し、次に反対方向(下り坂)にステップを踏むことである。このステップの大きさは、モデルの学習速度を決定する重要なハイパーパラメータである学習率によって制御される。学習率が小さすぎると収束が遅くなり、大きすぎると最適化プロセスが最小値をオーバーシュートしたり、発散したりする可能性があります。勾配降下法にはいくつかのバリエーションがあり、主に各ステップで勾配を計算するために使用するデータの量が異なります:

  • バッチ勾配降下(BGD)学習データセット全体を使用して勾配を計算する。これは正確な勾配推定を提供するが、大規模なデータセットでは計算コストが非常に高く、時間がかかることがある。
  • 確率的勾配降下(SGD)各ステップで1つの学習例のみから計算された勾配を使用してパラメータを更新します。はるかに高速で、浅いローカル・ミニマムから脱出することができますが、更新にノイズが含まれるため、収束経路が安定しません。
  • ミニバッチ勾配降下法BGDとSGDの折衷案。バッチサイズのハイパーパラメータによって制御される)学習データの小さなランダムなサブセット(ミニバッチ)を使用して勾配を計算する。BGDの精度とSGDの効率のバランスがとれており、ディープラーニングで最も一般的な手法である。
  • 適応型オプティマイザ Adam(論文リンク)、Adagrad、RMSpropのようなアルゴリズムは、トレーニング中に各パラメータの学習率を自動的に調整し、多くの場合、基本的なSGDやミニバッチGDに比べて収束が早く、パフォーマンスが向上します。これらはUltralytics HUBのようなプラットフォームでモデルのトレーニングに頻繁に使用されています。より詳細なバリエーションは勾配降下法ウィキペディアを参照してください。

関連概念との違い

勾配降下法とは、最適化アルゴリズムの一種で、勾配を用いてモデルのパラメータを調整することにより、損失関数を反復的に最小化することに焦点を当てたものである。モデル学習における他の重要な概念とは異なる:

実世界での応用

勾配降下は、数え切れないほどの実世界のAIアプリケーションの学習モデルを支えるエンジンであり、教師あり学習シナリオやそれ以上のシナリオにおいて、膨大な量のデータからモデルを学習することを可能にします:

  1. 医療画像解析: ヘルスケアにおけるAIでは、勾配降下法は医療画像解析のようなタスクのために畳み込みニューラルネットワーク(CNN)を訓練する。例えば、X線、CTスキャン、MRIの腫瘍や異常を検出するモデルを最適化し、モデルが予測するセグメンテーションや分類と、放射線科医が提供するグランドトゥルースとの差を最小化する(ブログ記事の例を参照)。Radiology:Artificial Intelligenceのような雑誌は、このような進歩を紹介している。
  2. 推薦システム: Netflixや Amazonのような企業は、勾配降下法で学習させた推薦アルゴリズムを使用している。これらのアルゴリズムは、ユーザーの評価やインタラクションの可能性を予測する損失関数を最小化することで、ユーザーの嗜好やアイテムの特徴を学習し、関連する映画や商品、コンテンツを提案できるようにする。
  3. 自律走行車: 自律走行車ではバウンディングボックスを使用して歩行者、車、交通レーンを識別するなどの知覚タスクに使用されるモデルは、勾配降下法を使用して学習されます。この最適化は、Waymoのような企業が開発したシステムに見られるように、自動運転技術の安全性と信頼性にとって非常に重要である。これは自動車産業におけるAIと大いに関係がある
すべて読む