用語集

正則化

L1、L2、ドロップアウト、早期停止などの正則化テクニックを使って、オーバーフィッティングを防ぎ、モデルの汎化を改善します。さらに詳しく

Ultralytics HUB で
を使ってYOLO モデルをシンプルにトレーニングする。

さらに詳しく

正則化とは、機械学習(ML)においてオーバーフィットと呼ばれる一般的な問題を防ぐために使用される一連のテクニックである。オーバーフィッティングは、モデルがノイズやランダムな揺らぎを含む学習データを学習しすぎることで発生し、新しい未知のデータに対するモデルのパフォーマンスに悪影響を与えます。正則化手法は、モデルの複雑さに対するペナルティを導入し、新しいデータに対してより良く汎化する、より単純なパターンの学習をモデルに促す。これは、コンピュータ・ビジョン(CV)や自然言語処理(NLP)などで使用されるロバストなAIモデルを構築する上で極めて重要である。

機械学習における重要性

正則化は、信頼性の高いMLモデル、特にディープラーニング(DL)モデルやニューラルネットワーク(NN)のような複雑なモデルを学習するための基本である。正則化なしでは、これらのモデルは基礎となるパターンを学習するのではなく、学習データを簡単に記憶してしまう。このため、訓練セットでは高い精度が得られるが、検証データや実世界の入力ではパフォーマンスが低下する。正則化は、損失関数にペナルティ項を追加することで、モデルの重みの大きさを制御し、モデルを効果的に単純化し、汎化能力を向上させます。データへの適合と単純性の維持の間のこのバランスは、しばしばバイアスと分散のトレードオフという文脈で議論されます。次のようなモデルの場合 Ultralytics YOLOのようなモデルでは、正則化はリアルタイムの物体検出のような要求の厳しいタスクで高い精度を達成するのに貢献します。

一般的な正則化テクニック

いくつかの正則化技術が広く使われている:

  • L1正則化(Lasso):係数の大きさの絶対値に等しいペナルティを加える。これは、いくつかの重みがちょうど0になることにつながり、効果的に特徴選択を実行します。Lasso回帰の詳細
  • L2正則化(Ridge):係数の大きさの2乗に等しいペナルティを加える。これは重みを0に向かって縮めるが、正確に0になることはまれである。リッジ回帰の詳細
  • ドロップアウト層主にニューラルネットワークで使用されるドロップアウトは、トレーニング中にニューロンの出力の一部をランダムにゼロに設定する。これにより、ニューロンが過剰に共同適応するのを防ぎ、ネットワークがよりロバストな特徴を学習するようになる。詳細はドロップアウトの原著論文を参照。
  • 早期停止:トレーニング中の検証セットにおけるモデルのパフォーマンスを監視し、パフォーマンスが向上しなくなった時点でトレーニングプロセスを停止することで、トレーニングが進むにつれてモデルがオーバーフィットするのを防ぎます。これはモデルトレーニングのヒントで説明されている一般的なプラクティスです。
  • データの拡張既存のデータにランダムな変形(回転、拡大縮小、切り抜きなど)を加えることで、学習データの多様性を高める。これにより、モデルはそのような変化に対してより不変になる。データ増強のテクニックを探る。

関連概念との違い

正則化は他の重要なMLの概念とは異なる:

  • 最適化アルゴリズム 勾配降下や アダム・オプティマイザなどのアルゴリズムは、学習中に損失関数を最小化し、モデル・パラメータを更新するために使用される。正則化は、ペナルティ項を追加することでこの損失関数を修正し、最適化プロセスをより単純なモデルへと導きますが、最適化アルゴリズムそのものではありません。
  • ハイパーパラメータのチューニングこれは、モデルの最適なハイパーパラメータ(例えば、学習率、レイヤー数)を見つけることであり、多くの場合、グリッドサーチのようなテクニックや、Ultralytics HUBのようなプラットフォームで利用可能な自動化されたメソッドを使用する。正則化の強さ(例えばL1/L2のペナルティ係数)は、それ自体チューニングが必要なハイパーパラメータであるが、正則化は適用される技術であり、ハイパーパラメータチューニングは、他のパラメータとともにその強さを設定するプロセスである。

実世界での応用

正則化技術は、多くのAIアプリケーションの実用的な成功に不可欠である:

例1:画像の分類

画像分類では、CNNのようなディープ・ニューラル・ネットワークは数百万のパラメーターを持つことがある。ドロップアウトやL2のような)正則化がないと、これらのモデルはImageNetのようなデータセットに簡単にオーバーフィットしてしまいます。正則化は、モデルが特定のトレーニング画像を記憶するのではなく、一般的な視覚的特徴(エッジ、テクスチャ、形状)を確実に学習するのに役立ち、医療画像解析から自律走行まで、さまざまなアプリケーションで遭遇する新しい画像の分類精度を向上させます。コンピュータビジョンプロジェクトでオーバーフィッティングにどのように対処しているかをご覧ください。

例2:自然言語処理

感情分析や機械翻訳のような自然言語処理タスクでは、Transformersのようなモデルも、特に限られた学習データではオーバーフィッティングに悩まされることがある。ドロップアウトやウェイト減衰(L2)を含む正則化技術は、モデルが訓練コーパスにのみ存在する特定の単語やフレーズに過度に依存するのを防ぐために適用されます。これにより、チャットボットやコンテンツ要約ツールのような実世界のシナリオにおいて、より効果的に人間の言葉を理解し、生成するモデルの能力が向上する。

すべて読む