正則化

機械学習における重要性

正則化は、信頼性の高いMLモデル、特にディープラーニング（DL）モデルやニューラルネットワーク（NN）のような複雑なモデルを学習するために不可欠である。正則化なしでは、これらのモデルは基礎となるパターンを学習する代わりに、単に訓練例を記憶してしまうかもしれません。その結果、訓練セットでは高い精度を得ることができますが、検証データで評価したり、実世界のシナリオで展開したりすると、パフォーマンスが低下します。正則化は、損失関数にペナルティ項を組み込むか、訓練プロセスを変更することで、モデルの重みの大きさを管理するのに役立つ。これによりモデルは効果的に単純化され、汎化能力が向上する。データにうまくフィットさせることとモデルの単純さを維持することの間のこの慎重なバランスは、バイアスと分散のトレードオフの重要な側面である。次のようなモデルの場合 Ultralytics YOLOのようなモデルでは、正則化技術を適用することが、リアルタイムの物体検出のような要求の厳しいタスクで高い性能を達成することに大きく貢献します。

一般的な正則化テクニック

いくつかの正則化技術が広く採用されている：

• L1正則化（Lasso）：モデルの重みの絶対値に比例するペナルティを加える。これは、いくつかの重みがちょうど0になることを意味し、特徴選択を効果的に実行するスパース性を促進します。Lasso回帰の詳細はこちら。
• L2正則化（Ridge）：モデルの重みの2乗に比例するペナルティを加える。これは重みをゼロに向かって縮小する傾向があるが、完全にゼロになることはまれで、多重共線性のような問題を防止するのに役立つ。リッジ回帰の詳細
• ドロップアウト層：学習中、更新ステップごとに、一部のニューロンの出力をランダムにゼロにする。これにより、ネットワークが単一のニューロンに依存しすぎるのを防ぎ、よりロバストな特徴を学習させる。詳細はDropoutの原著論文を参照。実践的な適用については、モデルトレーニングのヒントを参照してください。
• 早期停止：トレーニング中に別の検証データセット上でのモデルのパフォーマンスを監視し、このセットでのパフォーマンスが向上しなくなったり、悪化し始めたりしたときにプロセスを停止し、モデルがトレーニングデータにオーバーフィットするのを防ぐ。これはディープラーニングのワークフローでは一般的なプラクティスである。
• データ増強：既存のデータを修正したコピー（画像の回転、切り取り、色の変更など）を作成することで、学習データセットのサイズと多様性を人為的に増加させる。これは、モデルをより幅広いバリエーションにさらすことで正則化の役割を果たし、モデルの汎化を助けます。Ultralytics データセットで様々なデータ補強テクニックの例をご覧ください。

実世界での応用

正則化技術は、多くのAI領域で応用されている：

1. 医療画像解析：脳腫瘍のようなデータセットを使用して）MRIスキャンで腫瘍を検出するための畳み込みニューラルネットワーク（CNN）のトレーニングのような医療画像解析では、データセットが制限されることがよくあります。L2正則化やDropoutのようなテクニックは、モデルがトレーニングセットの特定の患者スキャンにオーバーフィットするのを防ぎ、新しい患者に対してより信頼性の高い診断を行うのに役立ちます。これは、ヘルスケアにおけるAIのアプリケーションにとって極めて重要である。
2. 自律走行車： 自律走行車の知覚システムは、歩行者、車両、障害物を検出するためにYOLO11 ようなモデルに依存している。正則化により、これらのモデルは、多様で予測不可能な実世界の走行条件（異なる照明、天候、物体の外観）に対して良好に汎化されます。車載ソリューションにおけるAIを探る。
3. 金融予測：株式市場の動向を予測したり、信用リスクを評価したりするモデルを構築する際、L1正則化を利用することができる。これは、重要度の低い特徴の重みをゼロに縮小することで、最も影響力のある経済指標を選択するのに役立ち、その結果、金融のAIで使用される、より単純で、より解釈しやすく、潜在的により頑健な予測モデルが得られる。

関連概念との違い

正則化を他の関連するMLの概念と区別することは重要である：

• 最適化アルゴリズム： 勾配降下法、確率的勾配降下法（SGD）、アダム・オプティマイザなどの最適化アルゴリズムは、学習中に損失関数を最小化し、最適なモデルパラメータを見つけるために使用されます。一方、正則化は、学習誤差の最小化と並行して、汎化を優先するように目的（損失関数自体または学習手順）を変更します。最適化は解を見つけるが、正則化はそれが未知のデータに対して良い解であることを保証するのに役立つ。
• ハイパーパラメータのチューニング：これは、学習プロセスを開始する前に、モデルまたは学習アルゴリズムの最適な構成設定を選択するプロセスである。ハイパーパラメータと呼ばれるこれらの設定には、学習率、ニューラルネットワークの層数、正則化ペナルティの強さ（L1/L2のラムダ値など）などが含まれる。正則化は学習中に適用されるテクニックであり、ハイパーパラメータチューニングはそのテクニックやその他のテクニックを支配するパラメータを最適化する。Ultralytics HUBプラットフォームのようなツールは、ハイパーパラメータチューニングを自動化する機能を提供する。