L1、L2、ドロップアウト、早期停止などの正則化テクニックを使って、オーバーフィッティングを防ぎ、モデルの汎化を改善します。さらに詳しく
正則化とは、機械学習(ML)において、オーバーフィットと呼ばれる一般的な問題を防ぐために使用される一連のテクニックである。オーバーフィッティングは、モデルがノイズやランダムな揺らぎを含む学習データを学習しすぎることで発生し、新しい未知のデータに対するモデルのパフォーマンスに悪影響を与えます。正則化手法は、モデルの複雑さに対するペナルティを導入し、新しいデータに対してより良く汎化する、より単純なパターンの学習をモデルに促す。これは、コンピュータ・ビジョン(CV)や自然言語処理(NLP)などで使用されるロバストなAIモデルを構築する上で極めて重要である。
正則化は、信頼性の高いMLモデル、特にディープラーニング(DL)モデルやニューラルネットワーク(NN)のような複雑なモデルを学習するための基本である。正則化なしでは、これらのモデルは基礎となるパターンを学習するのではなく、学習データを簡単に記憶してしまう。このため、訓練セットでは高い精度が得られるが、検証データや実世界の入力ではパフォーマンスが低下する。正則化は、損失関数にペナルティ項を追加することで、モデルの重みの大きさを制御し、モデルを効果的に単純化し、汎化能力を向上させます。データへの適合と単純性の維持の間のこのバランスは、しばしばバイアスと分散のトレードオフという文脈で議論されます。次のようなモデルの場合 Ultralytics YOLOのようなモデルでは、正則化はリアルタイムの物体検出のような要求の厳しいタスクで高い精度を達成するのに貢献します。
いくつかの正則化技術が広く使われている:
正則化は他の重要なMLの概念とは異なる:
正則化技術は、多くのAIアプリケーションの実用的な成功に不可欠である:
画像分類では、CNNのようなディープ・ニューラル・ネットワークは数百万のパラメーターを持つことがある。ドロップアウトやL2のような)正則化がないと、これらのモデルはImageNetのようなデータセットに簡単にオーバーフィットしてしまいます。正則化は、モデルが特定のトレーニング画像を記憶するのではなく、一般的な視覚的特徴(エッジ、テクスチャ、形状)を確実に学習するのに役立ち、医療画像解析から自律走行まで、さまざまなアプリケーションで遭遇する新しい画像の分類精度を向上させます。コンピュータビジョンプロジェクトでオーバーフィッティングにどのように対処しているかをご覧ください。
感情分析や機械翻訳のような自然言語処理タスクでは、Transformersのようなモデルも、特に限られた学習データではオーバーフィッティングに悩まされることがある。ドロップアウトやウェイト減衰(L2)を含む正則化技術は、モデルが訓練コーパスにのみ存在する特定の単語やフレーズに過度に依存するのを防ぐために適用されます。これにより、チャットボットやコンテンツ要約ツールのような実世界のシナリオにおいて、より効果的に人間の言葉を理解し、生成するモデルの能力が向上する。