オーバーフィット

オーバーフィッティングを理解する

オーバーフィッティングは、MLモデルが訓練データの誤差を最小化することを目的としているために発生する。もしモデルが過剰な複雑さ（例えば、多すぎるパラメータやレイヤー）を持っていれば、訓練セットに存在するランダムなノイズでさえも適合させることができる。このノイズは真の基本パターンを表しておらず、新しいデータセットに存在する可能性は低い。ある特定の日に、その人の正確なサイズに合わせてスーツを完璧に仕立てることを想像してみてほしい。MLでは、訓練データでのこの「完璧なフィット」は、柔軟性に欠け、実世界のデータでのパフォーマンスが悪くなる。

逆の問題はアンダーフィットで、モデルが単純すぎてデータの根本的な構造を捉えることができない。アンダーフィットのモデルは、学習が十分でないため、トレーニングデータでも新しいデータでもパフォーマンスが低下する。目標は最適なバランスを見つけることであり、しばしばバイアスと分散のトレードオフの文脈で議論される。

オーバーフィットの実例

• 医療画像解析：疾患検出のための医用画像解析において、オーバーフィットモデルは、おそらくそのデータセット（例えば、特定のスキャナーのもの）にのみ存在するユニークなアーチファクトやノイズを学習することで、学習させた特定の画像セットにおける疾患の識別が非常に得意になる可能性がある。異なる装置、患者集団、画像条件から得られた新しい医用画像を提示された場合、モデルは一般化に失敗する可能性があり、臨床現場において不正確な診断につながる可能性がある。例えば、A病院のMRIスキャンを使用して腫瘍を検出するように訓練されたモデルは、その病院の特定のMRIスキャナーの特性に過剰に適合し、たとえ根本的な病理が同一であったとしても、B病院のスキャンではパフォーマンスが低下する可能性がある。
• 自律走行：昼間の晴天時のデータで過度に訓練された自律走行車の 物体検出モデルは、このような状況に過剰に適合してしまう可能性がある。明るい太陽光の下では歩行者や他の車両をうまく認識できるが、夜間、雨、霧、雪の中ではかなり苦戦し、このような様々な視覚入力に対する汎化ができないために物体を確実に検出できず、重大な安全リスクをもたらすかもしれない。

オーバーフィッティングの防止

いくつかのテクニックは、オーバーフィッティングを緩和し、モデルの汎化を改善するのに役立つ：

• モデルを単純化する：より複雑でないモデル・アーキテクチャ（より少ないレイヤーまたはパラメータ）を使用することで、モデルがノイズに適合するのを防ぐことができる。モデルの刈り込みのようなテクニックも複雑さを軽減することができます。
• データの増強：トレーニングデータセットのサイズと多様性を人為的に増やすことで、モデルがよりロバストな特徴を学習できるようになります。Ultralytics YOLO データ増強技術には、回転、平行移動、スケーリング、カラーシフトなどがあります。
• 正則化：モデルのパラメータに基づいて損失関数にペナルティを加えることで、過度に複雑なモデルを抑制する。一般的な方法にはL1正則化とL2正則化がある。
• 早期停止：トレーニング中に別の検証用データセットでモデルのパフォーマンスを監視し、トレーニングのパフォーマンスがまだ向上していても、検証のパフォーマンスが低下し始めたらプロセスを停止する。これにより、モデルがトレーニングデータを学習するエポックが増えすぎるのを防ぐことができる。
• クロスバリデーション：K-Foldクロスバリデーションのようなテクニックは、未知のデータに対するモデルのパフォーマンスをよりロバストに推定し、より良く汎化するモデルを選択するのに役立ちます。
• ドロップアウト：学習中にニューロンの活性の一部をランダムにゼロに設定することで、ネットワークはより冗長な表現を学習し、特定のニューロンへの依存を減らす。ドロップアウトの概念の説明を参照。

オーバーフィッティングを理解し対処することで、開発者はより信頼性が高く効果的なAIモデルを構築することができます。Ultralytics HUBのようなツールは、実験追跡とモデル評価を支援し、モデル開発のライフサイクルにおけるオーバーフィッティングの検出と緩和を支援します。