アンダーフィット

アンダーフィッティングは、機械学習モデルが単純すぎてデータの根本的な構造を捉えられない場合に発生する。これは通常、学習しようとしているデータの複雑さに対して、モデルのパラメータや特徴が少なすぎる場合に起こる。その結果、モデルは学習データから適切に学習することができず、学習セットだけでなく、検証 セットやテストセットなどの未知のデータでもパフォーマンスが低下する。

アンダーフィットの主な特徴

アンダーフィットモデルは、しばしば高いバイアスと低い分散を特徴とする。バイアスとは、複雑な現実の問題を単純化したモデルで近似することによって生じる誤差のことである。アンダーフィットモデルは、データについて過度に単純化された仮定を行うため、系統的な誤差が生じます。一方、分散とは、学習データの変動に対するモデルの感度を指します。アンダーフィットモデルが分散を低く示すのは、単純すぎて学習データの変化にあまり影響されないからです。しかし、この単純さは、データの重要なパターンやニュアンスを捉えることができないことを意味します。

アンダーフィットの原因

アンダーフィッティングにはいくつかの要因が考えられる：

• モデルの複雑さ：データの複雑さに対して単純すぎるモデルを使用すること。例えば、非線形性の強い関係にあるデータに線形モデルを当てはめようとすること。
• 不十分なトレーニング：モデルを十分なエポック数訓練しないか、高すぎる学習率を使用することで、基礎となるパターンを学習する前にモデルが早期に収束してしまうこと。
• 不十分なフィーチャー・エンジニアリング：関連する特徴を含めなかったり、データの基本構造を適切に表現していない特徴を使用したりすること。効果的な特徴エンジニアリングは、うまく汎化できるモデルを構築するために極めて重要である。
• 過剰な正則化： 正則化が多すぎると、モデルの複雑さが損なわれ、モデルが重要なパターンを学習できなくなる。

アンダーフィットの検出

アンダーフィッティングを識別することは、モデルのパフォーマンスを向上させるために不可欠である。アンダーフィッティングの兆候には以下のようなものがある：

• トレーニングエラーが高い：モデルの学習データに対するパフォーマンスが低く、基礎となるパターンを学習していないことを示す。
• 高い検証/テストエラー：トレーニングエラーと同様に、検証セットまたはテストセットでのパフォーマンスが低い場合、モデルが単純すぎることを示唆する。
• 学習曲線：トレーニングセットと検証セットにおけるモデルのパフォーマンスを経時的にプロットすると、アンダーフィッティングを明らかにすることができる。両方の曲線が高いエラー率でプラトーになる場合、モデルはアンダーフィッティングである可能性が高い。

アンダーフィットへの対応

アンダーフィッティングに対抗するには、以下の戦略を検討する：

• モデルの複雑さを増す：より多くのパラメータやレイヤーを持つ、より複雑なモデルを使用する。例えば、線形モデルから多項式モデルへ、浅いニューラルネットワークから深いニューラルネットワークへ変更する。
• Train Longer：学習エポック数を増やすか、学習レートを調整して、モデルがデータから学習する時間を増やす。
• フィーチャーエンジニアリングの改善：より適切なフィーチャーを追加するか、既存のフィーチャーを変換して、データの構造をよりよく表現する。相互作用項や多項式フィーチャーの作成などのテクニックが役立ちます。
• 正則化を減らす：モデルに適用される正則化の量を減らし、より訓練データにフィットするようにする。

アンダーフィットとオーバーフィットの比較

アンダーフィッティングとオーバーフィッティングを区別することは重要である。アンダーフィッティングはモデルが単純すぎる場合に起こるが、オーバーフィッティングはモデルが複雑すぎて、ノイズや外れ値を含む訓練データを記憶し始める場合に起こる。オーバーフィッティング・モデルは、トレーニング・データ上では非常に優れた性能を発揮するが、未経験のデータ上では劣る。アンダーフィットとオーバーフィットの両方を避けるには、モデルの複雑さとトレーニングのバランスをとることが重要です。

実例

例1：住宅価格の予測

家の大きさに基づいて住宅価格を予測するモデルを構築しているとしよう。単純な線形回帰モデルを使い、住宅価格は大きさに応じて直線的に上昇すると仮定した場合、データにフィットしない可能性があります。現実には、家の大きさと価格の関係はもっと複雑で、大きければ大きいほどリターンが減少するとか、特定の大きさの範囲では割高になるといった要素が絡んでいる可能性が高い。線形モデルではこのようなニュアンスを捉えることができず、結果として訓練データと新しいデータの両方で予測性能が低くなってしまいます。

例2：画像の分類

動物の画像を異なるカテゴリーに分類しようとする画像分類タスクを考えてみよう。ロジスティック回帰のような非常に単純なモデルを使うと、データに適合しないかもしれません。画像分類は、しばしば画像中の複雑なパターンや特徴をとらえる必要がありますが、単純なモデルではそれができません。その結果、トレーニング・セットと新しい未見の画像の両方で、モデルのパフォーマンスが低下します。畳み込みニューラルネットワーク（CNN）のような、より複雑なモデルを使用することで、パフォーマンスを大幅に向上させることができます。

アンダーフィッティングの原因と兆候を理解することで、実務者はモデルを強化するための適切な手段を講じることができます。Ultralytics YOLOv8 のようなツールは、複雑なモデルの構築とチューニングのための高度な機能を提供し、アンダーフィッティングを回避し、様々なコンピュータビジョンタスクのパフォーマンスを向上させるのに役立ちます。モデルのトレーニングと最適化に関するより詳しい洞察については、Ultralytics ブログをご覧ください。