ラベルのスムージング

ラベルの平滑化は、機械学習モデルの学習、特に分類タスクでよく使われる正則化のテクニックである。これは、真実のラベルをより確信度が低くなるように修正し、ラベルのワンホットエンコーディングを平滑化バージョンに置き換えることを含む。この調整は、モデルの予測における過信を減らし、汎化を改善し、オーバーフィッティングを緩和する。

レーベル・スムージングの仕組み

典型的な分類問題では、ワンホット・エンコーディングは正しいクラスに1の確率を割り当て、それ以外のクラスには0を割り当てる。ラベル・スムージングは、正しいクラスからすべてのクラスに信頼度のごく一部を再配分することによって、これらの確率を調整する。例えば、ラベルを [1, 0, 0]ラベルの平滑化は次のように表すことができる。 [0.9, 0.05, 0.05] 平滑化係数0.1の場合。

グランド・トゥルースを柔らかくすることで、モデルは予測に過度な自信を持つことを避けることができる。これにより、特にデータにノイズが含まれていたり、分類が困難であったりするシナリオにおいて、モデルがよりロバストになる。

レーベル・スムージングの利点

1. 汎化の改善：予測の過信を減らすことで、ラベルスムージングはモデルが未知のデータに対してより良く汎化するのを助ける。
2. オーバーフィッティングの軽減：正則化の役割を果たし、モデルを学習ラベルのノイズの影響を受けにくくする。
3. キャリブレーションの強化：ラベルスムージングで訓練されたモデルは、実際の正しさに近い、より良い較正確率を生成することが多い。

ラベル・スムージングの応用

画像分類

ラベルスムージングは、モデルのキャリブレーションと性能を向上させるために、画像分類タスクで広く使用されている。例えば、画像分類のためのImageNetデータセットで学習されたようなモデルは、より良い汎化を達成し、オーバーフィッティングを減らすために、しばしばラベルスムージングを採用している。

自然言語処理（NLP）

自然言語処理では、ラベルの平滑化は機械翻訳のようなシーケンス間のタスクで使用される。BERT (Bidirectional Encoder Representations from Transformers)やTransformerベースのモデルのような大規模な言語モデルは、安定した学習を保証し、予測値の過信を避けるために、学習中のラベルスムージングが有効である。

実例

1. 自動運転車：自律走行車システムでは、画像分類や物体検出タスクのために学習されたモデルにラベルスムージングが適用される。例えば、高度な物体検出のためのCOCOのようなデータセットは、自動運転システムの物体検出で広く使用されているUltralytics YOLO 、モデルの頑健性を向上させるために、この技法の恩恵を受けている。

2. ヘルスケア診断：脳腫瘍検出データセットを用いた腫瘍検出のような医療画像アプリケーションでは、ラベルスムージングが予測の信頼性を高める。モデルが誤った分類を過信するリスクを低減し、これはヘルスケアのような重要度の高い領域では非常に重要です。

レーベルスムージング対レーベルスムージング関連コンセプト

• オーバーフィッティング：ラベルスムージングは、モデルが学習データを過信しないようにすることで、オーバーフィッティングに直接対処します。モデルのオーバーフィッティングを検出・防止する方法については、オーバーフィッティングの用語解説ページをご覧ください。
• 正則化：ラベルスムージングは正則化の一形態であるが、L2正則化やドロップアウトのような手法とは異なる。これらの手法は、重みにペナルティを与えたり、特定のニューロンへの依存を減らすことに重点を置いているのに対し、ラベル・スムージングはターゲット・ラベルそのものを修正する。正則化の詳細については、正則化用語集のページをご覧ください。
• クロスエントロピー損失：ラベルスムージングは、損失関数の計算にスムージング係数を導入することで、従来のクロスエントロピー損失を修正する。損失関数についてさらに詳しく知りたい方は、損失関数の用語集のページをご覧ください。

Ultralytics HUBによるラベル・スムージングの実装

Ultralytics HUBは、ラベルスムージングを用いた分類モデルのトレーニングのためのシームレスな統合を提供します。画像分類のためのCIFAR-10のようなデータセットを使用している場合でも、カスタムデータセットを使用している場合でも、Ultralytics HUBは、ラベルスムージング係数を含むハイパーパラメータの設定プロセスを簡素化し、モデルのパフォーマンスを最適化します。

結論

ラベルスムージングは、機械学習モデルのロバスト性と信頼性を高める、シンプルかつ強力な手法である。対象のラベルを柔らかくすることで、モデルの汎化を助け、オーバーフィッティングを回避し、よく較正された予測を生成します。画像分類、NLP、物体検出のいずれに取り組んでいる場合でも、ラベル・スムージングは機械学習ツールキットの貴重なツールです。関連するテクニックやアプリケーションの詳細については、AI & computer vision glossary byUltralytics をご覧ください。