モデルの精度を高め、オーバーフィッティングを防ぎ、ロバストなパフォーマンスを保証する、機械学習における交差検証の威力をご覧ください。
クロスバリデーションは、機械学習(ML)において、モデルが独立したデータセットに対してどの程度汎化するかを評価するために使用される重要な統計的手法である。クロスバリデーションでは、データをトレーニングセットとテストセットに分割するのではなく、データを複数のサブセット、つまり「フォールド」に分割する。モデルはいくつかのフォールドで繰り返し学習され、残りのフォールドで評価される。このプロセスは、単純な訓練とテストの分割と比較して、未知のデータに対するモデルのパフォーマンスのより信頼性の高い推定を提供し、モデルがノイズを含めて訓練データを学習しすぎるオーバーフィッティングのリスクを大幅に低減します。
最も広く使われている方法は、K-Foldクロスバリデーションである。このプロセスには以下のステップが含まれる:
Scikit-learnのような多くの一般的なMLライブラリは、Stratified K-Fold(不均衡なデータセットには不可欠)やLeave-One-Out CVを含む様々なクロスバリデーション戦略の効率的な実装を提供している。
クロスバリデーションは、いくつかの重要な理由から、信頼できるモデル評価の基礎となる:
単純な訓練と検証の分割は、データを一度分割し、一方を訓練用に、一方を検証用にする。実装は簡単だが、その主な欠点は、性能評価がどの特定のデータポイントがたまたま検証セットに入るかに大きく依存することである。特に「簡単」または「難しい」検証セットは、過度に楽観的または悲観的な性能推定につながる可能性がある。
クロスバリデーションは、検証のために異なるサブセットを系統的に使用し、すべてのデータポイントが一度だけ評価プロセスに貢献するようにすることで、これを克服する。これにより、モデルの頑健性について、より安定した信頼できる評価が得られる。最終的なテストデータセットは、トレーニングとCVベースのチューニングの両方で未確認であり、選択されたモデルの最終的な評価のために確保されるべきであることに注意することが重要です。Ultralytics 、 Ultralytics YOLOK-Fold Cross Validationを実装するための詳細なガイダンスを提供しています。
クロスバリデーションは、さまざまな領域にわたって信頼できるAIシステムを構築する上で不可欠である:
その他の用途としては、画像セグメンテーションのモデル評価、感情分析のような自然言語処理(NLP)タスク、金融モデリングにおけるリスク評価などがある。Ultralytics HUBのようなプラットフォームは、開発ライフサイクルを合理化するために、このような評価技術を統合または促進することがよくあります。