用語集

ハイパーパラメーターのチューニング

Ultralytics YOLO のような ML モデルを最適化するためのハイパーパラメータチューニングをマスターします。エキスパートのテクニックで精度、スピード、パフォーマンスを向上させます。

ハイパーパラメータ最適化としても知られるハイパーパラメータチューニングは、機械学習（ML）における基本的なプロセスであり、モデルの性能を最大化するためのハイパーパラメータの最適な組み合わせを見つけることを目的としている。ハイパーパラメータは、学習中に学習されるモデルパラメータ（ニューラルネットワークのweights and biases ）とは異なり、学習プロセスを開始する前に設定される構成設定である。これらの外部設定を調整することは、学習プロセスそのものを制御し、モデルがデータからいかに効果的に学習し、新しい未知の例に対していかに汎化するかに影響するため、非常に重要である。

ハイパーパラメータを理解する

ハイパーパラメータは、モデルの複雑さや学習速度など、より高いレベルの特性を定義する。一般的な例としては、最適化アルゴリズムで使用される学習率、モデルパラメータを更新する前に処理されるサンプル数を決定するバッチサイズ、ニューラルネットワークの層数、正則化テクニックの強さなどがあります。ハイパーパラメータの選択はモデルの結果に大きく影響する。不適切な選択は、モデルが単純すぎてデータパターンを捉えられないアンダーフィッティングや、モデルがノイズを含めて訓練データを学習しすぎて汎化できないオーバーフィッティングを引き起こす可能性がある。

ハイパーパラメータのチューニングが重要な理由

効果的なハイパーパラメータのチューニングは、高性能なMLモデルを構築するために不可欠である。うまくチューニングされたモデルは、精度が向上し、学習中の収束が速くなり、テストデータでの汎化が改善されます。物体検出のような複雑なタスクでは、次のようなモデルを使用します。 Ultralytics YOLOのようなモデルを用いた物体検出のような複雑なタスクでは、最適なハイパーパラメータを見つけることで、平均平均精度（mAP）や推論速度のような性能指標を劇的に改善することができます。目標は、与えられた問題とデータセットに対してスイートスポットを見つけるために、バイアスと分散のトレードオフのようなトレードオフをナビゲートすることです。

ハイパーパラメータ調整のテクニック

最適なハイパーパラメータ値を探索するために、いくつかの戦略が存在する：

グリッド・サーチ：指定されたハイパーパラメータ値のすべての可能な組み合わせを網羅的に試行する。徹底的ではありますが、特にハイパーパラメータが多い場合は計算コストが高くなります。グリッド・サーチの詳細
ランダム探索：指定された分布からハイパーパラメータの組み合わせをランダムにサンプリングする。一様なグリッド上に良いパラメータが見つかるとは限らないため、グリッドサーチよりも効率的な場合が多い。ランダムサーチの詳細を見る
ベイズ最適化：確率モデルを使用して、どのハイパーパラメータがより良い結果をもたらすかを予測し、有望な領域に探索を集中させる。これは一般に、ランダム探索やグリッド探索よりも効率的である。Optunaのようなフレームワークが実装を提供している。
進化的アルゴリズム：ハイパーパラメータを繰り返し改良するために、突然変異や淘汰のような生物学的進化に着想を得た概念を使用します。Ultralytics YOLOv5 、ハイパーパラメーターの進化に関するガイドが含まれています。

Weights & Biases Sweepsや KerasTunerのようなツールは、これらのチューニングプロセスの自動化と管理に役立ちます。