ハイパーパラメーターのチューニング

ハイパーパラメーターのチューニングと関連概念

ハイパーパラメータのチューニングを、MLにおける他の重要な概念と区別することは重要だ：

• 最適化アルゴリズム： Adamや SGD（Stochastic Gradient Descent）のような最適化アルゴリズムは、学習中にモデルの内部パラメータ（重みとバイアス）を調整し、損失関数を最小化するエンジンです。ハイパーパラメータのチューニングは、これとは対照的に、最適な外部設定を選択することであり、最適化アルゴリズム自体の選択も含まれます。
• ニューラル・アーキテクチャ・サーチ（NAS）：ハイパーパラメータ・チューニングが与えられたモデル構造の設定を最適化するのに対し、NASはレイヤーの数やタイプの決定など、モデル・アーキテクチャ自体の設計を自動化する。どちらも自動機械学習（AutoML）の一形態であり、最良のモデルを構築するために併用されることが多い。
• モデルパラメータ： ニューラルネットワークのウェイトやバイアスなど、モデルの内部変数で、バックプロパゲーションを通じて 学習データから学習される。ハイパーパラメータは、これらのパラメータがどのように学習されるかを支配する上位レベルの設定です。

一般的なチューニング法とハイパーパラメータ

実務家は、最適なハイパーパラメータ値を見つけるためにいくつかの戦略を用いる。一般的な方法には、指定された値のすべての組み合わせを網羅的に試すグリッド・サーチ、ランダムに組み合わせをサンプリングするランダム・サーチ、そしてベイズ最適化や進化的アルゴリズムのようなより高度な方法がある。

最も頻繁に調整されるハイパーパラメータには次のようなものがある：

• 学習率:損失勾配に対してモデルの重みを調整する量を制御する。
• バッチサイズ:1回の反復で使用する訓練例の数。
• エポック数（Number ofEpochs）:トレーニングデータセット全体をモデルに通す回数。
• データ拡張の強度：回転、スケーリング、カラーシフトなど、学習データに適用される変換の度合い。Albumentationsライブラリはこのための一般的なツールである。

実世界での応用

ハイパーパラメータのチューニングは、最高のパフォーマンスを達成するために、さまざまな領域にわたって適用される：

• 医療画像解析： 腫瘍検出のためのモデルをトレーニングする際、学習率スケジュール、データ増強設定、損失関数の重みなどのハイパーパラメータを調整することは、特定の医療データセットで高い検出精度を達成するために極めて重要である。これは、ヘルスケアにおける信頼性の高いAIソリューションに不可欠であり、現在進行中の研究課題である。
• 自律走行車：自動運転車の物体検出モデルは、慎重なチューニングが必要です。入力画像の解像度、非最大抑制（NMS）のしきい値、アンカーボックスの構成などのハイパーパラメータを最適化することで、システムが安全なナビゲーションのために低遅延で歩行者や障害物を確実に検出できるようになります。このチューニングは、Waymoのような企業にとって非常に重要であり、車載ソリューションにおける堅牢なAIに貢献します。

ウルトラリティクスによるハイパーパラメータのチューニング

Ultralyticsは、以下のハイパーパラメータのチューニングを簡素化するツールを提供する。 ウルトラリティクス YOLO のモデルである。その ウルトラリティクス Tuner クラスに記録されている。 ハイパーパラメータ調整ガイド進化的アルゴリズムを用いてプロセスを自動化。以下のようなプラットフォームとの統合 レイ・チューン のような）特定のデータセットに対して効率的にモデルを最適化することができます。 COCOのようなプラットフォームとタスクを活用することができます。ユーザーは以下のようなプラットフォームを活用できる。 ウルトラリティクス・ハブ のベストプラクティスに従う上で重要な役割を果たすことが多い。 モデルトレーニング.のような人気のあるオープンソースライブラリです。 オプテューナ そして ハイパーオプト もこの目的のためにMLコミュニティで広く使われている。