バッチサイズ

バッチサイズの重要性

適切なバッチサイズを選択することは、モデルの学習ダイナミクス、リソースの使用率、および最終的な性能に大きく影響する重要なハイパーパラメータである。

• トレーニング速度：バッチサイズが大きいと、GPUのようなハードウェアに見られる並列処理能力をより有効に活用できるため、一般的にトレーニングエポックの高速化につながる。計算サイクルあたりにより多くのデータが処理される。
• メモリ使用量：バッチサイズが大きくなると、メモリ消費量が増加します。バッチサイズは利用可能なハードウェアメモリ（GPU VRAMなど）内に収まる必要があります。この制限を超えると、エラーが発生したり、トレーニングが極端に遅くなったりします。一部のプラットフォームでは、メモリ使用量の最適化に関するガイダンスを提供しています。
• モデルの性能と汎化：バッチサイズが小さいほど、確率的勾配降下法（SGD）のような手法により、トレーニング中の勾配推定に多くのノイズが導入される。このノイズは正則化の一種として機能し、モデルが損失ランドスケープにおける急激な極小値を回避し、未知のデータに対してより良く汎化し、オーバーフィッティングのリスクを低減するのに役立つ可能性がある。しかし、非常に小さなバッチは学習を不安定にする可能性がある。より大きなバッチは、より正確な勾配推定を提供するが、最適な極小値に収束しない可能性があり、安定性のために学習率のウォームアップのような技術を必要とする。

適切なバッチサイズの選択

最適なバッチサイズを選択するためには、計算効率、メモリ制約、モデルの汎化の間のトレードオフのバランスを取る必要がある。特定のデータセット、モデルのアーキテクチャ、利用可能なハードウェアに依存することが多い。

• 実験：多くの場合、経験的なテストが必要。ハードウェアのメモリ・アライメント最適化のため、2のべき乗（16、32、64、128など）が一般的。
• ハードウェアの限界：主な制約はGPU メモリであることが多い。混合精度トレーニングのようなツールやテクニックは、より大きな有効バッチサイズに適合させるのに役立ちます。
• データセットの特性：データセットのサイズと性質（例：COCO）は選択に影響する。
• 自動バッチサイズ： Ultralytics YOLOようなフレームワークの中には、ハードウェア・メモリに収まる可能な最大のバッチ・サイズを自動的に見つけるユーティリティを提供しているものがある。さらなるヒントは、機械学習のベストプラクティスとモデルトレーニングのヒントに関するガイドで調べることができる。この微調整は、より広範なハイパーパラメータ・チューニング・プロセスの一部です。

バッチサイズとその他の関連用語

バッチサイズを関連概念と区別することは重要だ：

• 反復：モデルの重みの1回の更新を表す。標準的なトレーニングループでは、1回の反復は1バッチのデータを処理し、バックプロパゲーションを実行することに相当する。
• エポック：学習データセット全体を1回完全に通過することを表す。データセットが1000サンプルでバッチサイズが100の場合、1エポックを完了するには10回の反復が必要です（1000 / 100 = 10）。

実世界での応用