ミックスド・プレシジョン

ミックスド・プレシジョンの仕組み

混合精度の背後にある核となる考え方は、潜在的な数値安定性の問題を軽減しながら、低精度フォーマットのスピードとメモリの利点を活用することである。一般的なアプローチには以下のステップがある：

1. マスターウエイトをFP32で保持：モデルのウエイトのプライマリーコピーを標準のFP32フォーマットで保持し、ウエイト更新の高精度を確保する。
2. 計算にFP16/BF16を使用：トレーニングループでは、FP32の重みはフォワードパスとバックワードパスのためにFP16またはBF16にキャストされます。これらの低精度フォーマットを使用した計算は、低精度での行列乗算を高速化するために特別に設計されたTensor Coreを搭載したNVIDIA GPUのような最新のハードウェア上で大幅に高速化されます。
3. 損失スケーリング：FP16を使用する場合、表現可能な数値の範囲はFP32よりもはるかに小さい。このため、バックプロパゲーション中に計算された小さな勾配値がゼロになり（アンダーフロー）、学習の妨げになることがある。これを防ぐため、バックプロパゲーションの前に損失値をスケールアップし、勾配をFP16で表現可能な範囲に効果的にスケールアップする。重み更新の前に、これらの勾配はスケールダウンされる。BF16はFP32に似た広いダイナミックレンジを持つが精度が低いため、多くの場合、ロスのスケーリングが不要になる。
4. マスター重みの更新：計算された勾配（ロス・スケーリングが使用された場合は縮小される）は、FP32に残る重みのマスターコピーの更新に使用される。

このように慎重にバランスをとることで、モデルはより速くトレーニングでき、GPUの使用量も少なくてすむ。 GPUメモリをより少なくすることができます。

ミックスド・プレシジョンの利点

• トレーニングの高速化：低精度計算（FP16/BF16）は互換性のあるハードウェア上で非常に高速に実行されるため、各トレーニング・エポックに必要な時間が大幅に短縮されます。これにより、より迅速な反復と実験が可能になります。
• メモリ消費量の削減：FP16/BF16値はFP32値の半分のメモリで済みます。この削減は、フォワードパスで保存されるアクティブ値と、バックワードパスで計算される勾配に適用されます。メモリ使用量の削減により、より大きなモデルのトレーニングや、より大きなバッチサイズの使用が可能になり、モデルのパフォーマンスとトレーニングの安定性が向上します。
• 効率性の向上：より高速な計算と必要なメモリ帯域幅の低減の組み合わせは、ハードウェアリソースの効率的な利用につながり、クラウドコンピューティングやオンプレミスクラスターのトレーニングコストを削減できる可能性があります。

混合精度 vs 関連概念

• フル・プレシジョン（FP32）：伝統的なトレーニングでは、すべてのストレージと計算にFP32を使用する。一般的に数値的には安定しているが、混合精度よりも遅く、メモリを多く消費する。
• 半精度（FP16/BF16）：トレーニングを通してFP16またはBF16のみを使用すると、数値が著しく不安定になり（特にロス・スケーリングのようなテクニックを使用しないFP16）、精度が低下する可能性があります。混合精度は、FP32とFP16/BF16を組み合わせた、よりロバストなアプローチです。
• モデルの量子化：これは通常、モデルのウェイトやアクティベーションを8ビット整数（INT8）などの低精度フォーマットに変換することを指し、特にエッジデバイスでの 推論スピードと効率を最適化することが主な目的である。トレーニング中に使用されることもあるが（量子化対応トレーニング）、標準的なトレーニング段階で使用される一般的なFP32/FP16の混合精度とは異なる。

応用と実例

混合精度は、大規模な機械学習（ML）モデルの学習に広く採用されている。

1. 大規模言語モデル（LLM）のトレーニング： GPT-3、BERT、T5のようなモデルには数十億のパラメータがあります。FP32のみを使用してこれらをトレーニングするには、法外な量のGPU メモリと時間が必要です。混合精度は、必要なメモリを大幅に削減し、計算を高速化することで、このような基礎モデルのトレーニングを実現可能にします。 PyTorchTensorFlowのようなフレームワークは、混合精度学習をビルトインでサポートしています。
2. コンピュータビジョンモデルの高速化 コンピュータビジョン(CV)では、混合精度は、物体検出、画像セグメンテーション、画像分類などのタスクに使用される畳み込みニューラルネットワーク(CNN)やビジョン変換器(ViT)のような複雑なモデルのトレーニングを高速化します。例えば、Ultralytics YOLO モデルは、最新の Ultralytics YOLO11を含むUltralytics YOLOモデルは、モデルトレーニングのヒントとモデルの比較で述べたように、トレーニング中に混合精度を活用して、収束を高速化し、リソースを効率的に利用することができます。これにより、ユーザーはCOCOのようなデータセットで高性能モデルをより迅速にトレーニングすることができます。トレーニングサイクルが速くなることで、Ultralytics HUBのようなプラットフォームにおいて、ハイパーパラメータのチューニングやモデル開発がより迅速に行えるようになります。混合精度は推論中にも使用でき、デプロイを高速化します。 TensorRTなどにエクスポートする場合は特にそうです。