拡散モデル

拡散モデルの仕組み

拡散モデルの核となる考え方には、前進（拡散）プロセスと後退（ノイズ除去）プロセスの2つがある。

1. フォワードプロセス：この段階では、実際のデータ（学習データの画像のようなもの）を使用し、何段階にもわたって少量のランダムなノイズを徐々に加えます。最終的に、十分なステップの後、元の画像は純粋なノイズ（古いテレビ画面の静止画のようなもの）と区別がつかなくなる。このプロセスは固定されており、学習を伴わない。
2. 逆プロセス：ここで学習が行われる。モデル（典型的にはU-Netのようなニューラルネットワークアーキテクチャ）は、ノイズの追加を段階的に元に戻すように訓練される。ランダムなノイズから始まり、モデルは予測されたノイズを繰り返し除去し、元のトレーニング分布からのデータに類似するまでサンプルを徐々に改良していく。この学習されたノイズ除去プロセスにより、モデルは全く新しいデータを生成することができる。ノイズ除去拡散確率モデル（DDPM）のような重要な研究は、現代の実装のための基礎の多くを築いた。

トレーニングでは、前進プロセスの各ステップで追加されたノイズを正確に予測するようにモデルを学習させる。これを学習することで、モデルはデータの根本的な構造を暗黙のうちに学習する。

キーコンセプトとコンディショニング

拡散モデルの中心となる概念はいくつかある：

• タイムステップ：ノイズの漸進的な追加と除去は、一連の離散的なタイムステップにわたって行われる。モデルはしばしば、現在どのタイムステップを処理しているかを知る必要がある。
• ノイズスケジュール：フォワード・プロセスの各ステップにおいて、どの程度のノイズを加えるかを定義する。スケジュールが異なると、トレーニングや生成の品質に影響を与えます。
• コンディショニング：拡散モデルは、特定の出力を生成するように誘導することができる。例えば、テキストから画像への生成では、モデルはテキストの記述（プロンプト）を条件として、対応する画像を生成する。これには多くの場合、交差注意のようなメカニズムが関与する。

拡散モデルと他の生成モデルの比較

拡散モデルは、Generative Adversarial Networks（GAN）のような他の一般的な生成アプローチとは大きく異なる：

• トレーニングの安定性：一般に拡散モデルは、生成器と識別器の間の複雑な敵対的ゲームを含み、収束に失敗することもあるGANと比較して、より安定した学習を提供する。
• サンプルの質と多様性：拡散モデルは高忠実度かつ多様なサンプルを生成することに優れていることが多く、特定のベンチマークではGANを上回ることもあるが、推論の待ち時間が長くなることが多い。
• 推論速度：従来、拡散モデルを用いてサンプルを生成するには多くのノイズ除去ステップが必要であり、GANよりも推論速度が遅い。しかし、より高速なサンプリング技術の研究により、このギャップは急速に縮まりつつある。知識蒸留のような技術も研究されている。

実世界での応用

拡散モデルは様々な領域でイノベーションを推進している：

• 忠実度の高い画像生成： Stable Diffusion、Midjourney、Google Imagenなどのモデルは、テキストプロンプトから驚くほどリアルで芸術的な画像を作成するために拡散技術を使用しています。
• 画像編集とインペインティング：画像の欠落部分をインテリジェントに埋めたり（インペインティング）、指示に基づいて既存の画像を修正したり（スタイルの変更、オブジェクトの追加など）、Adobe Fireflyのような強力なクリエイティブツールを実現します。
• 音声合成：拡散モデルは、AudioLDMのようなプロジェクトに見られるように、リアルな音声、音楽、音響効果を生成するために使用されます。
• 科学的発見：新しい分子構造を生成する創薬や、複雑なシステムをシミュレートする物理学などの分野で応用が進んでいる。
• データの補強：拡散モデルを用いて合成データを生成することで、物体検出や 画像セグメンテーションのようなタスクで実際のトレーニングデータを補うことができ、以下のようなモデルのロバスト性を向上させる可能性があります。 Ultralytics YOLO.

ツールと開発

拡散モデルの開発と使用には、次のようなフレームワークがよく使われます。 PyTorchや TensorFlow.Hugging Face Diffusersライブラリのようなライブラリは、拡散モデルの作業を簡素化するために、事前に訓練されたモデルとツールを提供します。Ultralytics HUBのようなプラットフォームは、データセットの管理やモデルのデプロイなど、より広範なコンピュータビジョンのワークフローを合理化し、生成ワークフローを補完します。