パラメータ効率微調整（PEFT）

PEFT（Parameter-Efficient Fine-Tuning）とは、機械学習における一連のテクニックであり、少数のモデルパラメータを微調整するだけで、事前に訓練されたモデルを特定の下流タスクに効率的に適応させるように設計されている。このアプローチは、大規模言語モデル（LLM）やその他の大規模AIモデルの時代において特に重要である。PEFT法は、計算コストとストレージコストを大幅に削減し、より広範なアプリケーション向けにこれらの大規模モデルをカスタマイズし、リソースに制約のある環境に展開することを可能にする。

関連性と応用

Parameter-Efficient Fine-Tuningの意義は、強力な事前学習済みモデルへのアクセスを民主化する能力にある。大規模なモデルをゼロからトレーニングしたり、新しいタスクごとにすべてのパラメータを微調整したりする代わりに、PEFTを使用すると、開発者や研究者は元のパラメータのほんの一部を調整するだけで、同等の性能を達成することができます。この効率性には、いくつかの重要な利点と応用例があります：

• 計算コストの削減：従来の大規模モデルの微調整には、膨大な計算リソースと時間が必要でした。PEFT技術は、これらの要件を大幅に削減し、より迅速な実験と展開を可能にし、リソースの限られた個人や組織にとってAIをより身近なものにします。これは、Ultralytics HUBCloud Trainingのようなプラットフォームを使用する場合に特に有益です。効率的なトレーニングは、コスト削減と反復サイクルの高速化に直結します。
• ストレージ要件の低減：大規模なモデルの全パラメータを微調整すると、タスクごとに複数のフルサイズのコピーが必要になります。PEFT法では、パラメータの小さなサブセットを修正するだけで、ファインチューニングされたモデルは大幅に小さくなります。これは、エッジデバイスやストレージが限られているシナリオでのモデル展開に不可欠です。
• オーバーフィッティングの防止：小規模なデータセットで大規模なモデルを微調整する場合、オーバーフィッティングのリスクがあります。オーバーフィッティングとは、モデルは学習データでは良い結果を出すように学習しますが、新しい未知のデータに対しては汎化が悪くなることです。PEFT手法は正則化の一形態として機能し、モデルの適応を制約するため、より良い汎化につながる可能性があります。

PEFTの実世界での応用は多様であり、急速に拡大している。例えば、自然言語処理（NLP）では、GPT-3や GPT-4のような基礎モデルを、感情分析、テキスト要約、質問応答などの特定のタスクに適応させるためにPEFTが使われる。コンピュータビジョンでは、PEFTは、医療画像解析や、製造業における欠陥の検出や野生生物保護における異なる種の識別のような特定のドメインにおけるオブジェクト検出のようなタスクのためにそれらを特殊化するために、事前に訓練された画像モデルに適用することができる。

キーコンセプト

PEFTは、転移学習と 微調整の原則に基づいている。転移学習とは、ある問題を解決して得た知識を、異なるが関連する問題に適用するために活用することである。微調整とは、この文脈では、事前に訓練されたモデルを、新しいタスク固有のデータセットでさらに訓練することである。

しかし、従来のファインチューニングは、多くの場合、事前に訓練されたモデルのパラメータのすべて、あるいはかなりの部分を更新することになる。PEFTは、これらのパラメータのごく一部のみを変更する技術を導入することで差別化を図っている。一般的なPEFTの手法には以下のようなものがある：

• アダプター・モジュール：事前学習済みモデルに小さな新しい層（アダプター）を追加し、元のモデルの重みを固定したまま、これらのアダプター層のみを学習させる。
• 接頭辞のチューニング：モデルの入力に学習可能な接頭辞を追加し、新しいタスクに対するモデルの動作を導く。
• 低ランク適応（LoRA）：重み行列を低ランク行列に分解し、これらの小さな低ランク行列のみを学習する。

これらの方法は、すべてのモデルパラメータを更新する完全なファインチューニングや、重要度の低い接続を削除することでモデルサイズを縮小するモデル刈り込みとは対照的である。PEFTは、サイズの縮小や完全な再トレーニングよりも、効率的な適応に重点を置く。

要約すると、PEFTは大規模なAIモデルをより実用的で利用しやすいものにするための重要な進歩である。PEFTは、高い性能を維持しながら計算とストレージのオーバーヘッドを大幅に削減することで、以下のようなモデルで実現可能なアプリケーションを含む、多様で特殊なアプリケーションのために最先端のAIの力を活用する、より広範なコミュニティを支援します。 Ultralytics YOLO11.