用語集

財団モデル

スケーラブルなアーキテクチャ、幅広い事前トレーニング、多様なアプリケーションへの適応性など、AIに革命をもたらす基盤モデルの仕組みをご覧ください。

ファウンデーションモデルとは、ラベル付けされていない膨大な量の幅広いデータに対して事前にトレーニングされた大規模な人工知能(AI)モデルであり、下流の幅広いタスクに適応させたり微調整したりできるように設計されている。これらのモデルは、多くの場合Transformerのようなアーキテクチャをベースとしており、データから一般的なパターン、構造、表現を学習し、タスク固有のトレーニングを一から行うことなく、様々な専門的アプリケーションのための汎用的な基盤を形成する。基礎モデルの開発は、機械学習(ML)における重要なパラダイムシフトを意味し、効率的に特化できる汎用モデルの構築へと移行している。

主な特徴

ファウンデーション・モデルは、いくつかのコア属性によって定義される:

  • 規模:通常、数十億から数兆ものパラメータを含む非常に大規模なもので、インターネットやその他の広範な情報源(ビッグデータ)から収集した膨大なデータセットを用いて学習する。
  • 事前学習:通常、自己教師あり学習または教師なし学習法を使用し、モデルは明示的なラベルを使用せずにデータ自体の固有の構造から学習する。
  • 適応性:主な利点は適応性である。一度事前学習すれば、センチメント分析画像認識物体検出などの特定のタスクに対して、事前学習で得た一般的な知識を活用しながら、比較的少量のラベル付きデータで微調整することができる。このプロセスは転移学習の一種である。
  • 均質化:これまで複数の専門的なモデルを必要としていた機能を、単一の適応可能なフレームワークに統合する傾向があり、MLOを単純化する可能性がある。

財団モデルの仕組み

基礎モデルの作成と使用には、通常2つの段階がある:

  1. 事前トレーニング:モデルは膨大で多様なデータセットで訓練される。GPT-3のような言語モデルでは、文中の次の単語を予測する。視覚モデルの場合、マスクされた画像パッチの再構成や、画像とテキスト(CLIP)の関連付けの学習が含まれる。この段階では、かなりの計算リソース(GPUTPU)が必要になる。
  2. 微調整/適応:事前に訓練されたモデルは、より小さなタスク固有のラベル付きデータセットを使用して、特定の下流タスクに適応される。ファインチューニングのような手法はモデルの重みを調整し、プロンプトエンジニアリングのような手法は重みを変えずにモデルの出力を導く。

事例と応用

ファウンデーション・モデルは様々な領域にまたがる:

ファンデーション・モデルとその他のモデルの比較

  • タスクに特化したモデル:基礎モデルとは異なり、従来のMLでは、単一のタスクのために特定のデータセットでゼロからモデルをトレーニングすることが多い(例えば、空撮画像内の物体を検出するためだけにUltralyticsのYOLOモデルをトレーニングする)。効果的ではあるが、これには新しいタスクごとにかなりのラベル付きデータと労力が必要となる。Foundationモデルは、転移学習によってこのような問題を軽減することを目的としています。
  • 大規模言語モデル(LLM):LLMは、言語タスクのために特別に設計された、著名な基礎モデルの一種である。LLMは、言語タスクのために特別に設計された著名な基礎モデルの一種である。「基礎モデル」という用語はより広義であり、視覚、音声、その他のモダリティのモデルも含まれる。
  • CVモデル:ViTやSAMのような大規模なビジョンモデルは基盤モデルと考えられているが、特定のアプリケーション(農業AI自動車AI)のために訓練されたYOLOv8や YOLO11の特定のバージョンを含む多くのCVモデルは、通常、汎用的な基盤モデルそのものというよりも、それらのビジョンタスクのために特別に微調整または訓練されている。しかし、事前に訓練されたバックボーンを使用する傾向は、一般的な特徴を活用するという中核的なアイデアを共有しています。

トレーニングとリソース

基礎モデルの事前学習は計算コストが高く、GPUやTPUの大規模なクラスタと多大なエンジニアリングの労力を必要とすることが多く、通常はGoogleMeta AIOpenAIのような大規模な研究所や企業によって実施されている。しかし、一度事前訓練されたモデルは、より効率的に適応させることができる。Ultralytics HUBのようなプラットフォームは、カスタムモデルのトレーニング、データセットの管理(Ultralytics Datasets)、ソリューションのデプロイ(Model Deployment Options)のためのツールを提供し、多くの場合、基礎知識を具現化した事前トレーニング済みの重みを活用する。効果的な適応には、注意深いハイパーパラメータのチューニングと、場合によってはデータの増強が必要です。

重要性と将来性

ファウンデーションモデルはAIの展望を変えつつある(Roboflow on Foundation Models)。それらは開発を加速させ、新しいアプリケーションを可能にし、AIの倫理バイアス、計算機へのアクセスに関する重要な考察を提起している。スタンフォードのファウンデーションモデル研究センター(CRFM)のような研究機関は、その能力と社会的影響の研究に専念している。将来的には、より強力で効率的、そして潜在的にマルチモーダルな基盤モデルが、科学、産業、そして日常生活全体のイノベーションを牽引することになるだろう(AIユースケース)。

Ultralyticsコミュニティに参加する

AIの未来に参加しませんか。世界のイノベーターとつながり、協力し、成長する

今すぐ参加する
クリップボードにコピーされたリンク