トランスファー・ラーニング

トランスファー学習の仕組み

転移学習の核となる考え方は、画像分類のためのImageNetのような大規模で一般的なデータセットで訓練されたモデルは、エッジ、テクスチャ、形状のような普遍的な特徴を認識することをすでに学習しているということである。この基礎知識は、しばしばバックボーンと呼ばれるモデルの初期層に保存される。

このプロセスには通常2つの主要ステップがある：

1. 事前に訓練されたモデルから始める：大規模なベンチマークデータセットで事前にトレーニングされたモデルを選択する。例えば、ほとんどのUltralytics YOLOモデルには、COCOデータセットで事前にトレーニングされたウェイトが付属しています。これらのモデルは、すでに一般的なオブジェクトの特徴をしっかりと理解しています。
2. 微調整：事前に訓練されたモデルは、新しい特定のタスクに適応される。この適応はファインチューニングと呼ばれ、タスクに特化したより小さなデータセットでモデルをさらに学習させる。この段階では、事前に学習された貴重な特徴を失うことなくモデルの重みを微調整するため、学習率は通常低く保たれる。詳細なガイドについては、転移学習に関するPyTorchのチュートリアルを参照してください。

実世界での応用

トランスファー・ラーニングは単なる理論的な概念ではなく、多くの産業で実践的に応用されている。

• 医用画像解析:モデルを一般的なImageNetデータセットで事前に訓練し、MRIスキャンから脳腫瘍のような特定の異常を検出するように微調整することができる。ラベル付けされた医療データは不足しがちで、入手にはコストがかかるため、転移学習によって、何百万枚もの医療画像を必要とせずに、正確な診断ツールを作成することができる。これについての詳細は、AIが放射線医学に精度の新時代を創りつつあることをご覧ください。
• 自律走行車:物体検出モデルは、道路画像の膨大なデータセットで事前に訓練し、特定の自動車メーカーが独自の車種を認識したり、特定の気象条件で動作するように微調整することができる。これは、自動車、歩行者、標識に関する既存の知識を活用し、開発を加速させ、安全性を向上させる。

トランスファー・ラーニングと関連概念

転移学習を他のML技術と区別することは重要だ：

• 財団モデル:これらは、膨大な量のデータで事前に訓練された大規模なモデルであり、下流の様々なタスクに適応するように特別に設計されている。転移学習は、これらの基礎モデルを適応させるプロセスである。
• ゼロ・ショット・ラーニング:この手法により、モデルは学習中に見たことのないクラスを認識することができる。転移学習がいくつかの新しいデータを使ってモデルを新しいタスクに適応させるのに対し、ゼロショット学習は新しいクラスの例なしで汎化を目指す。スモールショット学習、ゼロショット学習、転移学習に関するガイドでは、これらの違いについて詳しく説明しています。
• 知識の蒸留:これは、効率化を達成するために、より大きな「教師」モデルの動作を模倣するために、より小さな「生徒」モデルを訓練することを含む。転移学習は、あるタスクから別のタスクに知識を適応させることに重点を置くのに対し、蒸留は同じタスク内で知識を圧縮することに重点を置く。

ツールとフレームワーク

転移学習の応用は、様々なツールやプラットフォームを通じて利用しやすくなっている。PyTorchや TensorFlowのようなフレームワークは、広範なドキュメントと事前学習済みモデルを提供する。Ultralytics HUBのようなプラットフォームは、ワークフロー全体を効率化し、YOLOv8や YOLO11のような事前学習済みモデルを簡単にロードし、新しいデータセットでカスタム学習を実行し、モデルのデプロイメントを管理できる。より深い理論的な理解のためには、伝達学習に関するスタンフォードCS231nの概要のようなリソースは非常に貴重です。