トランスファー・ラーニング

トランスファー学習の仕組み

転移学習の核となる考え方は、画像タスクのためのImageNetや 自然言語処理（NLP）のための膨大なテキストコーパスのような、大規模で一般的なデータセットで訓練されたモデルが、他の多くの関連タスクに有用な一般的特徴を学習するというものである。例えば、コンピュータビジョン（CV）の場合、畳み込みニューラルネットワーク（CNN）の初期層は、エッジ、テクスチャ、単純な形状の検出を学習するかもしれない。

転移学習を適用する場合、通常は事前に訓練されたモデルから始める。ソースタスクとターゲットタスクの類似性や、ターゲットデータセットのサイズにもよりますが、以下のような方法があります：

1. 訓練済みモデルを特徴抽出器として使用する：初期層（バックボーン）の重みを凍結し、最終的な分類層または検出層のみを新しいデータセットで訓練する。これは対象データセットが小さい場合によく行われる。例えば、レイヤーを凍結してYOLOv5 使用する。
2. 事前学習済みモデルを微調整する：事前学習済みのレイヤーの一部またはすべてを凍結解除し、新しいデータセットで学習を継続する。こうすることで、学習した特徴を、対象タスクのニュアンスにより具体的に適応させることができる。これは、対象となるデータセットが大きい場合に一般的な戦略である。微調整は、しばしば転移学習の特定のタイプとみなされる。

トランスファー・ラーニングと関連概念

• 微調整：ファインチューニングは、密接に関連し、文脈によってはしばしば同じ意味で使われるが、具体的には、新しいタスクに対して、事前に訓練されたモデルの重みを凍結解除し、さらに訓練するプロセスを指す。これは、転移学習の広範な戦略の中でよく使われる手法である。
• ゼロからのトレーニング：これは、モデルの重みをランダムに初期化し、対象データセットのみでモデル全体を訓練するものである。これは大量のデータと計算能力を必要とするが、転移学習はこれを削減することを目的としている。
• ゼロショット学習と 数ショット学習：これらのテクニックは、ターゲットとなるクラスからの例がほとんどない、あるいは全くない場合でも、モデルがタスクを実行できるようにすることを目的としており、多くの場合、標準的な転移学習や微調整よりも複雑な方法で事前学習中に学習した知識を活用する。CLIPのようなモデルは、このようなシナリオで使用される例である。

実世界での応用

転移学習は様々な領域で広く応用されている：

• コンピュータ・ビジョン
  • オブジェクトの検出： COCOのような大規模なデータセットで事前に訓練されたモデルを使用し、元のデータセットには存在しない、またはよく表現されていない特定のオブジェクトを検出するように微調整する。
  • 医療画像解析：一般的な画像で学習したモデルを、ラベル付けされた医療データが乏しいX線、CTスキャン、MRIで、脳腫瘍などの異常を識別するために応用する。例えば、腫瘍検出にUltralytics YOLO モデルを使用する。
  • 画像セグメンテーション： 農業AIにおいて、作物や雑草のような特定のオブジェクトをセグメント化するモデルを微調整する。
• 自然言語処理（NLP）：
  • センチメント分析： BERTや GPTのような大規模な言語モデルを微調整することで、膨大な量のテキストデータで事前に訓練され、特定の種類のテキスト（製品レビューやソーシャルメディアへの投稿など）のセンチメントを分類する。Hugging Face Transformersは、このような事前学習済みのモデルを多数提供しています。
  • 名前付き固有表現認識（NER）：事前に訓練された言語モデルを適用して、ドメイン固有のテキスト（法律文書、医療記録など）内の特定のエンティティ（名前、場所、組織など）を識別する。
  • チャットボット：事前に訓練された言語モデルをベースとして使用し、特定のドメインにおけるユーザーのクエリを理解し、それに応答できる会話エージェントを構築する。

ツールとフレームワーク

Ultralytics HUBのようなプラットフォームは、事前に訓練されたモデルを提供することで、転移学習の適用プロセスを簡素化する。 Ultralytics YOLOv8や YOLO11やYOLO11のような）や、ユーザー固有のデータセットで簡単にカスタム学習できるツールを提供することで、転移学習の適用プロセスを簡素化している。フレームワーク PyTorchや TensorFlowのようなフレームワークも、転移学習ワークフローを実装するための広範なサポートとチュートリアルを提供している。より深い理論的な理解のためには、伝達学習に関するスタンフォードCS231nの概要や、「A Survey on Deep Transfer Learning」のような学術的な調査のようなリソースが、貴重な洞察を提供してくれます。