自己教師あり学習

自己教師あり学習の仕組み

SSLの核となる考え方は "口実タスク "の作成である。これは実務者が設計した補助的なタスクで、モデルが意図的に隠されたり修正されたりしたデータの特性を予測するものである。プレテキストタスクを解くことで、モデルはデータの意味のある基本的なパターンや表現を学習する。

例えば、コンピュータビジョンでは、一般的なプレテキストタスクとして、モデルに画像の一部を見せ、これらの部分の相対的な位置を予測させたり、グレースケール版のみを与えられた画像の色を予測させたりすることがある。NLPでは、（BERTのようなモデルで使用される）マスクされた言語モデリングがよく使われる手法で、文中でマスクされた単語をモデルが予測する。

これらの自己生成ラベルを大規模なデータセットで学習することで、モデルは頑健な特徴表現を開発する。これらの学習された特徴（埋め込み）は、データの本質的な特徴を捉える。この最初の学習段階は、しばしば事前学習と呼ばれる。事前学習されたモデルは、微調整と呼ばれるプロセスを通じて、特定の下流タスク（物体検出、画像分類、画像セグメンテーションなど）に適応させることができる。このため、SSLは転移学習の重要な手段となる。

実世界での応用

自己教師あり学習は、AIにおいて大きな進歩をもたらした：

• 視覚における基礎モデル：大規模な視覚モデルは、大量のラベルなし画像データセット上で対比学習（SimCLR、MoCoなど）のようなSSL技術を使用して事前訓練されることが多い。これらの事前訓練された重みは、様々なCVタスクのための強力な出発点を提供し、パフォーマンスを向上させ、以下のようなモデルを使用する際の大規模なラベル付きデータの必要性を低減します。 Ultralytics YOLO11.
• 大規模言語モデル（LLM）： GPT-4のような基礎的なLLMは、インターネットスケールのテキストデータ上で自己教師付き目的（次の単語を予測する、マスクされた言語モデリング）を使用して事前に訓練されます。これにより、チャットボットや テキスト要約のような特定のアプリケーションのために微調整される前に、文法、事実、推論能力を学習することができます。

自己教師あり学習と類似概念の比較

SSLを関連するMLパラダイムと区別することは有益だ：

• 教師あり学習：完全にラベル付けされたデータセットが必要であり、各データポイントは人間が提供した対応するグランド・トゥルース・ラベルを持っている。
• 教師なし学習：ラベル付けされていないデータを扱うが、通常、クラスタリング・アルゴリズム（K-Meansなど）を使って類似したデータ点をグループ化したり、次元を減らすなど、固有の構造を発見することに重点を置く。通常、SSLと同じように、表現学習のための予測的な前提タスクを伴わない。
• 半教師あり学習：学習時に少量のラベル付きデータと大量のラベルなしデータを組み合わせて使用する。SSLは多くの場合、事前学習の段階で使用され、その後、半教師ありまたは教師ありの微調整が行われる。

自己教師あり学習は、ラベル付けされていない豊富なデータを活用して強力な表現を構築し、コストのかかるラベル付きデータセットへの依存を大幅に削減することで、さまざまなAIアプリケーションや Ultralytics HUBのようなプラットフォームの進歩を加速させる、重要な架け橋となる。