自己教師あり学習

自己教師あり学習の仕組み

SSLの核となるメカニズムには、"口実タスク "を設計することが含まれる。これは、モデルが意図的に隠されたり変更されたりしたデータの特定の特性を予測しなければならない、補助的で自己生成的なタスクである。このプレテキスト・タスクを解くことで、モデルは、人間が提供するラベルなしで、データの意味のある根本的な構造と表現（埋め込み）を学習することになる。この最初の学習段階は、一般的に事前学習と呼ばれる。

例えば、コンピュータ・ビジョンでは、口実のタスクが含まれるかもしれない：

• シャッフルされた画像パッチの相対位置を予測する。
• グレースケール画像をカラー化する。
• 画像の欠けている部分を埋める（インペインティング）。
• SimCLRや MoCoのような対比学習法で使われる手法で、同じ画像の異なる拡張ビューを対比することによって表現を学習する。

自然言語処理では、よく知られた前文タスクとして、BERTのようなモデルで有名なマスク言語モデリングがある。このモデルでは、文の中でランダムにマスクされた（隠された）単語を予測することを学習する。

ラベル付けされていない大規模なデータセットで事前学習した後、モデルは豊富な特徴表現をキャプチャする。この事前訓練されたモデルは、微調整と呼ばれるプロセスを通じて、物体検出、画像分類、感情分析など、特定の下流タスクに適応させることができる。ファインチューニングに必要なラベル付きデータ量は、モデルをゼロからトレーニングする場合に比べてはるかに少ないため、SSLは効果的な転移学習のための重要な手段となる。

SSLと他の学習パラダイムの比較

SSLを関連するMLパラダイムと区別することは極めて重要だ：

• 教師あり学習：ラベル付けされたデータに完全に依存し、各入力は正しい出力と対になっている。SSLは逆に、データそのものからラベルを生成する。
• 教師なし学習：ラベル付けされていないデータから、（クラスタリングのような）パターンを発見したり、次元を削減したりすることを目的とする。SSLは教師なし学習と同様にラベル付けされていないデータを使用するが、表現学習を導くための事前タスクを通して明示的な監督シグナルを作成する点が異なる。
• 半教師あり学習：少量のラベル付きデータと大量のラベルなしデータの組み合わせを使用する。SSL事前学習は、多くの場合、半教師付き微調整の前の予備ステップとなる。

実世界での応用

SSLは人工知能（AI）機能を大幅に進化させている：

1. コンピュータビジョンモデルの進化SSL事前トレーニングにより Ultralytics YOLO11のようなモデルが、自律走行車や 医療画像解析における 物体検出のようなタスクのために微調整される前に、大量のラベルなし画像データセットからロバストな視覚的特徴を学習することができます。SSLから得られた事前学習済みの重みを使用することで、モデル学習中のパフォーマンスが向上し、収束が速くなることがよくあります。
2. 大規模言語モデル（LLM）を強化： GPT-4や BERTのような基盤モデルは、膨大なテキストコーパスの事前学習段階において、SSLプリテキストタスク（マスク言語モデリングのような）に大きく依存しています。これにより、言語構造、文法、およびコンテキストを理解し、高度なチャットボットや 機械翻訳から テキスト要約に至るまで、さまざまなアプリケーションを強化することができます。

SSLは高価なラベル付きデータセットへの依存を大幅に減らし、強力なAIモデルの開発を民主化する。以下のようなツール PyTorchや TensorFlowのようなツールや、Ultralytics HUBのようなプラットフォームは、最先端のAIソリューションを構築・展開するためにSSL技術を活用する環境を提供します。