ゼロ・ショット・ラーニング

どのように機能するのか？

ZSLの中核となる考え方は、画像からの視覚的特徴とテキストからの意味情報の両方を表現できる共有埋め込み空間を作ることである。学習中、モデルは見たクラスの画像を対応する意味ベクトル（属性または単語埋め込み）に対応付けるように学習する。例えば、モデルは "馬 "の視覚的特徴を学習し、それらを "4本の足がある"、"哺乳類である"、"乗れる "といった意味的記述に結びつける。

シマウマ」のような未知のクラスの画像が提示されると、モデルはその視覚的特徴を抽出する。同時に、「シマウマ」の意味的記述、例えば「馬に似ている」、「縞模様がある」などを用いて、埋め込み空間における「シマウマ」の位置を特定する。抽出された視覚的特徴に最も近い意味的説明を見つけることで、たとえシマウマのトレーニング画像が1枚もなくても、モデルは画像を「シマウマ」として正しく分類することができる。このプロセスは多くの場合、視覚と言語を結びつけることに秀でたOpenAIのCLIPのような、事前に訓練された強力なマルチモーダルモデルに依存している。

ゼロショット学習と他のパラダイム他のパラダイム

ZSLを関連する学習技術と区別することは重要だ：

• フューショット・ラーニング（FSL）:FSLでは、それぞれの新しいクラスに対して、非常に少数のラベル付き例（例えば、1～5）でモデルを学習する。これはZSLとは異なり、対象クラスの例はゼロである。
• ワンショット・ラーニング（OSL）:FSLのサブタイプで、モデルが新しいクラスの例を1つだけ受け取る。一般的なFSLよりもデータに制約があるが、ZSLとは異なり、少なくとも1つのサンプルを必要とする。
• トランスファー・ラーニング:ZSLは転移学習の一形態であるが、ユニークなものである。標準的な転移学習では、事前に訓練されたモデルを新しい（より小さな）ラベル付きデータセット上で微調整することが一般的であるが、ZSLでは、補助的な意味情報のみを用いて新しいクラスに知識を転移する。

実世界での応用

ZSLは、コンピュータビジョンシステムをよりダイナミックで適応性のあるものにし、数多くの実用的な応用がある。

1. オープン語彙によるオブジェクト検出：YOLO-Worldのようなモデルは、ZSLを活用してテキストで記述されたあらゆる物体を検出する。ユーザーは、「青いシャツを着た人」や「水漏れしているパイプ」といったテキストを入力することができ、モデルは、特定のカテゴリーについて明示的にトレーニングされることなく、画像やビデオストリームからこれらの物体を見つけることができる。これは、真に汎用的なビジョン・システムの実現に向けた重要な一歩である。
2. 自律的な種の識別：野生動物保護のためのAIでは、ZSLは希少種や新たに発見された種を特定することができる。一般的な動物について訓練されたモデルは、ウィキペディアのような知識ベースから記述属性（例えば、「首が長い」、「斑点がある」、「草食動物である」）を使用して、元の訓練セットにキリンの画像がなかったとしても、キリンを識別することができる。

課題と今後の方向性

その可能性にもかかわらず、ZSLはハブ問題（意味空間内のいくつかの点が、多すぎる点の最近傍になる）やドメインシフト（見たクラスと見たことのないクラスで特徴や属性間の関係が異なる）といった課題に直面している。これらの問題に対処するため、研究者は、推論中にモデルが見たクラスと見たことのないクラスの両方を認識しなければならない、一般化ゼロショット学習（GZSL）のような、よりロバストな技術を開発している。基礎モデルの進化とUltralytics HUBのようなプラットフォームは、ZSLの統合と展開をさらに簡素化し、AIシステムを大規模なデータラベリングに依存せず、より人間のような推論に近づけるだろう。