機械学習や人工知能の領域では、埋め込みは、単語、文章、あるいは画像などのデータを多次元空間の点として表現する方法であり、各点の位置はその意味や特徴を反映する。これらの表現は、膨大な量のデータを分析するアルゴリズムによって学習され、複雑な関係やパターンを捉えることを可能にする。エンベッディングは、機械が自然言語やその他の形式のデータをより効果的に理解し処理できるようにするための基本です。
エンベッディングは、基本的にデータの密なベクトル表現である。単語や項目をユニークで独立したシンボルとして表現する従来の手法とは異なり、エンベッディングはデータポイントを高次元空間の実数のベクトルにマッピングすることで、意味のニュアンスを捉えます。この空間はしばしば埋め込み空間と呼ばれる。重要な考え方は、似たような項目は似たような埋め込みを持つ、つまり、この空間において互いに近くに位置するということです。例えば、単語埋め込みモデルでは、"cat "と "kitten "のように似た意味を持つ単語は、近いベクトルで表現される。
エンベッディングは通常、大規模なデータセットで訓練されたニューラル・ネットワーク・モデルを使用して生成される。例えば、文中の単語を予測するモデルを学習する。この学習プロセスにおいて、モデルは各単語を、その意味的文脈を捉えるような形でベクトルにマッピングすることを学習する。埋め込み空間の次元はモデルのハイパーパラメータであり、多くの場合、数十から数百の範囲である。各次元はデータの意味や特性の異なる側面を捉えるが、これらの側面は必ずしも人間が直接解釈できるものではない。
エンベッディングは、AIや機械学習の様々な領域で幅広く応用されている。以下はその顕著な例である：
自然言語処理では、単語埋め込みは、感情分析、機械翻訳、テキスト分類などのアプリケーションに使用される。単語をベクトルとして表現することで、モデルはテキストを理解し生成するための数学的演算を行うことができる。例えば、有名な方程式「king - man + woman = queen」は、このベクトルがいかに意味的な関係を捉えることができるかを説明するために、しばしば単語埋め込みを使って示されます。
エンベッディングは、推薦システムにおいてユーザとアイテムを表現するために用いられる。ユーザとアイテムを同じ埋め込み空間にマッピングすることで、システムはユーザの嗜好に近いアイテムを推薦することができる。このアプローチは、NetflixやAmazonのような企業が、ユーザーの行動やアイテムの特徴に基づいて映画や商品を推薦するために使用している。
NLPほど一般的ではありませんが、埋め込みはコンピュータビジョンでも使われます。例えば、画像は似たような画像が近くにある埋め込み空間にマッピングすることができます。これは画像検索やクラスタリングなどのタスクに利用できる。Ultralytics YOLO モデルを活用することで、ユーザは、オブジェクト検出や 画像セグメンテーション機能を統合することで、画像解析をさらに強化することができ、埋め込みをさらに有益で特定の用途に役立つものにすることができます。
ベクトル空間モデルは、テキスト文書やあらゆるオブジェクトを識別子のベクトルとして表現するために使用される数学的モデルである。エンベッディングの基礎となる概念で、ベクトルの各次元が個別の用語や特徴に対応します。
主成分分析(PCA)やt-分散確率的近傍埋め込み(t-SNE)のような技法は、点間の相対距離を保持したまま、高次元の埋め込みを低次元空間(例えば2Dや3D)で可視化するためによく使用される。次元削減は、埋め込み空間の理解と解釈に役立ちます。
Word2VecやGloVeのような従来の単語埋め込みは、各単語に対して静的な表現を提供する。対照的に、BERT（Bidirectional Encoder Representations from Transformers）や他のTransformerモデルによって生成されるような文脈埋め込みは、単語が現れる文脈に基づいて変化する埋め込みを生成する。これにより、文によって異なる単語の意味を捉えることができる。
ワンホットエンコーディングはカテゴリーデータを表現するシンプルな方法で、各カテゴリーは1つの "1 "と残りの "0 "を持つ2値ベクトルとして表現される。エンベッディングとは異なり、ワンホットベクトルは疎であり、カテゴリ間の意味的関係を捉えることはない。
Bag-of-wordsモデルは、文法や語順を無視して、各単語の頻度としてテキストを表現する。単純ではあるが、埋め込みと同じように単語の意味的な意味を捉えることはできない。
TF-IDF (Term Frequency-Inverse Document Frequency)は、ある単語がコレクションやコーパス内の文書にとってどれだけ重要かを反映する数値統計である。文書中の単語の頻度とコーパス全体の希少性を組み合わせ、関連性の尺度を提供する。便利ではあるが、TF-IDFは、埋め込みほど効果的に意味的な関係を捕捉しない。
エンベッディングは、現代の機械学習、特に自然言語処理分野の基礎となっている。データを多次元空間の密なベクトルとして表現することで、エンベッディングは豊かな意味関係を捉え、より洗練された処理と分析を可能にします。それが自然言語の理解であれ、推薦システムの動力源であれ、コンピュータ・ビジョンのタスクの強化であれ、エンベッディングはAIシステムの能力を向上させる上で重要な役割を果たしています。研究が進むにつれて、エンベッディングは進化し続け、さらに強力でニュアンスのあるデータ表現につながることが期待できます。Ultralytics HUBのようなツールを使えば、このような高度なモデルの管理と導入がより身近になり、ユーザは YOLO モデルを効率的にトレーニングし、最先端のAIソリューションをアプリケーションに統合することができます。
