言語モデリング

言語モデリングの仕組み

言語モデリングは、機械学習（ML）のタスクのひとつで、人間の言語を理解し生成するモデルを学習する。このプロセスは、ウィキペディアのコンテンツや書籍の大規模コレクションなど、膨大なテキストデータセットをモデルに与えることから始まる。このデータを分析することで、モデルは単語間の統計的関係を学習する。

最新の言語モデルはディープラーニング（DL）に大きく依存し、ニューラルネットワーク（NN）アーキテクチャを用いて構築されることが多い。論文「Attention Is All You Need」で紹介されたTransformerアーキテクチャは、特に革命的である。これは、モデルが入力テキスト内の異なる単語の重要性を計量することを可能にするアテンションメカニズムを使用し、複雑で長距離の依存関係を捉え、より効果的に文脈を理解することを可能にする。このモデルのトレーニングは、予測値とトレーニングデータ内の実際のテキスト配列との差を最小化するために、モデル内部の重みを調整するもので、バックプロパゲーションを用いて最適化されたプロセスである。

言語モデリングの実世界での応用

言語モデルの能力は、私たちが日常的に使用している数多くのテクノロジーに統合されるに至った。

• 予測入力とオートコンプリート：スマートフォンのキーボードが、入力中に次の単語を提案するのは、言語モデルを使用しているためです。あなたがすでに書いた単語の並びを分析することで、その後に続く可能性の高い単語を予測し、コミュニケーションをスピードアップする。この技術は、グーグルのGboardのようなシステムの中核機能である。
• 機械翻訳：Google翻訳やDeepLのようなサービスは、洗練された言語モデルを使用して言語間のテキストを翻訳します。単に単語単位の置き換えを行うのではなく、原文の意味や構造を分析し、文法的に正しく、文脈的に正確な翻訳をターゲット言語で生成する。これはsequence-to-sequenceモデルの応用である。
• コンテンツの作成と要約：言語モデルはテキスト生成に使用され、記事、電子メール、創造的なストーリーを書くことができる。また、長い文書を簡潔な要約にまとめるテキスト要約ツールや、対話型チャットボットの中核にもなっています。

関連概念

言語モデリングを関連用語と区別することは有益である：

• 自然言語処理（NLP）：言語モデリングは、自然言語処理（NLP）のサブフィールドまたはコアタスクである。NLPは、コンピュータが人間の言語全般を処理、分析、理解することを可能にする、より広範な領域です。NLPの概要をご覧ください。
• 大規模言語モデル (LLM):これらは基本的に非常に大規模で強力な言語モデルであり、通常Transformerアーキテクチャを使用して構築され、膨大なデータセットで学習される。GPT-4や BERTのようなモデルがその例です。LLMはしばしばファウンデーションモデルとみなされ、スタンフォードのファウンデーションモデル研究センター（CRFM）によって詳述された概念です。
• コンピュータビジョン (CV):言語モデルがテキストを処理するのに対して、CVは機械が画像や動画から視覚情報を解釈し理解できるようにすることに重点を置いている。タスクには、物体検出、画像分類、画像セグメンテーションなどがあり、Ultralytics YOLOのようなモデルによってしばしば取り組まれている。これらの分野の交差点は、マルチモーダルモデルと 視覚言語モデルで探求され、テキストと視覚データの両方を処理します。Ultralytics HUBのようなプラットフォームは、視覚タスク用を含む様々なAIモデルのトレーニングとデプロイを効率化します。Ultralyticsでサポートされている様々なCVタスクを調べることができます。