言語モデリング

言語モデリングの仕組み

言語モデルは、学習したテキストデータのパターン、文法、文脈上の関係を分析することで機能する。初期のアプローチは、先行する「n」個の単語に基づいて単語の確率を計算するN-gramのような統計的手法に依存していた。このような手法は有用ではあるが、長距離の依存関係や、より深い意味の把握に苦労することが多かった。

ディープラーニング（DL）の登場により、言語モデリングは大きく進歩した。ニューラルネットワーク（NN）アーキテクチャなどだ：

• リカレント・ニューラル・ネットワーク（RNN）:このColahのブログ記事でよく説明されている。
• 長期短期記憶（LSTM）:長いシーケンスを扱い、消失勾配問題を軽減するのに適したRNNの高度なタイプ。
• トランスフォーマー:注意のメカニズム、特に自己注意を利用することで、入力シーケンス内の異なる単語の重要性を、その距離に関係なくモデルが重み付けできるようにする。このアーキテクチャは、代表的な論文「Attention Is All You Need」で紹介され、ほとんどの最先端モデルを支えている。

これらのニューラル・モデルは通常、次のようなフレームワークを使ってトレーニングされます。 PyTorchまたは TensorFlowのようなフレームワークを使って学習され、バックプロパゲーションのような技術を使って複雑な言語的特徴を学習する。

言語モデリングの応用

単語の並びを予測し理解する能力により、言語モデリングは驚くほど多目的に利用できる。主な応用例をいくつか紹介しよう：

• 予測入力とオートコンプリート：スマートフォンのキーボードが次の単語を提案したり、検索エンジンがクエリを補完したりする際、言語モデルが働き、これまでの入力に基づいて最も可能性の高い続きを予測する。GoogleSmart Composeのようなツールに見られるように、これはユーザーエクスペリエンスとタイピングスピードを向上させる。
• 機械翻訳： Google 翻訳のようなツールは、高度な言語モデル（多くの場合、配列対配列モデルに基づく）を使用して、言語間のテキストを正確かつ流暢に翻訳する。このモデルは、言語間のアライメントを学習し、意味と文法構造を保持した翻訳を生成します。詳しくは、機械翻訳の用語集をご覧ください。
• 音声認識:話し言葉をテキストに変換するには、音声入力に対応する最も可能性の高い単語の並びを予測する必要があり、アップルのSiriのような技術を支えている。
• テキスト生成:記事、要約、対話システム（チャットボット）、クリエイティブライティングのための人間らしいテキストを作成します。
• センチメント分析:テキストの一部で表現された感情的なトーン（肯定的、否定的、中立的）を決定することで、顧客レビューやソーシャルメディアの分析によく使用されます。
• 質問回答:アレンAI研究所が開発したシステムのように、自然言語で投げかけられた質問を理解し、与えられた文脈や知識ベースに基づいて適切な回答を提供する。

関連概念

言語モデリングを関連用語と区別することは有益である：

• 自然言語処理（NLP）：言語モデリングは、自然言語処理（NLP）のサブフィールドまたはコアタスクである。NLPは、コンピュータが人間の言語全般を処理、分析、理解することを可能にする、より広範な領域です。NLPの概要をご覧ください。
• 大規模言語モデル (LLM):これらは基本的に非常に大規模で強力な言語モデルであり、一般的にTransformerアーキテクチャを使用して構築され、膨大なデータセット（多くの場合、ビッグデータの原則を活用）で学習される。GPT-4や BERTのようなモデルがその例です。LLMはしばしばファウンデーションモデルとみなされ、スタンフォードのファウンデーションモデル研究センター（CRFM）によって詳述された概念です。
• コンピュータビジョン (CV):言語モデルがテキストを処理するのに対して、CVは機械が画像や動画から視覚情報を解釈し理解できるようにすることに重点を置いている。タスクには、物体検出、画像分類、画像セグメンテーションなどがあり、以下のようなモデルがよく取り組んでいる。 Ultralytics YOLO.これらの分野の交差点は、テキストと視覚データの両方を処理するマルチモーダルモデルと 視覚言語モデルで探求されます。Ultralytics HUBのようなプラットフォームは、視覚タスク用のものも含め、様々なAIモデルのトレーニングとデプロイを効率化します。 Ultralyticsサポートされている様々なCVタスクを調べることができます。