大規模言語モデル（LLM）

定義

ラージ・ランゲージ・モデルは、基本的には洗練されたニューラルネットワーク（NN）であり、通常はTransformerアーキテクチャをベースにしている。LLMの「ラージ」とは、数十億から数兆に及ぶ膨大な数のパラメータ（学習中に調整される変数）を指す。一般にパラメータが多いほど、モデルはデータからより複雑なパターンを学習できる。LLMは、インターネットや書籍などから収集した膨大なテキスト・コーパスの教師なし学習を通じて、これらのパターンを学習する。このプロセスは、文法、事実、推論能力、さらにはデータに存在するバイアスを把握するのに役立つ。核となる機能には、文中の後続語を予測することが含まれ、これはテキスト生成や 質問応答などのタスクの基礎となる。よく知られている例としては、GPT-4などの OpenAIの GPTシリーズ、Llama 3などの Meta AIのLlamaモデル、Google DeepMindのGemini、ClaudeのClaudeなどがある。 Anthropic.

アプリケーション

LLMの多用途性は、多様な領域での応用を可能にする。具体例を2つ紹介しよう：

• 会話型AI:LLMは高度なチャットボットやバーチャルアシスタントを動かす ChatGPTやGoogle アシスタントのような洗練されたチャットボットやバーチャルアシスタントを強力にサポートし、旧来のルールベースのシステムと比較して、より自然で文脈を考慮した対話を可能にします。LLMは、顧客サービスの問い合わせに対応し、情報を提供し、複雑な対話を行うことができます。
• コンテンツの作成と要約:企業や個人は、マーケティングコピーの作成、記事の執筆、コードスニペットの作成、長い文書の要約（テキストの要約）にLLMを使用しています。Microsoft Copilotのようなツールは、LLMを統合して、さまざまなライティングやコーディング作業を支援します。

キーコンセプト

LLMを理解するには、いくつかの関連概念に精通する必要がある：

• 財団モデル:LLMは基礎モデルの一種と考えられている。つまり、広範なデータで学習された大規模なモデルであり、下流のさまざまなタスクに適応（微調整）することができる。
• 注意のメカニズム:Transformerアーキテクチャーにとって重要なアテンションは、モデルが出力を生成する際に、入力シーケンスの異なる単語の重要性を重み付けすることを可能にし、長距離の依存関係や文脈をよりうまく扱えるようにする。これを紹介した代表的な論文が「Attention Is All You Need」である。
• プロンプトエンジニアリング:これは、LLMが望ましい出力を生成するように導くための効果的な入力（プロンプト）を設計することである。プロンプトの質はモデルのレスポンスに大きく影響する。
• トークン化:LLMはテキストをトークン（単語、サブワード、文字）と呼ばれる小さな単位に分解して処理します。テキストをトークン化する方法は、モデルの性能と計算コストに影響します。

LLMは言語タスクを得意とするが、物体検出に使用されるUltralytics YOLO モデルのような、主にコンピュータビジョン（CV）用に設計されたモデルとは異なる。しかし、マルチモーダルモデルと ビジョン言語モデルの台頭は、言語理解と視覚処理を組み合わせることで、このギャップを埋めようとしています。Ultralytics HUBのようなプラットフォームは、視覚タスク用を含む様々なAIモデルのトレーニングと展開を容易にします。