GooglePaliGemma 2：高度なVLMモデルへの洞察

2024年12月5日、Google 、最先端の視覚言語モデル（VLM）の最新バージョンであるPaliGemma 2を発表した。PaliGemma 2は、キャプションの生成、視覚的な質問への回答、視覚内のオブジェクトの検出など、画像とテキストを組み合わせたタスクを処理するように設計されている。 

PaliGemma 2は、多言語キャプションとオブジェクト認識のための強力なツールであったオリジナルのPaliGemmaをベースに、いくつかの重要な改良が加えられています。より大きなモデルサイズ、より高解像度の画像のサポート、複雑な視覚タスクのパフォーマンス向上などです。これらのアップグレードにより、PaliGemmaはさらに柔軟性を増し、幅広い用途に効果的に使用できるようになりました。

この記事では、PaliGemma 2の仕組み、主な機能、そしてPaliGemma 2が輝くアプリケーションについて詳しくご紹介します。さっそく始めよう！

ジェンマ2からパリジェンマ2へ

PaliGemma 2は、SigLIPビジョンエンコーダとGemma 2言語モデルという2つのキーテクノロジーの上に構築されています。SigLIPエンコーダーは、画像や動画のような視覚データを処理し、モデルが分析できる特徴量に分割します。一方、Gemma 2はテキストを処理し、多言語言語の理解と生成を可能にする。この2つが組み合わさってVLMを形成し、視覚情報とテキスト情報をシームレスに解釈・接続するように設計されている。

PaliGemma 2が大きく進化したのは、そのスケーラビリティと汎用性だ。オリジナル版とは異なり、PaliGemma 2には30億（3B）、100億（100B）、280億（280B）の3種類のパラメータが用意されている。これらのパラメータはモデルの内部設定のようなもので、学習とデータ処理を効率的に行うのに役立つ。また、さまざまな画像解像度（例えば、迅速な作業には224×224ピクセル、詳細な分析には896×896ピクセル）をサポートしており、さまざまな用途に適応できる。

‍

Gemma 2の高度な言語機能とSigLIPの画像処理を統合することで、PaliGemma 2は格段にインテリジェントになりました。以下のようなタスクを処理できる：

• 画像やビデオにキャプションを付ける: このモデルは、ビジュアルの詳細なテキスト説明を生成できるため、自動的にキャプションを作成するのに便利です。
• 視覚的な質問に答える： PaliGemma 2は、画像に基づいて質問に答えることができます。たとえば、シーンのオブジェクト、人、またはアクションを識別します。
• オブジェクト認識: 写真内の猫、テーブル、車を区別するように、画像内のオブジェクトを識別し、ラベル付けします。

PaliGemma 2は、画像とテキストを別々に処理するだけでなく、それらを意味のある方法で統合します。例えば、"猫がテーブルの上に座っている "と認識したり、"有名なランドマークを認識する "といったように、文脈を追加しながらオブジェクトを識別したりといったように、シーンの関係性を理解することができる。 

GooglePaliGemma 2 VLMモデルの仕組み

次に、PaliGemma 2がビジュアルデータとテキストデータをどのように処理するかを理解するために、下の画像のグラフを使った例を説明します。このグラフをアップロードして、"このグラフは何を表しているのか？"とモデルに質問してみましょう。

‍

このプロセスは、PaliGemma 2のSigLIPビジョンエンコーダで画像を解析し、主要な特徴を抽出することから始まります。グラフの場合、軸、データ点、ラベルなどの要素を識別します。このエンコーダーは、大まかなパターンと細かいディテールの両方を捉えるように訓練されています。また、光学式文字認識（OCR）を使用して、画像に埋め込まれたテキストを検出して処理する。これらの視覚的特徴は、モデルが処理できる数値表現であるトークンに変換される。これらのトークンは、線形投影レイヤーを使用して調整されます。これは、テキストデータとシームレスに結合できるようにする技術です。

同時に、Gemma 2言語モデルは、付随するクエリを処理して、その意味と意図を決定する。クエリのテキストはトークンに変換され、SigLIPのビジュアルトークンと組み合わされ、ビジュアルデータとテキストデータをリンクする統一フォーマットであるマルチモーダル表現が作成される。 

この統合された表現を使って、PaliGemma 2は自己回帰的デコーディング（モデルがすでに処理した文脈に基づいて一度に答えの一部分を予測する方法）によって段階的に回答を生成する。 

PaliGemma 2の主な機能

さて、PaliGemma 2がどのように機能するのかを理解したところで、PaliGemma 2を信頼性の高い視覚言語モデルとしている主な特徴を探ってみよう：

• 柔軟性の微調整:特定のデータセットやタスクに容易に適応し、画像キャプション、空間推論、医療画像などのアプリケーションで優れたパフォーマンスを発揮します。
• 多様なトレーニングデータ:WebLIやOpenImagesのようなデータセットで訓練され、強力な物体認識能力と多言語出力能力を備えています。
• OCR統合：画像からテキストを抽出・解釈するための光学式文字認識機能を搭載しており、文書分析やその他のテキストベースのタスクに最適です。
• 多言語出力：グローバルなアプリケーションに理想的な多言語のキャプションと応答を生成します。
• ツールとの統合：Hugging Face Transformers、PyTorch 、Kerasなどのフレームワークと互換性があるため、導入や実験が容易。

PaliGemma 2とPaliGemmaの比較：何が改善されたのか？

PaliGemmaの最初のバージョンのアーキテクチャを見ることは、PaliGemma 2の機能拡張を見る良い方法です。最も注目すべき変更点の一つは、オリジナルのGemma言語モデルをGemma 2に置き換えたことで、パフォーマンスと効率の両面で大幅な改善がもたらされました。 

Gemma 2は、9Bと27Bのパラメータサイズで提供され、導入コストを削減しながら、クラスをリードする精度とスピードを実現するように設計されている。これは、強力なGPUからより利用しやすい構成まで、様々なハードウェア・セットアップにおける推論効率のために最適化された再設計されたアーキテクチャによって達成されている。

‍

その結果、PaliGemma 2は非常に正確なモデルとなりました。10BバージョンのPaliGemma 2は、オリジナルモデルのNES（Non-Entailment Sentence）スコアが34.3であったのに対し、20.3という低いスコアを達成しました。これらの進化により、PaliGemma 2はよりスケーラブルで高精度になり、詳細なキャプションから視覚的な質問回答まで、より幅広いアプリケーションに適応できるようになりました。

PaliGemmaの応用2：VLMモデルの実世界での使用例

PaliGemma 2は、視覚と言語理解をシームレスに組み合わせることで、産業を再定義する可能性を秘めている。例えば、アクセシビリティに関しては、オブジェクト、シーン、空間関係の詳細な説明を生成し、視覚障害者に重要な支援を提供することができる。この機能により、ユーザーは自分の環境をよりよく理解することができ、日常的な作業においてより大きな自立性を得ることができる。 

‍

アクセシビリティに加え、PaliGemma 2は以下のような様々な業界にインパクトを与えている：

• 電子商取引:このモデルは、画像内のアイテムを分析し説明することで商品の分類を強化し、在庫管理を簡素化し、ユーザーの検索体験を向上させます。
• ヘルスケア:レントゲンやMRIなどの医療用画像を臨床記録とともに解釈し、より正確な情報に基づいた診断を提供することで、医療従事者をサポートします。
• 教育:PaliGemma 2は、キャプションを生成し、画像にコンテキスト情報を提供することで、教育者が説明的で利用しやすい学習教材を作成するのに役立ちます。
• コンテンツ制作:このモデルは、マルチメディアコンテンツのキャプションやビジュアル説明を生成するプロセスを自動化し、クリエイターの時間を節約します。

自分で試してみるパリジェンマ2

PaliGemma 2を試すには、Hugging Faceのインタラクティブデモから始めることができます。このデモでは、画像のキャプション付けや視覚的な質問に対する回答などのタスクでその機能を試すことができます。画像をアップロードし、それについてモデルに質問したり、シーンの説明を要求するだけです。 

‍

もっと深く知りたい方は、こちらをご覧ください：

• 学習済みモデル:Hugging Face 、Kaggleのようなプラットフォームから、事前に訓練されたモデルとコードにアクセスすることができます。これらのリソースは、モデルを使い始めるために必要なすべてを提供してくれます。
• ノート:PaliGemma 2 を使いこなすための包括的なドキュメントとサンプルノートブックがあります。推論例から始めて、特定のタスクのために独自のデータセットでモデルの微調整を試すことができます。
• 統合：PaliGemma 2は、Hugging Face Transformers、Keras、PyTorch 、JAX、Gemma.cppのような広く使用されているフレームワークと互換性があり、既存のワークフローに簡単に統合することができます。

Google「パリジェンマ2」の長所と短所

PaliGemma 2を使い始める方法を理解したところで、これらのモデルを使用する際に留意すべき主な長所と短所を詳しく見てみよう。 

PaliGemma2がビジョン言語モデルとして際立っているのは、ここにある：

• 効率性の向上： Gemma 2の最適化されたアーキテクチャを活用し、PaliGemma 2は導入コストを最小限に抑えながら、高いパフォーマンスを提供します。
• 強化された安全機能:PaliGemma 2は、バイアスを低減するための事前学習データのロバストなフィルタリングや、安全ベンチマークに対する厳密な評価など、学習プロセスの安全性を大幅に向上させています。
• 小規模な構成でも低レイテンシーを実現3Bモデルは推論時間が速いため、電子商取引の商品推奨やライブサポートシステムなど、スピードが重要なユースケースに適しています。

一方、PaliGemma 2が制限を受ける可能性のある分野をいくつか挙げてみよう：

• 待ち時間：強力な反面、大規模なモデルは、特にリアルタイムの対話型AIシステムのような即座の応答が必要なタスクに導入された場合、待ち時間の問題に直面する可能性がある。
• 大規模データセットへの依存： PaliGemma 2の性能は学習データセットの質と多様性に密接に関係しており、学習データに含まれていないドメインや言語では効果が限定される可能性がある。
• 高いリソース要件：最適化されたとはいえ、10Bと28Bのパラメータ・バージョンは大きな計算能力を必要とするため、リソースの限られた小規模な組織では利用しにくい。

要点

PaliGemma 2は、拡張性、微調整の柔軟性、精度を向上させた、視覚言語モデリングにおける魅力的な進歩です。アクセシビリティ・ソリューションや電子商取引から、ヘルスケア診断や教育まで、幅広い用途で価値あるツールとなり得る。 

PaliGemma2には、計算上の要件や高品質なデータへの依存などの制限がありますが、その長所により、視覚データとテキストデータを統合する複雑なタスクに取り組むための実用的な選択肢となっています。PaliGemma 2は、研究者や開発者がマルチモーダルアプリケーションにおけるAIの可能性を探求し、拡大するための強固な基盤を提供することができる。

私たちのGitHubリポジトリと コミュニティをチェックして、AIの会話に参加しましょう。AIが農業や 医療でどのように進歩を遂げているか、読んでみてください！🚀