立憲AIはAIモデルと人間の価値観の一致を目指す

立憲AIとは何か？

コンスティテューショナルAIとは、明確な倫理ルールを提供することで、AIモデルがどのように振る舞うかを導くモデルトレーニング手法である。これらのルールは行動規範として機能する。何が許容されるかを推論するためにモデルに頼るのではなく、学習中の反応を形成する一連の原則に従う。

この概念は Anthropicによって導入されたもので、AIシステムの意思決定をより自己監視的にする方法としてクロードLLMファミリーを開発した。 

人間のフィードバックだけに頼るのではなく、モデルはあらかじめ定義された一連の原則に基づき、自らの対応を批評し、洗練させるよう学習する。このアプローチは、裁判官が判決を下す前に憲法を参照する法制度に似ている。

この場合、モデルは審査員であると同時に生徒となり、同じルール・セットを使って自らの振る舞いを見直し、改良していく。このプロセスは、AIモデルのアライメントを強化し、安全で責任あるAIシステムの開発をサポートする。

憲法AIはどのように機能するのか？

コンスティテューショナルAIの目標は、明確なルールに従って安全かつ公正な判断を下す方法をAIモデルに教えることである。このプロセスがどのように機能するかを簡単に説明しよう：

• 憲法の定義： モデルが従うべき倫理原則を文書化したリストを作成する。憲法は、AIが何を避け、どのような価値観を反映すべきかを概説する。
  
  
• トレーニング 監視付き 例 モデルには憲法に従った応答例が示される。これらの例は、AIが許容される行動がどのようなものかを理解するのに役立つ。
  
  
• パターンを認識し、適用する： 時間の経過とともに、モデルはこれらのパターンを拾い始める。新しい質問に答えたり、新しい状況に対処したりするときに、同じ値を適用することを学習する。
  
  
• アウトプットの批評と改良： モデルは自らの回答を見直し、体質に基づいて調整する。この自己レビューの段階は、人間のフィードバックだけに頼ることなく改善するのに役立つ。
  
  
• 整合性のある、より安全な回答を生み出す： モデルは一貫したルールから学習するため、バイアスを減らし、実際の使用における信頼性を向上させることができる。このアプローチにより、人間の価値観との整合性が高まり、統治しやすくなる。

‍

倫理的AI設計の基本原則

AIモデルが倫理的ルールに従うためには、まずそのルールが明確に定義されている必要がある。体質的なAIに関しては、これらのルールは一連の基本原則に基づいている。 

例えば、効果的なAI憲法の土台となる4つの原則を紹介しよう：

• 透明性: モデルがどのようにして答えにたどり着いたかを理解するのは簡単でなければならない。回答が事実、推定値、またはパターンに基づいている場合、それはユーザーにとって透明である。これは信頼を築き、人々がモデルの出力を信頼できるかどうかを判断するのに役立ちます。
  
  
• 平等であること： 回答は、異なるユーザー間で一貫性を保つべきである。モデルは、個人の名前、背景、場所によって出力を変えるべきではありません。平等性は、偏見を防ぎ、平等な扱いを促進するのに役立ちます。
  
  
• 説明責任：モデルがどのようにトレーニングされ、何がその行動に影響を与えたかを追跡する方法があるべきである。何か問題が発生した場合、チームはその原因を特定し、改善することができるはずだ。これは、透明性と長期的な説明責任を支えるものである。
  
  
• 安全性： モデルは、危害をもたらす可能性のあるコンテンツの生成を避ける必要がある。リクエストが危険または安全でない出力につながる場合、システムはそれを認識し、停止する必要があります。これはユーザーとシステムの完全性の両方を保護します。

大規模言語モデルにおける構成的AIの例

コンスティテューショナルAIは理論から実践へと移行し、現在では数百万人のユーザーと対話する大規模なモデルで徐々に使われるようになっている。最も一般的な2つの例は、OpenAIと AnthropicLLMである。 

両組織は、より倫理的なAIシステムを構築するために異なるアプローチをとっているが、一連の指導原則に従うようにモデルを教えるという点では共通している。これらの例を詳しく見てみよう。

OpenAIの憲法AIアプローチ

OpenAIはChatGPT モデルのトレーニングプロセスの一環として、Model Specと呼ばれる文書を導入した。この文書は憲法のような役割を果たします。親切、誠実、安全といった価値観を含め、モデルが応答において何を目指すべきかを概説しています。また、有害な出力や誤解を招く出力として何をカウントするかも定義しています。 

このフレームワークは、OpenAIのモデルを微調整するために使用されている。時間をかけて、これは ChatGPTを形成するのに役立っています。 

‍

Anthropic倫理的AIモデル

Anthropicモデルであるクロードが従う憲法は、世界人権宣言のような情報源からの倫理原則、アップルの利用規約のようなプラットフォームのガイドライン、そして他のAI研究所の研究に基づいている。これらの原則は、クロードの反応が安全で公正で、人間の重要な価値観に沿ったものであることを保証するのに役立つ。

クロードはまた、AIフィードバックからの強化学習（RLAIF）を使用しており、人間のフィードバックに頼るのではなく、これらの倫理的ガイドラインに基づいて自身の回答を見直し、調整します。このプロセスにより、クロードは時間の経過とともに改善され、よりスケーラブルになり、厄介な状況であっても、親切で倫理的で、人を傷つけない回答を提供できるようになる。

‍

コンピュータ・ビジョンへの立憲AIの応用

憲法に基づくAIは、言語モデルの振る舞いにポジティブな影響を与えているのだから、当然、疑問が生じる：同じようなアプローチは、視覚ベースのシステムがより公平かつ安全に反応するのを助けることができるだろうか？ 

コンピュータ・ビジョン・モデルはテキストではなく画像を扱うが、倫理的な指針の必要性も同様に重要である。例えば、公平性と偏見は考慮すべき重要な要素であり、これらのシステムは、視覚データを分析する際に、すべての人を平等に扱い、有害または不公平な結果を避けるように訓練される必要がある。

‍

現時点では、コンピュータ・ビジョンにおける構成的AI手法の使用はまだ模索中であり、初期段階にある。

例えば、Meta社は最近、画像の安全性タスクに立憲的推論を適用するフレームワーク「CLUE」を発表した。これは、幅広い安全ルールを、マルチモーダルAI（複数の種類のデータを処理・理解するAIシステム）が従うことができる正確なステップに変えるものだ。これにより、システムがより明確に推論し、有害な結果を減らすことができる。 

また、CLUEは複雑なルールを単純化することで画像の安全性判断をより効率化し、AIモデルが人間の膨大な入力を必要とせずに迅速かつ正確に行動することを可能にします。CLUEは、一連の指針を使用することで、高品質の結果を保証しながら、画像モデレーションシステムをよりスケーラブルにします。

要点

AIシステムがより大きな責任を担うようになるにつれ、その焦点は「何ができるか」から「何をすべきか」へとシフトしている。これらのシステムは、医療、法執行、教育など、人々の生活に直接影響を与える分野で使用されるため、このシフトが鍵となる。 

AIシステムが適切かつ倫理的に行動するためには、強固で一貫した基盤が必要である。この基盤は、公平性、安全性、信頼性を優先すべきである。 

文書化された規約は、トレーニング中にその基礎を提供し、システムの意思決定プロセスを導くことができる。また、配備後にシステムの動作を見直し、調整するためのフレームワークを開発者に与えることもできる。

今すぐ成長中のコミュニティに参加しましょう！GitHubリポジトリでAIを深く掘り下げましょう。独自のコンピュータビジョンプロジェクトを構築したいですか？ライセンスオプションをご覧ください。ヘルスケアにおけるコンピュータビジョンがどのように効率を向上させているかを学び、製造業におけるAIの影響を探るには、ソリューションのページをご覧ください！