Constitutional AI（CAI）は、大規模言語モデルを有用かつ無害になるように訓練するための手法であり、モデルが憲法と呼ばれる書かれた一連の原則に従って自身の出力を批評し改訂するもので、望ましくない行動のあらゆる例について主に人間のフィードバックに依存するのではなく、この方法を用いる。これは、2022年12月の論文「Constitutional AI: Harmlessness from AI Feedback」でAnthropicによって導入され、Claude (AI model family)モデルファミリーの背後にある中核的な訓練手法となった。
方法
この手法は2段階で進行する。教師あり段階では、モデルがプロンプトに対する応答を生成し、憲法の原則に照らして自身の応答を批評し、それらをよりよく満たすように応答を書き直す。この自己批評・改訂ループは、教師あり微調整に使用されるデータセットを生成する。強化学習段階では、モデルが自身の応答のペアを比較し、どちらが憲法によりよく従っているかを判断して、報酬モデルを訓練する選好データセットを生成する。このプロセスをAnthropicはAIフィードバックからの強化学習、すなわちRLAIFと呼んだ。その報酬モデルはその後、強化学習を用いてモデルを微調整するために使用され、この構造はRLHFと並行するが、人間が提供する選好ラベルの多くをAI生成のものに置き換える。
動機
Anthropicの研究者たちは、共同創業者であるJared Kaplanを含め、純粋なRLHFには2つの弱点があると主張した。それは、有害な出力をレビューするために大量の人間の労働が必要であり、その作業は遅く、ラベラーを苦痛を伴うコンテンツにさらす可能性があること、そして、監査可能な書かれた基準ではなく、暗黙の、文書化されていない判断のみをコード化することである。対照的に、憲法は、個々のラベラーの選好から独立して検査、議論、改訂が可能であり、同じ文書を訓練実行全体で再利用できる。Anthropicの最高経営責任者であるDario Amodeiは、このアプローチを、能力の高いモデルを安全にスケーリングするには、ますます大量の人間によるレビューに依存しない方法が必要であるという、より広範な賭けの一部として位置づけている。
憲法
Anthropicの当初の憲法の原則は、国連の世界人権宣言、他のテクノロジー企業からの信頼と安全に関する規範、そしてモデルが回避的でなく、狭い西洋のデフォルト以外の視点に注意を払うようにするための指示など、複数の情報源から引き出された。AnthropicはClaudeの憲法の改訂版を継続的に公開しており、それを固定された仕様ではなく進化する文書として説明している。
アライメントと安全性との関係
Constitutional AIは、研究者がモデルの行動と設計者の意図との間のAI alignmentを追求するために使用するいくつかの手法の1つであり、通常のRLHFやDirect Preference Optimizationと並ぶ。支持者は、AI生成のフィードバックは人間のフィードバックよりもはるかに速く生成できるためスケーラビリティが向上し、憲法自体を外部の人が読んで批評できるため透明性が向上すると主張する。また、選好を明示的な書面による原則に基づかせることで、モデルが根底にある目標の精神に違反しながら報酬信号を満たすことが難しくなるという理由で、Reward hackingへの部分的な回答としても提示されている。
批判
批評家はいくつかの異議を提起している。批評と改訂に使用されるモデルは、訓練されているモデルと同じ広範な能力を利用するため、一部の研究者は、AIフィードバックが、同等に能力のある人間の監督者が見逃すような失敗を捉えることができるかどうか疑問視している。特に、モデルが判断対象のタスクで人間のパフォーマンスに近づくか、それを超える場合である。また、どの原則を含めるか、そしてそれらの間の対立をどのように解決するかという選択は、依然として単一の企業による決定であり、この方法自体は、AIシステムがどのような価値観を反映すべきかについての論争を解決しないと指摘する者もいる。Constitutional AIはまた、Red teaming (AI)や他のguardrailメカニズムの必要性を排除するものではない。なぜなら、書かれた原則は、Jailbreak (AI)などの敵対的プロンプトによって依然として回避される可能性があるからである。
遺産
Constitutional AIの背後にある自己批評パターンは、モデルを使用して他のモデルを監督または評価する後の研究に影響を与え、時にはLLM-as-judge評価と呼ばれ、フロンティア研究所が詳細なアライメント方法論を企業秘密として保持するのではなく公開した、より広く引用される例の1つであり続けている。