Constitutional AI(憲法AI)

・英語による用語:Constitutional AI
・用語カテゴリ:技術用語(安全性)
・日本語読み:コンスティテューショナルエーアイ(憲法AI)
・種別:原則に基づくAIの自己修正学習
・提唱:Anthropic
・関連:RLHFアラインメントClaudeガードレール
・備考:あらかじめ定めた原則(憲法)に沿ってAI自身が出力を自己修正しながら学ぶ、Anthropic提唱の安全化手法。

Constitutional AI(憲法AI)とは?原則に沿ってAIが自らを正す仕組み

Constitutional AI(憲法AI)とは、AIに従わせるべき原則(=「憲法」と呼ばれる指針の集まり)をあらかじめ定め、その原則に照らしてAI自身が自分の出力を批評・修正しながら学習していく、AIの安全化・価値観調整の手法です。AI企業のAnthropic(Claudeの開発元)が提唱しました。

従来、AIを無害で有用な振る舞いに整えるには、大量の有害例を人間が一つひとつ評価するRLHF(人間のフィードバックによる強化学習)が使われてきました。Constitutional AIは、この人手による評価の一部を、明文化された原則に基づくAI自身の自己修正に置き換えます。AIが「この回答は原則に反していないか」を自らチェックして改善するように学習させることで、人間の負担を抑えつつ、透明で一貫した価値基準を反映しやすくします。

メリットは、AIの振る舞いの拠り所となる原則が明示されるため、なぜそう振る舞うのかを説明しやすく、方針の見直しもしやすい点です。人間が有害コンテンツに直接触れ続ける負担の軽減にもつながります。

アラインメント(AIを人間の価値に沿わせる取り組み)の代表的なアプローチの一つであり、AIの安全性を、場当たり的な対処ではなく明文化された原則に基づいて設計しようとする考え方として注目されています。