コヒーレント外挿意思（CEV）は、AIアライメントの分野における理論的枠組みであり、人工超知能（ASI）が、人類がより知識豊かで、より合理的で、考える時間がより多く、社会として共に成熟していた場合に何を望むかという、慈悲深い仮定に基づいて行動するアプローチを説明するものである。これは、人類の現在の個人的または集団的な選好とは対照的である。この概念は、2004年にEliezer Yudkowskyによって、友好的AIに関する研究の一環として提案された。
この概念は、人間の知性を超える可能性のある高度なAIシステムの目標を指定するという課題に対処する。固定されたルールや価値観のセットをコード化するのではなく、CEVは、ASIが人類の意思を外挿することによってその目的を導き出すべきであると示唆し、理想的な認識論的および道徳的条件下で人々が何を望むかを反映することを目指す。
概念
CEVは、高度なAIシステムが人類の意思を外挿することによってその目標を導き出すべきであると提案する。これは、人間の選好を集約し、理想的な認識論的および道徳的条件下で人々が何を望むかを反映するプロセスに投影することを意味する。目的は、AIシステムが人類の真の利益を侵害しないこと、一時的または情報が不十分な選好に従わないこと、また人類の意思がまだ予測不可能な問題について決定しないことを保証することである。
詩的な表現では、私たちのコヒーレント外挿意思とは、私たちがより多くを知り、より速く考え、私たちが望むような人間により近くなり、より共に成長していたならば抱くであろう願いであり、外挿が発散するのではなく収束し、願いが干渉するのではなくコヒーレントである場合のものである。私たちがその外挿を望むように外挿され、私たちがその解釈を望むように解釈される。
この枠組みは、人間の価値観の源泉を捉えることによって、人道的で自己修正的になるように設計されており、それらを列挙しようとはしない。それは、明示的で固定されたルールのリストを定めるという困難を回避する。それは道徳的成長を内包し、欠陥のある現在の道徳的信念が固定化されるのを防ぐ。それは、ASIが何を重視するかについて、少数のプログラマーのグループが持つことができる影響を制限し、それによって最初にASIを構築するインセンティブも減らす。そして、それは人類をその運命の支配者に保つ。
議論
YudkowskyとNick Bostromは、CEVにはいくつかの興味深い特性があるが、重大な理論的および実践的課題にも直面していると述べている。Bostromは、CEVには「さまざまな方法で指定でき、提案の異なるバージョンをもたらす多数の自由パラメータがある」と指摘している。そのようなパラメータの1つは、外挿ベース（誰の外挿意思が考慮されるか）である。例えば、重度の認知症の人、植物状態の患者、胎児、または胚を含めるべきかどうかなどである。彼はまた、CEVの外挿ベースが人間のみを含む場合、結果が他の動物やデジタルマインドに対して不親切になるリスクがあると指摘している。可能な解決策の1つは、CEVの外挿ベースを拡張するメカニズムを含めることである。
これらの議論は、高度なAIシステムが人間の価値観と利益に従って行動することを保証する方法を検討する、AIアライメントとAI安全性に関するより広い言説の一部である。
変種と代替案
CEVに対する提案された理論的代替案は、人工超知能の優れた認知能力に依存して何が道徳的に正しいかを理解させ、それに従って行動させることである。また、例えばASIが道徳的に許されない場合を除いてCEVに従うなど、両方の技術を組み合わせることも可能である。
別のレビューでは、哲学的分析が自律システムにおける社会的信頼のレンズを通してCEVを探求している。Anthony Giddensの「能動的信頼」の概念に基づいて、著者はCEVを「コヒーレント、外挿、クラスタ化意思」（CECV）へと進化させることを提案している。この定式化は、多様な文化グループの道徳的選好をよりよく反映することを目的としており、それによって、公共の信頼を得ながら社会の多様性に対応するAIシステムを設計するための、より実用的な倫理的枠組みを提供する。
他のAI概念との関係
CEVは、人工知能研究のより広い分野、特に人類に有益なシステムを設計する方法についての議論の中に位置づけられている。それは、明示的なルールベースのシステムや、人間のフィードバックからの学習に依存するアプローチ、例えば現代の大規模言語モデルで使用されるRLHF（人間のフィードバックからの強化学習）とは対照的である。RLHFが反復的なフィードバックを通じてモデルを現在の人間の選好に合わせることを目的とする一方、CEVはそれらの選好のより野心的な外挿を提案する。
この枠組みはまた、AIシステムにおける合理性と意思決定に関する問題にも関連している。それは、理想的な条件下で人間が収束するであろう一貫した選好のセットが存在することを前提としており、これは議論の多い哲学的仮定である。