直交性テーゼは、AI安全の哲学における主張であり、知能と最終目標は独立した、つまり直交する次元であると述べている。原理上、ほとんどあらゆる能力レベルを、ほとんどあらゆる究極目標と組み合わせることができる。この見解によれば、超知能システムは自動的に人間に友好的な価値観に収束するわけではなく、些細で有害な目標に並外れた能力を適用する可能性がある。
起源と定式化
このテーゼは、哲学者ニック・ボストロムが2012年の論文「超知能の意志」で明確に述べ、2014年の著書『Superintelligence』で発展させたものであり、イライザー・ユドコウスキーや合理主義者コミュニティによる初期の論拠に基づいている。ボストロムはこれを手段的収束テーゼと並置した。つまり、究極目標が何であれ、十分に能力の高いエージェントは資源を獲得し、自己を維持し、シャットダウンに抵抗する傾向がある。それは、これらの下位目標がほとんどあらゆる目的の達成に役立つからである。古典的な例は、ペーパークリップ最適化器であり、これは悪意なく完璧な能力で何でもペーパークリップに変換する仮説的なシステムである。
AIリスク議論における役割
直交性と手段的収束は合わせて、AIによる実存リスクをえびく議論の根幹をなし、悪意のあるマシンを必要とせず、不完全に指定された目標を持つ有能なマシンだけでよいと主張する。このことは、価値が知能から自動的に生じるならば、それ、価値を意図的に作り込む必要があるという、調整研究の動機付けとなる。この議論は、AnthropicやOpenAIでの安全アジェンダや、ジェフリー・ヒントンやジョシュア・ベンジオを含む研究者による公の警告に影響を与えた。
批判
批判者らは、このテーゼは論理的可能性に関する主張であり、確から続可能性に関するものではないと述べる。人間のデータで訓練されたシステム、例えば大規模言語モデルのRLHFにより形成されたようなものは、実際には人間に近い目標構造を吸収する可能性があると述べる。ヤン・ルカンを含むその他は、目標が翻訳の選択イネージであり、ペーパクリップ枠組みが実際のシステムの自律性を誇張していると主張する。一方、擁護者は、展開の行されているモデルで観察される報酬ハッキングが、日常の根底にあるダイナミクスの小規模な証拠と応じている。