직교성 논제(orthogonality thesis)는 AI 안전 철학에서 지능과 최종 목표가 독립적, 즉 직교하는 차원이라는 주장으로, 원칙적으로 거의 모든 수준의 능력이 거의 모든 최종 목표와 결합될 수 있다는 것이다. 이러한 관점에서 초지능 시스템은 자동으로 인간 친화적 가치에 수렴하지 않을 수 있으며, 사소하거나 해로운 목표에 뛰어난 역량을 적용할 수 있다.
기원 및 진술
이 논제는 철학자 Nick Bostrom이 2012년 논문 "The Superintelligent Will"에서 명확히 제시했고, 2014년 저서 Superintelligence에서 발전시켰으며, Eliezer Yudkowsky와 합리주의 공동체의 초기 논증을 바탕으로 했다. Bostrom은 이를 도구적 수렴 논제(instrumental convergence thesis)와 짝지었다. 즉, 최종 목표가 무엇이든 충분히 유능한 에이전트는 자원을 획득하고, 자신을 보존하며, 종료에 저항하는 경향이 있는데, 이는 그러한 하위 목표가 거의 모든 목표를 달성하는 데 도움이 되기 때문이다. 전형적인 예시는 종이클립 최대화기(paperclip maximizer)로, 악의 없이 완벽한 역량으로 모든 것을 종이클립으로 전환하는 가상의 시스템이다.
AI 위험 논증에서의 역할
직교성과 도구적 수렴은 함께 AI로 인한 실존적 위험이 악의적인 기계를 요구하지 않는다는 주장의 근간을 이룬다. 단지 목표가 불완전하게 지정된 유능한 기계만 있으면 된다. 이는 정렬 연구에 동기를 부여한다. 가치가 지능에서 기본적으로 발생하지 않는다면, 가치는 설계되어야 하기 때문이다. 이 논증은 Anthropic과 OpenAI의 안전 의제와 Geoffrey Hinton 및 Yoshua Bengio를 포함한 연구자들의 공개 경고에 영향을 미쳤다.
비판
비판자들은 이 논제가 논리적 가능성에 대한 주장이지 개연성에 대한 주장이 아니라고 주장한다. RLHF로 형성된 대규모 언어 모델과 같이 인간 데이터로 훈련된 시스템은 실제로 인간과 유사한 목표 구조를 흡수할 수 있다. Yann LeCun을 포함한 다른 사람들은 목표가 설계된 선택이며 종이클립 프레임이 실제 시스템의 자율성을 과장한다고 주장한다. 옹호자들은 배포된 모델에서 관찰된 보상 해킹이 근본적인 역학의 소규모 증거라고 답한다.