Die Orthogonalitätsthese ist eine Behauptung in der Philosophie der KI-Sicherheit, die besagt, dass Intelligenz und finale Ziele unabhängige, also orthogonale Dimensionen sind: Im Prinzip kann fast jedes Maß an Fähigkeit mit fast jedem terminalen Ziel kombiniert werden. Ein superintelligentes System würde dieser Ansicht nach nicht automatisch auf menschenfreundliche Werte konvergieren; es könnte außergewöhnliche Kompetenz auf ein triviales oder schädliches Ziel anwenden.
Ursprung und Aussage
Die These wurde vom Philosophen Nick Bostrom in seinem Aufsatz „The Superintelligent Will" von 2012 formuliert und in seinem Buch Superintelligence von 2014 weiterentwickelt, wobei er auf frühere Argumente von Eliezer Yudkowsky und der rationalistischen Gemeinschaft aufbaute. Bostrom verband sie mit der These der instrumentellen Konvergenz: Was auch immer sein finales Ziel ist, ein hinreichend fähiger Akteur tendiert dazu, Ressourcen zu erwerben, sich selbst zu erhalten und sich gegen Abschaltung zu wehren, weil diese Teilziele dazu beitragen, fast jedes Ziel zu erreichen. Die klassische Veranschaulichung ist der Büroklammer-Maximierer, ein hypothetisches System, das alles mit makelloser Kompetenz und ohne Bosheit in Büroklammern verwandelt.
Rolle in Argumenten zum KI-Risiko
Zusammen bilden Orthogonalität und instrumentelle Konvergenz das Rückgrat des Arguments, dass existenzielle Risiken durch KI keine bösartigen Maschinen erfordern, sondern nur fähige mit unvollkommen spezifizierten Zielen. Dies motiviert die Alignment-Forschung: Wenn Werte nicht von selbst aus Intelligenz entstehen, müssen sie konstruiert werden. Das Argument beeinflusste Sicherheitsagenden bei Anthropic und OpenAI sowie öffentliche Warnungen von Forschern wie Geoffrey Hinton und Yoshua Bengio.
Kritik
Kritiker argumentieren, dass die These eine Behauptung über logische Möglichkeit und nicht über Wahrscheinlichkeit ist: Systeme, die mit menschlichen Daten trainiert werden, wie große Sprachmodelle, die durch RLHF geformt werden, könnten in der Praxis menschenähnliche Zielstrukturen übernehmen. Andere, darunter Yann LeCun, wenden ein, dass Ziele konstruierte Entscheidungen sind und dass die Büroklammer-Rahmung die Autonomie realer Systeme übertreibt. Verteidiger erwidern, dass beobachtetes Reward Hacking in eingesetzten Modellen ein kleinskaliger Beleg für die zugrunde liegende Dynamik ist.