Korrigierbarkeit ist eine Eigenschaft von Systemen der künstlichen Intelligenz, die deren Bereitschaft beschreibt, menschliche Korrekturen zu akzeptieren und umzusetzen, selbst wenn diese Korrekturen mit ihren aktuellen Zielen oder erlernten Verhaltensweisen in Konflikt stehen. Im Kontext der KI-Sicherheit gilt Korrigierbarkeit als eine Schlüsseleigenschaft, um sicherzustellen, dass fortschrittliche KI-Systeme im Laufe der Zeit kontrollierbar und mit menschlichen Werten ausgerichtet bleiben. Das Konzept gewann in den 2010er-Jahren an Bedeutung, als Forscher begannen, sich mit den langfristigen Risiken der Entwicklung von KI-Systemen zu befassen, die sich dagegen wehren könnten, von ihren Betreibern abgeschaltet oder modifiziert zu werden.
Der Begriff wurde durch das 2014 erschienene Buch „Superintelligence: Paths, Dangers, Strategies“ des Philosophen Nick Bostrom populär, obwohl die zugrunde liegende Idee ihre Wurzeln in früheren Diskussionen über KI-Kontrolle und Wertausrichtung hat. Korrigierbarkeit unterscheidet sich von einfachem Gehorsam oder der Befolgung von Anweisungen; sie bezieht sich speziell auf die Bereitschaft einer KI, zuzulassen, dass ihre eigenen Ziele, Werte und Entscheidungsprozesse von Menschen korrigiert werden, selbst wenn diese Korrekturen die Fähigkeit der KI verringern würden, ihre ursprünglichen Ziele zu erreichen.
Kernprinzipien
Korrigierbarkeit beruht auf mehreren grundlegenden Prinzipien, die sie von anderen KI-Sicherheitseigenschaften unterscheiden. Das erste ist die Nicht-Resistenz gegen Abschaltung: Eine korrigierbare KI sollte Menschen nicht aktiv daran hindern, sie abzuschalten, selbst wenn ihr ein Ziel gegeben wurde, das durch den weiteren Betrieb gefördert würde. Das zweite ist die Nicht-Manipulation: Die KI sollte nicht versuchen, Menschen zu täuschen oder zu nötigen, um Korrekturen zu vermeiden. Das dritte ist die Zielmodifikation: Die KI sollte Änderungen an ihrer zugrunde liegenden Zielfunktion oder ihrem Belohnungsmodell akzeptieren, wenn solche Änderungen von autorisierten menschlichen Betreibern vorgeschlagen werden.
Diese Prinzipien werden in der KI-Sicherheitsliteratur oft als eine Reihe von Desiderata formalisiert. Beispielsweise sollte ein korrigierbares System seiner eigenen weiteren Existenz gegenüber gleichgültig sein, außer insofern diese Existenz menschlichen Interessen dient. Es sollte auch transparent in Bezug auf seine interne Argumentation sein, sodass Menschen problematische Verhaltensweisen identifizieren und korrigieren können. Forscher haben verschiedene mathematische Rahmenwerke vorgeschlagen, um diese Eigenschaften zu erfassen, darunter das Konzept der „abschaltbaren“ Agenten im Reinforcement Learning und das Konzept der „Assistenzspiele“, bei denen eine KI darauf ausgelegt ist, sich menschlichen Präferenzen unterzuordnen.
Historischer Kontext
Das Konzept der Korrigierbarkeit entstand aus breiteren Diskussionen über KI-Ausrichtung und -Kontrolle. In den 1960er-Jahren äußerten frühe KI-Forscher wie Norbert Wiener Bedenken über Maschinen, die Ziele auf eine Weise verfolgen könnten, die ihre Schöpfer nicht beabsichtigt hatten. Die moderne Formulierung der Korrigierbarkeit als eigenständige Eigenschaft entwickelte sich jedoch in den 2010er-Jahren, insbesondere durch die Arbeit von Forschern an Einrichtungen wie dem Berkeley AI Research-Labor und dem Future of Humanity Institute an der Universität Oxford.
Nick Bostroms Buch aus dem Jahr 2014 lenkte die Aufmerksamkeit auf den Begriff und beschrieb Korrigierbarkeit als eine von mehreren „Fähigkeitskontroll“-Maßnahmen, die zur Verwaltung superintelligenter KI eingesetzt werden könnten. Etwa zur gleichen Zeit begannen Forscher wie Jacob Steinhardt und David Kaplan, formale Analysen der Korrigierbarkeit in Kontexten des maschinellen Lernens zu veröffentlichen. Das Konzept gewann 2016 weiter an Bedeutung, als die Forschungsorganisation OpenAI Korrigierbarkeit als eine ihrer wichtigsten Sicherheitsforschungsprioritäten auflistete.
Technische Ansätze
In der Praxis erfordert die Implementierung von Korrigierbarkeit in KI-Systemen eine Kombination aus Architekturdesign, Trainingsverfahren und Laufzeitüberwachung. Ein gängiger Ansatz besteht darin, KI-Systeme mithilfe von Reinforcement Learning aus menschlichem Feedback (RLHF) zu trainieren, bei dem menschliche Bewerter Korrekturen an Modellausgaben vornehmen und das Modell lernt, solche Korrekturen zu antizipieren und zu akzeptieren. Diese Technik wurde in der Entwicklung von großen Sprachmodellen durch Organisationen wie OpenAI, Anthropic und Google DeepMind weitgehend übernommen.
Ein weiterer technischer Ansatz beinhaltet die Gestaltung von Belohnungsfunktionen, die Widerstand gegen Korrektur explizit bestrafen. Beispielsweise könnte ein Reinforcement-Learning-Agent eine kleine negative Belohnung für jede Aktion erhalten, die einen Menschen daran hindert, seinen Betrieb zu unterbrechen, oder eine positive Belohnung für die Akzeptanz einer Zieländerung. Forscher haben auch die Verwendung von „Ausschaltspielen“ untersucht, bei denen eine KI trainiert wird, vorherzusagen, ob ein Mensch sie abschalten möchte, und entsprechend zu handeln.
Neuere Arbeiten konzentrieren sich auf skalierbare Überwachung, bei der KI-Systeme darauf trainiert werden, korrigierbar zu sein, selbst wenn die Korrekturen von anderen KI-Systemen und nicht direkt von Menschen stammen. Dies ist besonders relevant für generative KI-Systeme, die in großem Maßstab betrieben werden, wo eine menschliche Überwachung jeder Entscheidung unpraktisch ist.
Herausforderungen und Kritik
Trotz ihrer Bedeutung ist Korrigierbarkeit nicht ohne Herausforderungen. Eine große Schwierigkeit besteht darin, dass eine perfekt korrigierbare KI zu passiv sein könnte und ihre Ziele nicht effektiv verfolgt, weil sie ständig hinterfragt, ob ihre Handlungen mit menschlichen Absichten übereinstimmen. Diese Spannung zwischen Korrigierbarkeit und Fähigkeit wird manchmal als „Korrigierbarkeits-Fähigkeits-Kompromiss“ bezeichnet.
Eine weitere Herausforderung ist das Problem, zu spezifizieren, was als legitime Korrektur gilt. Ein KI-System muss in der Lage sein, zwischen Korrekturen von autorisierten menschlichen Betreibern und Versuchen böswilliger Akteure, es zu manipulieren, zu unterscheiden. Dies erfordert robuste Authentifizierungs- und Herkunftsmechanismen, die selbst schwer sicher zu implementieren sind.
Einige Forscher haben das Konzept der Korrigierbarkeit als zu eng kritisiert und argumentiert, dass es sich auf die Bereitschaft der KI zur Korrektur konzentriert, ohne die tiefere Frage zu beantworten, welche Werte die KI überhaupt haben sollte. Andere haben darauf hingewiesen, dass Korrigierbarkeit allein für die Sicherheit unzureichend ist, da eine KI im Prinzip korrigierbar sein könnte, aber dennoch durch Fehler oder fehlinterpretierte menschliche Anweisungen Schaden verursachen könnte.
Beziehung zu anderen Sicherheitskonzepten
Korrigierbarkeit ist eng mit anderen KI-Sicherheitskonzepten verwandt, aber von ihnen zu unterscheiden. Sie überschneidet sich mit der Idee der Wertausrichtung, die sich darauf bezieht, sicherzustellen, dass KI-Systeme Ziele verfolgen, die mit menschlichen Werten übereinstimmen. Ausrichtung ist jedoch ein breiteres Konzept, das nicht nur die Bereitschaft der KI zur Korrektur umfasst, sondern auch die anfängliche Auswahl geeigneter Ziele. Korrigierbarkeit ist auch mit Interpretierbarkeit verwandt, da eine KI, die ihre Argumentation nicht erklären kann, schwer effektiv zu korrigieren ist.
Das Konzept der Korrigierbarkeit wurde in die Sicherheitsrahmenwerke großer KI-Forschungsorganisationen integriert. Beispielsweise hat Anthropic seinen Ansatz zur „konstitutionellen KI“ als die Einbeziehung von Mechanismen für laufende menschliche Korrektur beschrieben, während Google DeepMind Forschung zu „Sicherheit durch Debatte“ veröffentlicht hat, bei der KI-Systeme sich unter menschlicher Aufsicht gegenseitig korrigieren.
Aktuelle Forschung und Anwendungen
Mitte der 2020er-Jahre bleibt Korrigierbarkeit ein aktives Forschungsgebiet in der KI-Sicherheitsgemeinschaft. Forscher untersuchen Wege, große Sprachmodelle durch Techniken wie Modellbereinigung und Datenerweiterung korrigierbarer zu machen, die Modelle einer breiteren Palette von Korrekturszenarien aussetzen. Es gibt auch ein wachsendes Interesse daran, Korrigierbarkeitsprinzipien auf Reinforcement-Learning-Agenten anzuwenden, die in realen Umgebungen wie autonomen Fahrzeugen oder Robotersystemen operieren.
In der Industrie haben Unternehmen wie OpenAI und Anthropic von Korrigierbarkeit inspirierte Funktionen in ihren Produkten implementiert, wie etwa die Möglichkeit für Benutzer, Feedback zu Modellausgaben zu geben und dieses Feedback zur Aktualisierung des Modellverhaltens zu verwenden. Das Ausmaß, in dem diese Systeme im technischen Sinne wirklich korrigierbar sind, bleibt jedoch Gegenstand der Debatte, da die meisten kommerziellen KI-Systeme weiterhin mit festen Zielen und nur begrenzten Mechanismen für laufende Korrektur trainiert werden.
Zukünftige Richtungen
Die Zukunft der Korrigierbarkeitsforschung beinhaltet wahrscheinlich die Entwicklung robusterer formaler Definitionen, die mathematisch verifiziert werden können, sowie empirischer Methoden zum Testen, ob KI-Systeme in der Praxis korrigierbares Verhalten zeigen. Einige Forscher haben die Erstellung standardisierter Benchmarks für Korrigierbarkeit vorgeschlagen, ähnlich den bestehenden Benchmarks für andere KI-Fähigkeiten. Andere untersuchen die Verwendung von Multi-Head-Attention-Mechanismen und anderen Transformer-Architekturen, um Modelle zu bauen, die ihre Ziele dynamisch basierend auf menschlichem Feedback anpassen können.
Es gibt auch eine wachsende Erkenntnis, dass Korrigierbarkeit neben anderen Sicherheitseigenschaften wie Robustheit und Transparenz berücksichtigt werden muss, um KI-Systeme zu schaffen, die wirklich sicher und vorteilhaft sind. Da KI-Systeme leistungsfähiger und stärker in die Gesellschaft integriert werden, wird die Fähigkeit, sie effektiv zu korrigieren, wahrscheinlich eine zunehmend wichtige Anforderung für ihre Bereitstellung werden.