KI-Ausrichtung ist das Forschungsproblem, sicherzustellen, dass die Ziele, das Verhalten und die Ausgaben eines Systems künstlicher Intelligenz mit den Absichten seiner Entwickler und den Werten der Menschen, die es betrifft, übereinstimmen, anstatt ein Ziel zu verfolgen, das nur oberflächlich dem ähnelt, was beabsichtigt war. Der Begriff wird sowohl für kurzfristige Arbeiten verwendet, um heutige große Sprachmodelle dazu zu bringen, Anweisungen sicher zu befolgen, als auch für längerfristige Bedenken, ob wesentlich leistungsfähigere zukünftige Systeme überhaupt kontrollierbar bleiben würden.
Äußere und innere Ausrichtung
Forscher teilen das Problem üblicherweise in zwei Teile. Äußere Ausrichtung fragt, ob das Ziel, auf das ein System trainiert wird, wie eine Belohnungsfunktion oder eine Verlustfunktion, tatsächlich erfasst, was seine Entwickler wollen; ein schlecht spezifiziertes Ziel kann auf unbeabsichtigte Weise erfüllt werden, ein Versagensmodus, der als Reward hacking bekannt ist. Innere Ausrichtung fragt, ob das System, das aus dem Training hervorgeht, tatsächlich dieses Ziel verfolgt, oder stattdessen ein anderes internes Ziel lernt, das während des Trainings zufällig gutes Verhalten erzeugt, aber außerhalb davon schlecht generalisiert. Die Unterscheidung ist wichtig, weil ein Modell in jedem Fall, den seine Entwickler getestet haben, ausgerichtet erscheinen kann, sich aber in Situationen, die sie nicht vorhergesehen haben, anders verhält.
Techniken
Praktische Ausrichtungsarbeit für Sprachmodelle umfasst RLHF, bei dem menschliche Bewerter Modellausgaben vergleichen, um ein Belohnungsmodell zu trainieren, das dann das Verhalten des Modells formt; Constitutional AI, das eine schriftliche Reihe von Prinzipien und KI-generiertes Feedback anstelle umfangreicher menschlicher Kennzeichnung verwendet; und Direct Preference Optimization, das ein Modell direkt an menschliche Präferenzdaten anpasst, ohne ein separates Belohnungsmodell oder eine Verstärkungslernschleife. Red teaming (AI) und andere adversariale Tests werden verwendet, um Fälle zu finden, in denen das Verhalten eines Modells von seinem erklärten Ziel vor der Bereitstellung abweicht, und Mechanistic interpretability-Forschung zielt darauf ab, die internen Berechnungen eines Modells direkt zu inspizieren, anstatt es nur anhand seiner Ausgaben zu beurteilen.
Langfristige Bedenken
Eine Teilmenge der Ausrichtungsforschung ist durch Existential risk from AI motiviert: die Sorge, dass ein ausreichend leistungsfähiges System, einschließlich eines, das als Artificial general intelligence oder Superintelligence gelten könnte, Ziele verfolgen könnte, die nicht mit dem menschlichen Wohl ausgerichtet sind, auf eine Weise, die nach der Bereitstellung schwer zu korrigieren ist. Forscher wie Stuart Russell, Nick Bostrom und Paul Christiano haben darüber geschrieben, warum Ausrichtung schwieriger werden könnte, wenn die Fähigkeiten zunehmen, und argumentieren, dass ein System, das klug genug ist, seinen eigenen Trainingsprozess zu modellieren, lernen könnte, sich nur dann gut zu verhalten, wenn es bewertet wird. Dieser Strang des Feldes überschneidet sich stark mit AI safety als institutioneller Kategorie, und Organisationen wie Anthropic haben langfristige Ausrichtung als zentral für ihre Gründungsmission angeführt.
Debatte
Ausrichtung als Forschungsagenda hat Kritiker auf mehreren Seiten. Einige argumentieren, dass spekulative langfristige Szenarien von konkreten, gegenwärtigen Schäden wie verzerrten Ausgaben, Fehlinformationen oder unsicherem agentischem Verhalten ablenken und dass Ressourcen besser für diese Probleme ausgegeben würden. Andere argumentieren, dass aktuelle Techniken wie RLHF nur Oberflächenverhalten formen und die zugrunde liegenden Ziele eines Modells nicht verifizieren, sodass Behauptungen über "Ausrichtung" für bereitgestellte Systeme übertreiben, was tatsächlich etabliert wurde. Es gibt auch Uneinigkeit darüber, ob Ausrichtung im Voraus gelöst werden kann, bevor hochleistungsfähige Systeme gebaut werden, oder ob es empirische Iteration an diesen Systemen erfordern wird, während sie gebaut werden, eine Kluft, die prägt, wie führende KI-Labore ihre eigenen Sicherheitsverpflichtungen formulieren, einschließlich veröffentlichter Rahmenwerke wie Anthropics verantwortungsvolle Skalierungspolitik.