Ein Surrogatmodell ist eine vereinfachte mathematische oder rechnerische Annäherung an ein komplexeres System, einen Prozess oder ein Modell. Es ist darauf ausgelegt, das Eingabe-Ausgabe-Verhalten des ursprünglichen Systems mit deutlich geringeren Rechenkosten nachzuahmen, wobei ein gewisser Grad an Genauigkeit geopfert wird. Surrogatmodelle werden in der technischen Konstruktion, im wissenschaftlichen Rechnen und im maschinellen Lernen häufig eingesetzt, um Aufgaben wie Optimierung, Sensitivitätsanalyse und Unsicherheitsquantifizierung zu ermöglichen, bei denen eine wiederholte Auswertung des echten Systems unerschwinglich teuer wäre. Im Kontext der künstlichen Intelligenz dienen Surrogatmodelle auch als interpretierbare Stellvertreter für undurchsichtige Deep-Learning-Systeme und liefern Erklärungen für einzelne Vorhersagen oder globales Verhalten.
Das Konzept der Stellvertretung ist nicht neu; es hat Wurzeln in der klassischen Response-Surface-Methodik aus den 1950er Jahren, bei der polynomiale Näherungen zur Erkundung experimenteller Versuchspläne verwendet wurden. Der Begriff „Surrogatmodell“ erlangte jedoch in den 1990er und 2000er Jahren innerhalb der simulationsbasierten Ingenieursgemeinschaft Bedeutung, insbesondere für die aerodynamische und strukturelle Optimierung. Mit dem Aufstieg des Deep Learnings in den 2010er Jahren fanden Surrogatmodelle neue Anwendungen als Erklärbarkeitswerkzeuge, die die Lücke zwischen leistungsstarken, aber undurchsichtigen neuronalen Netzen und dem Bedarf an für Menschen verständlicher Argumentation schließen.
Rolle im maschinellen Lernen und in der KI
Im maschinellen Lernen erfüllen Surrogatmodelle zwei Hauptrollen: Annäherung und Erklärung. Als Annäherer können sie teure Komponenten eines größeren Systems ersetzen. Beispielsweise könnte ein Surrogatmodell im Reinforcement Learning die Umgebungsdynamik annähern, um ein schnelleres Policytraining zu ermöglichen. Im generativen Modellieren können Surrogatmodelle die Wahrscheinlichkeit eines komplexen generativen Prozesses annähern, was effizientes Sampling oder Scoring ermöglicht.
Als Erklärer werden Surrogatmodelle verwendet, um Black-Box-Modelle, insbesondere tiefe neuronale Netze, zu interpretieren. Die bekannteste Technik in dieser Kategorie ist Local Interpretable Model-agnostic Explanations (LIME), eingeführt von Marco Tulio Ribeiro, Sameer Singh und Carlos Guestrin im Jahr 2016. LIME erstellt ein lokales lineares Surrogatmodell um eine spezifische Vorhersage, indem es die Eingabe perturbiert und die Black-Box-Ausgabe beobachtet. Das Surrogat wird dann verwendet, um zu erklären, welche Merkmale diese Vorhersage am meisten beeinflusst haben. Ein weiterer gängiger Ansatz ist SHapley Additive exPlanations (SHAP), das spieltheoretische Shapley-Werte zur Zuweisung von Wichtigkeitswerten verwendet, die oft über ein Surrogatmodell berechnet werden.
Globale Surrogaterklärungen, wie Entscheidungsbäume oder Regellisten, können die gesamte Entscheidungsgrenze eines neuronalen Netzes annähern. Diese werden verwendet, um komplexe Modelle in interpretierbare Formen zu destillieren, eine Praxis, die als Modelldestillation oder Wissensextraktion bekannt ist. Beispielsweise könnte ein Entscheidungsbaum-Surrogat auf den Ausgaben eines großen Sprachmodells trainiert werden, um dessen Klassifikationslogik für eine bestimmte Aufgabe anzunähern.
Arten von Surrogatmodellen
Surrogatmodelle gibt es in verschiedenen Formen, jede mit unterschiedlichen Stärken und Schwächen. Polynomiale Response-Surfaces, einschließlich linearer und quadratischer Modelle, sind einfach und schnell, haben aber Schwierigkeiten mit stark nichtlinearem Verhalten. Gaußprozessmodelle, auch als Kriging bekannt, liefern eine probabilistische Vorhersage mit Unsicherheitsschätzungen, was sie für die Bayessche Optimierung beliebt macht. Radialbasisfunktionsnetzwerke verwenden lokalisierte Basisfunktionen zur Interpolation von Datenpunkten und bieten Flexibilität in moderaten Dimensionen.
Support-Vektor-Regression und neuronale Netz-Surrogate können komplexe Nichtlinearitäten erfassen, erfordern jedoch mehr Daten und Abstimmung. In den letzten Jahren wurden Deep-Learning-Surrogate, wie solche auf Basis von Convolutional- oder Transformer-Architekturen, verwendet, um hochdimensionale physikalische Simulationen anzunähern. Beispielsweise kann ein Convolutional Neural Network als Surrogat für einen Computational-Fluid-Dynamics-Löser dienen und Strömungsfelder in Millisekunden statt Stunden vorhersagen.
Ensemble-Methoden, wie Random Forests oder Gradient Boosting, werden ebenfalls als Surrogate verwendet, bieten Robustheit und handhaben gemischte Eingabetypen. Die Wahl des Surrogatmodells hängt von der Dimensionalität des Eingaberaums, der Menge an verfügbaren Trainingsdaten, der erforderlichen Genauigkeit und dem Bedarf an Unsicherheitsquantifizierung ab.
Anwendungen in Technik und Wissenschaft
Im technischen Design ermöglichen Surrogatmodelle die Optimierung teurer Simulationen. Beispielsweise wird in der Luft- und Raumfahrttechnik die aerodynamische Form eines Flügels mithilfe von Computational-Fluid-Dynamics-Simulationen (CFD) optimiert, die pro Auswertung Stunden dauern können. Ein Surrogatmodell, das auf einer Reihe von CFD-Ergebnissen trainiert wurde, ermöglicht es dem Optimierer, Tausende von Designkandidaten in Sekunden zu erkunden, wobei die besten Kandidaten anschließend mit der vollständigen Simulation verifiziert werden.
In der Strukturmechanik nähern Surrogatmodelle Finite-Elemente-Analyseergebnisse an, um Spannung, Verformung und Versagensrisiko unter verschiedenen Lasten zu bewerten. In der Umweltwissenschaft modellieren Surrogate Klima- oder Grundwasserströmungen, um politische Entscheidungen zu unterstützen. In der Wirkstoffforschung sagen Surrogatmodelle molekulare Eigenschaften wie Bindungsaffinität voraus, um große chemische Bibliotheken vor teuren Nasslabor-Experimenten zu durchsuchen.
In der Nukleartechnik werden Surrogatmodelle für Reaktordesign und Sicherheitsanalysen verwendet, bei denen vollständige Simulationen rechenintensiv sind. Das Bhabha Atomic Research Centre hat Surrogatmodellierung für reaktorphysikalische Berechnungen eingesetzt. Ähnlich sagen Surrogate in der Materialwissenschaft Materialeigenschaften aus Zusammensetzung und Verarbeitungsparametern voraus, was die Entdeckung neuer Legierungen oder Polymere beschleunigt.
Surrogatmodelle in der Optimierung
Die Bayessche Optimierung ist ein bekanntes Framework, das auf Surrogatmodellen basiert, typischerweise Gaußprozessen. Das Surrogat liefert eine Posterior-Verteilung über die Zielfunktion, und eine Akquisitionsfunktion balanciert Exploration (Abtasten unsicherer Regionen) und Exploitation (Abtasten vielversprechender Regionen). Dieser Ansatz wird häufig für die Hyperparameter-Abstimmung von Modellen des maschinellen Lernens verwendet, bei der jede Auswertung das Training eines vollständigen Modells beinhaltet. Beispielsweise kann die Abstimmung der Lernrate oder der Batchgröße eines tiefen neuronalen Netzes mit Bayesscher Optimierung unter Verwendung eines Surrogats erfolgen, wodurch die Anzahl der erforderlichen Trainingsläufe von Hunderten auf Dutzende reduziert wird.
Surrogatbasierte Optimierung wird auch beim Design von neuronalen Netzen selbst verwendet, einschließlich der Architektursuche. Hier sagt ein Surrogat die Leistung einer Kandidatenarchitektur voraus, ohne sie vollständig zu trainieren, was eine effiziente Erkundung des Architekturraums ermöglicht. Diese Technik wurde in Plattformen für automatisiertes maschinelles Lernen (AutoML) angewendet.
Interpretierbarkeit und Erklärbarkeit
Eine der wirkungsvollsten Verwendungen von Surrogatmodellen in der KI ist die Erklärbarkeit. Da Deep-Learning-Modelle an Komplexität zunehmen, mit Milliarden von Parametern in großen Sprachmodellen, wird das Verständnis ihrer Entscheidungen entscheidend für Vertrauen und Sicherheit. Surrogatmodelle bieten eine pragmatische Lösung, indem sie lokales oder globales Verhalten in einer für Menschen lesbaren Form annähern.
Lokale Surrogate, wie LIME, sind modellagnostisch und können auf jeden Klassifikator oder Regressor angewendet werden. Sie funktionieren, indem sie Perturbationen um eine spezifische Instanz abtasten, sie nach Nähe gewichten und ein einfaches Modell wie eine lineare Regression oder einen Entscheidungsbaum anpassen. Die Koeffizienten oder die Baumstruktur zeigen dann, welche Merkmale die Vorhersage angetrieben haben. Dies ist besonders nützlich in Hochrisikobereichen wie Gesundheitswesen, Finanzen und Strafjustiz.
Globale Surrogate, wie Entscheidungsbäume oder Regelsets, zielen darauf ab, das gesamte Modell anzunähern. Sie scheitern jedoch oft daran, die volle Komplexität eines tiefen Netzes zu erfassen, was zu ungenauen Erklärungen führt. Forscher haben Techniken wie „Destillation“ entwickelt, um ein einfacheres Modell auf den Ausgaben des ursprünglichen Modells zu trainieren, aber dies kann immer noch zu einem Fidelitätsverlust führen. Ab 2025 gibt es aktive Forschung zur Verwendung von generativer KI zur Erzeugung von Erklärungen in natürlicher Sprache, aber diese sind im traditionellen Sinne keine strengen Surrogatmodelle.
Einschränkungen und Herausforderungen
Surrogatmodelle haben inhärente Einschränkungen. Die Hauptherausforderung ist der Kompromiss zwischen Fidelität und Interpretierbarkeit. Ein hochgenaues Surrogat kann genauso undurchsichtig sein wie das ursprüngliche Modell, was den Zweck der Erklärung zunichte macht. Umgekehrt kann ein einfaches Surrogat zu ungenau sein, um vertrauenswürdig zu sein.
Eine weitere Herausforderung ist der Fluch der Dimensionalität. Mit wachsendem Eingaberaum steigt die Anzahl der benötigten Stichproben zur Ausbildung eines genauen Surrogats exponentiell. Dies ist besonders problematisch für hochdimensionale Probleme wie Bild- oder Textklassifikation, bei denen ein lokales Surrogat in einem Raum von Tausenden von Dimensionen operieren muss.
Surrogatmodelle nehmen auch an, dass die zugrunde liegende Funktion glatt und stetig ist, was nicht für alle Systeme gilt. Diskontinuitäten oder abrupte Änderungen können dazu führen, dass Surrogate versagen. Zusätzlich sind Surrogate nur so gut wie die Daten, auf denen sie trainiert werden; wenn die Trainingsdaten verzerrt oder nicht repräsentativ sind, wird das Surrogat diese Verzerrungen fortpflanzen.
Im Kontext der Erklärbarkeit besteht das Risiko des „Explanation Washings“ - die Verwendung eines Surrogats, um eine plausible, aber ungenaue Erklärung zu liefern. Dies kann zu falschem Vertrauen in die Entscheidung eines Modells führen. Forscher wie Melanie Mitchell und Aleksander Madry haben diese Bedenken hervorgehoben und die Notwendigkeit einer rigorosen Validierung surrogatbasierter Erklärungen betont.
Zukünftige Richtungen
Zukünftige Entwicklungen bei Surrogatmodellen werden sich wahrscheinlich auf die Verbesserung von Fidelität und Skalierbarkeit konzentrieren. Techniken wie aktives Lernen, bei dem das Surrogat auswählt, welche Datenpunkte vom ursprünglichen Modell abgefragt werden, können Trainingskosten reduzieren. Multi-Fidelity-Surrogate kombinieren Daten mit niedriger und hoher Fidelität, um mit begrenzten teuren Auswertungen eine bessere Genauigkeit zu erzielen.
Im Deep Learning gibt es ein wachsendes Interesse an der Verwendung neuronaler Netze als Surrogate für physikalische Simulationen, oft als „neuronale Operatoren“ bezeichnet. Diese Modelle, wie Fourier-Neurale-Operatoren, können Abbildungen zwischen Funktionsräumen lernen und über verschiedene Auflösungen verallgemeinern. Dies könnte Bereiche wie Wettervorhersage und Klimamodellierung revolutionieren.
Für die Erklärbarkeit gibt es einen Vorstoß zu treueren Surrogaten, die ein bestimmtes Maß an Fidelität garantieren können. Methoden wie „Anchors“ liefern Wenn-Dann-Regeln, die lokal treu sind. Zusätzlich gibt es Forschung zur Verwendung von Surrogatmodellen, um nicht nur einzelne Vorhersagen, sondern auch das Verhalten ganzer Modelle zu erklären, wie die Identifizierung, welche Trainingsdatenpunkte die Ausgaben eines Modells am meisten beeinflussen.
Da KI-Systeme stärker in kritische Entscheidungsfindung integriert werden, wird die Nachfrage nach zuverlässigen Surrogatmodellen wachsen. Organisationen wie OpenAI und Google DeepMind investieren in Interpretierbarkeitsforschung, und Surrogatmodelle sind ein Schlüsselwerkzeug in diesen Bemühungen. Die Herausforderung liegt darin, Einfachheit und Genauigkeit auszubalancieren und sicherzustellen, dass Surrogate als vertrauenswürdige Führer und nicht als irreführende Abkürzungen dienen.
Fazit
Surrogatmodelle sind ein vielseitiges und wesentliches Werkzeug sowohl in der Technik als auch in der künstlichen Intelligenz. Sie bieten eine praktische Möglichkeit, komplexe Systeme anzunähern, was Optimierung, Analyse und Erklärung ermöglicht. Obwohl sie Einschränkungen haben, insbesondere in hochdimensionalen und diskontinuierlichen Umgebungen, erweitert die laufende Forschung weiterhin ihre Fähigkeiten. Ab 2025 bleiben Surrogatmodelle ein Eckpfeiler der Modellinterpretierbarkeit und effizienten Berechnung, die die Lücke zwischen der Leistungsfähigkeit komplexer Modelle und dem Bedarf an menschlichem Verständnis schließen.