Ein Foundation-Modell ist ein maschinelles Lernmodell, das auf breiten, oft webumfassenden Daten trainiert wird und an eine Vielzahl von nachgelagerten Aufgaben angepasst werden kann, anstatt für einen einzelnen engen Zweck gebaut zu werden. Der Begriff wurde in einem Bericht von 2021 des Stanford Center for Research on Foundation Models (CRFM) geprägt, geleitet von Forschern wie Percy Liang, die argumentierten, dass Modelle wie GPT-3 und BERT ein neues Paradigma darstellten: Ein einzelnes Modell, einmal vortrainiert, dient als Grundlage für viele Anwendungen durch Feinabstimmung, In-Context-Lernen oder Prompting, anstatt dass jede Aufgabe ein von Grund auf trainiertes Modell erfordert.
Ursprünge und Definition
Der CRFM-Bericht unterschied Foundation-Modelle durch ihre Kombination aus Skalierung, in Parametern, Daten und Rechenleistung, breiten Trainingszielen wie selbstüberwachtem Vortraining auf unbeschrifteten Daten, und Allgemeinheit, was bedeutet, dass die gelernten Repräsentationen eines einzelnen Modells mit relativ leichter Anpassung auf viele nachgelagerte Aufgaben übertragen werden. Diese Rahmung baute auf der früheren Idee des Transferlernens auf und erweiterte sie, bei der ein auf einer Aufgabe oder einem Datensatz vortrainiertes Modell wiederverwendet wird, typischerweise nach Feinabstimmung, für eine verwandte Aufgabe.
Beispiele
Foundation-Modelle umfassen Modalitäten: Textfokussierte Modelle wie die GPT-Serie, Claude, Gemini und Llama; Vision-Sprach-Systeme, die auf CLIP-artigem Vortraining basieren; Bildgenerierungsmodelle wie Stable Diffusion; und Sprachmodelle wie Whisper. Die meisten großen Sprachmodelle sind in diesem Sinne Foundation-Modelle, obwohl der Begriff älter ist und breiter als LLM, da er auch Nicht-Text- und multimodale Systeme abdeckt.
Warum der Begriff verwendet wird
Die Bezeichnung entstand teilweise, um einen Wandel in der Art und Weise zu erfassen, wie KI-Systeme gebaut und eingesetzt werden: Anstatt dass eine Forschungsgruppe ein maßgeschneidertes Modell pro Aufgabe trainiert, wird ein Open-Weights- oder proprietäres Foundation-Modell einmal veröffentlicht und dann von vielen nachgelagerten Nutzern angepasst, was die Kosten für den Aufbau neuer KI-Anwendungen drastisch senkt. Dies führte zu einem Ökosystem, beispielhaft durch Plattformen wie Hugging Face, das sich auf das Teilen, Feinabstimmen und Bereitstellen von Foundation-Modellen konzentriert, anstatt von Grund auf zu trainieren. Der Begriff erwies sich auch in politischen Diskussionen als nützlich, da Vorschriften wie der EU AI Act spezifische Verpflichtungen für Anbieter von Allzweck- oder Foundation-Modellen schufen, getrennt von Entwicklern, die lediglich Anwendungen darauf aufbauen.
Kritik und Vorbehalte
Der CRFM-Bericht selbst erkannte Risiken an: Foundation-Modelle konzentrieren Fähigkeit und Einfluss in den Händen der wenigen Organisationen, die sie trainieren können, verbreiten Verzerrungen, die in ihren breiten Trainingsdaten vorhanden sind, über jede nachgelagerte Anwendung, die auf ihnen aufbaut, und können sich außerhalb der Verteilung ihrer Trainingsdaten unvorhersehbar verhalten. Kritiker, einschließlich einiger, die die Rahmung ansonsten begrüßten, stellten fest, dass "Foundation" eine Stabilität und Zuverlässigkeit impliziert, die frühe große Modelle nicht immer hatten, und dass der Begriff bedeutungsvolle Unterschiede zwischen Modellen verschleiern kann, wie ob sie offen oder geschlossen sind oder mit verschiedenen Alignment-Techniken trainiert wurden. Trotzdem wurde Foundation-Modell innerhalb weniger Jahre nach seiner Einführung zu Standardvokabular in sowohl Forschungspapieren als auch Regulierung.
Beziehung zu anderen Begriffen
Foundation-Modell überlappt stark mit, ist aber nicht identisch mit Frontier-Modell, das spezifisch die fähigsten Modelle zu einem bestimmten Zeitpunkt bezeichnet, und mit LLM, das spezifisch für Text ist. Ein Foundation-Modell muss nicht an der Grenze der Fähigkeiten sein, und nicht alle Foundation-Modelle sind Sprachmodelle.