Gopher ist eine Familie von großen Sprachmodellen, die vom Forschungsteam bei Google DeepMind entwickelt wurde. Die Familie besteht aus sechs transformerbasierten Modellen mit zunehmender Größe, die von 44 Millionen Parametern bis zu 280 Milliarden Parametern reichen, wobei das größte Modell standardmäßig als „Gopher“ bezeichnet wird. Gopher wurde Ende 2021 vorgestellt und trainiert, um die Skalierungsgesetze großer Sprachmodelle zu untersuchen, und bildete die Grundlage für die anschließende Chinchilla-Modellfamilie, die im März 2022 eingeführt wurde.
Die Gopher-Familie wurde als Teil einer breiteren Forschungsanstrengung konzipiert, um zu untersuchen, wie die Modellleistung mit Parametern und Trainingsdaten skaliert. Die Modelle haben im Wesentlichen dieselbe Architektur wie GPT-2, mit geringfügigen Änderungen, einschließlich der Verwendung von RMSNorm anstelle von LayerNorm und relativer Positionskodierung anstelle absoluter Positionskodierung. Das größte Gopher-Modell mit 280 Milliarden Parametern wurde auf etwa 300 Milliarden Tokens trainiert.
Skalierungsgesetze und Training
Die Entwicklung von Gopher wurde durch die Frage motiviert, wie Rechenressourcen beim Training großer Sprachmodelle optimal zugewiesen werden können. Vor Gopher wurden viele Modelle, einschließlich OpenAIs GPT-3, mit einem Fokus auf zunehmender Modellgröße trainiert, während die Trainingsdaten relativ fest blieben. Das Gopher-Forschungsteam stellte jedoch durch empirische Studien fest, dass für ein gegebenes Rechenbudget die optimale Modellgröße und die Anzahl der Trainingstokens einer spezifischen Beziehung folgen: Wenn die Modellgröße verdoppelt wird, sollte auch die Anzahl der Trainingstokens verdoppelt werden. Diese Erkenntnis, die später im Chinchilla-Papier formalisiert wurde, deutete darauf hin, dass viele bestehende Modelle untertrainiert waren.
Das Training von Gopher verwendete ein großes Korpus von Textdaten, und das Modell zeigte starke Leistungen bei einer Reihe von Benchmarks für natürliche Sprachverarbeitung. Seine Leistung beim Benchmark Measuring Massive Multitask Language Understanding (MMLU) betrug jedoch eine durchschnittliche Genauigkeit von 60,5 %, eine Zahl, die später von seinem Nachfolger Chinchilla übertroffen wurde.
Architektur und Varianten
Die Gopher-Familie umfasst sechs Modelle mit Parameterzahlen von 44 Millionen, 117 Millionen, 417 Millionen, 1,4 Milliarden, 7,1 Milliarden und 280 Milliarden. Alle Modelle teilen dieselbe Kernarchitektur, die auf der Transformer-Architektur basiert, insbesondere ähnlich zu GPT-2, jedoch mit den genannten Änderungen. Die Verwendung von RMSNorm, einer Variante der Schichtnormalisierung, die rechnerisch effizienter ist, und relativer Positionskodierung, die die Generalisierung auf längere Sequenzen verbessern kann, waren wichtige Unterschiede zu früheren Transformer-Modellen.
Das größte Gopher-Modell wurde mit einem verteilten Trainingssetup trainiert, das Tausende von Beschleunigern nutzte. Der Trainingsprozess war ressourcenintensiv, und das Modell erforderte erhebliche Rechenleistung sowohl für Inferenz als auch für Feinabstimmung, eine Einschränkung, die die spätere Entwicklung von Chinchilla motivierte.
Leistung und Bewertung
Gopher wurde auf einer Vielzahl von Benchmarks bewertet, einschließlich Sprachmodellierung, Leseverständnis und Fragenbeantwortung. Es zeigte starke Fähigkeiten in vielen Bereichen, aber seine Leistung war nicht auf allen Aufgaben einheitlich besser als die kleinerer Modelle. Beispielsweise schnitt Gopher bei einigen auf Reasoning und Wissen basierenden Aufgaben gut ab, zeigte jedoch auch Einschränkungen in Bereichen wie faktischer Konsistenz und gesundem Menschenverstand.
Im Vergleich zu GPT-3 erzielte Gopher bei mehreren Benchmarks konkurrenzfähige oder bessere Ergebnisse, aber die Unterschiede waren nicht immer dramatisch. Das Forschungsteam stellte fest, dass Gophers Leistungssteigerungen oft bescheiden im Verhältnis zur großen Zunahme der Modellgröße waren, was die Bedeutung der Skalierung von Trainingsdaten weiter hervorhob.
Vermächtnis und Nachfolger
Gophers Hauptvermächtnis ist sein Beitrag zum Verständnis von Skalierungsgesetzen in Sprachmodellen. Die aus dem Training von Gopher gewonnenen Erkenntnisse flossen direkt in das Design von Chinchilla ein, einer Modellfamilie mit 70 Milliarden Parametern, die auf 1,4 Billionen Tokens trainiert wurde. Chinchilla, das im März 2022 vorgestellt wurde, erreichte eine höhere durchschnittliche Genauigkeit (67,5 % bei MMLU) als Gopher, während es ein ähnliches Rechenbudget verwendete, was zeigte, dass die Empfehlungen der Skalierungsgesetze wirksam waren.
Die Chinchilla-Familie teilt dieselbe Architektur wie Gopher, wurde jedoch mit dem AdamW-Optimierer anstelle von Adam trainiert. Gopher diente auch als Grundlage für andere Modelle, wie das Flamingo-Vision-Sprachmodell, das Komponenten aus der Gopher-Familie nutzte. Ab Januar 2023 befand sich Chinchilla noch in der Testphase, während Gopher durch seinen effizienteren Nachfolger ersetzt worden war.