Chinchilla ist eine Familie von Large Language Models (LLMs), die vom Forschungsteam bei Google DeepMind entwickelt und im März 2022 vorgestellt wurde. Die Familie wurde entwickelt, um die Skalierungsgesetze von Sprachmodellen zu untersuchen und baute auf früheren Arbeiten mit der Gopher-Modellfamilie auf. Chinchilla-Modelle basieren auf Transformatoren und wurden trainiert, um bei festen Rechenbudgets eine bessere Leistung zu erzielen, was zu einer weithin zitierten Empfehlung für das effiziente Training großer Modelle führte.
Der Name „Chinchilla“ spiegelt ihre Rolle als Weiterentwicklung gegenüber der vorherigen Gopher-Modellfamilie wider. Beide Familien wurden trainiert, um zu untersuchen, wie Modellgröße und Trainingsdatenmenge interagieren. Chinchilla beanspruchte, GPT-3 zu übertreffen, während sie deutlich weniger Parameter verwendete, was die nachgelagerte Nutzung vereinfachte, da weniger Rechenleistung für Inferenz und Feinabstimmung erforderlich war.
Skalierungsgesetze und Training
Das zentrale Ergebnis der Chinchilla-Forschung war, dass bei einem gegebenen Rechenbudget Modellgröße und Trainings-Tokens proportional skaliert werden sollten. Konkret: Wenn die Modellgröße verdoppelt wird, sollte auch die Anzahl der Trainings-Tokens verdoppelt werden. Dieses Prinzip wurde aus der Analyse des Trainings zuvor verwendeter Sprachmodelle abgeleitet. DeepMind nutzte diese Hypothese, um Chinchilla zu trainieren, die 70 Milliarden Parameter hat und mit 1,4 Billionen Tokens trainiert wurde - viermal mehr Daten als Gophers 300 Milliarden Tokens - bei ähnlichen Gesamtkosten für die Rechenleistung.
Dieser rechenoptimale Ansatz steht im Gegensatz zu früheren Praktiken, die oft allein die Erhöhung der Modellparameter priorisierten. Das Chinchilla-Team empfahl, dass die Verwendung größerer, qualitativ hochwertigerer Trainingsdatensätze zu besseren Ergebnissen bei nachgelagerten Aufgaben führen kann, selbst wenn die Modellgröße nicht erhöht wird. Die Ergebnisse haben nachfolgende Trainingsmethoden im gesamten Bereich der KI-Forschung beeinflusst.
Leistung und Benchmarks
Chinchilla erreichte eine durchschnittliche Genauigkeit von 67,5 % beim MMLU-Benchmark (Measuring Massive Multitask Language Understanding), was 7 % höher ist als die Leistung von Gopher. Diese Verbesserung war bemerkenswert, da Gopher 280 Milliarden Parameter hatte - viermal mehr als Chinchilla. Die Effizienz des Modells machte es für eine breitere Palette von Anwendungen praktikabel, da es weniger Rechenleistung für Inferenz und Feinabstimmung benötigte.
Stand 12. Januar 2023 befand sich Chinchilla noch in der Testphase, was darauf hindeutet, dass ihre vollständigen Fähigkeiten und Einschränkungen noch evaluiert wurden. Der Erfolg des Modells bei Benchmarks wie MMLU zeigte, dass rechenoptimales Training wettbewerbsfähige oder überlegene Ergebnisse im Vergleich zu größeren Modellen erzielen kann, die mit weniger Daten trainiert wurden.
Architektur
Sowohl die Gopher- als auch die Chinchilla-Familie sind Familien von Transformer-Modellen. Sie sind im Wesentlichen identisch mit GPT-2, jedoch mit unterschiedlichen Größen und geringfügigen Modifikationen. Die Gopher-Familie verwendet RMSNorm anstelle von LayerNorm und relative Positionskodierung anstelle von absoluter Positionskodierung. Die Chinchilla-Familie ist identisch mit der Gopher-Familie, wird jedoch mit dem AdamW-Optimierer anstelle des Adam-Optimierers trainiert.
Die Gopher-Familie enthält sechs Modelle zunehmender Größe, von 44 Millionen Parametern bis zu 280 Milliarden Parametern, wobei das größte standardmäßig als „Gopher“ bezeichnet wird. Ähnliche Namenskonventionen gelten für die Chinchilla-Familie, die Modelle verschiedener Größen umfasst, wobei die Version mit 70 Milliarden Parametern die bekannteste ist. Tabelle 1 des ursprünglichen Papers beschreibt die gesamte Gopher-Familie, während Tabelle 4 die Chinchilla mit 70 Milliarden Parametern mit Gopher 280B vergleicht.
Anwendungen und Einfluss
Chinchilla wurde als Grundlage für andere Modelle verwendet, darunter das Flamingo-Vision-Sprachmodell, das visuelles und textuelles Verständnis integriert. Die von Chinchilla etablierten Skalierungsgesetze sind zu einer Standardreferenz im Bereich des maschinellen Lernens geworden und leiten Entscheidungen über Modellgröße und Datensatzgröße bei nachfolgenden LLM-Entwicklungen.
Die Forschung trug zur Entwicklung eines effektiven Trainingsparadigmas für große autoregressive Sprachmodelle mit begrenzten Rechenressourcen bei. Indem Chinchilla zeigte, dass die Datenmenge ebenso wichtig ist wie die Modellgröße, verlagerte sie den Fokus auf Datenqualität und -kuratierung. Dies hatte einen nachhaltigen Einfluss darauf, wie Organisationen wie OpenAI und Anthropic das Modelltraining angehen, obwohl die spezifischen Details ihrer internen Praktiken nicht immer öffentlich sind.
Siehe auch
- Gopher
- Skalierungsgesetze
- Deep Learning