Jurassic-1 ist eine Familie von großen Sprachmodellen (LLMs), die von dem israelischen Unternehmen für künstliche Intelligenz AI21 Labs entwickelt wurde. Es wurde im August 2021 veröffentlicht und war eines der ersten kommerziell erhältlichen LLMs, das mit der Größenordnung von OpenAIs GPT-3 konkurrieren konnte, wobei die größte Variante, Jurassic-1 Jumbo, 178 Milliarden Parameter enthielt. Die Modelle sind für eine breite Palette von Aufgaben der Verarbeitung natürlicher Sprache konzipiert, darunter Textgenerierung, Zusammenfassung, Beantwortung von Fragen und Codegenerierung, und sind über eine kommerzielle API zugänglich.
Jurassic-1 basiert auf der Transformer (architecture)-Architektur, genauer gesagt auf einem autoregressiven Decoder-only-Modell, ähnlich wie GPT-3. Es wurde auf einem großen Korpus öffentlich verfügbarer Texte und Codes trainiert, mit einem Schwerpunkt auf hochwertiger Filterung und Deduplizierung. Die Modellfamilie umfasst zwei Hauptvarianten: Jurassic-1 Jumbo (178B Parameter) und Jurassic-1 Large (7,5B Parameter), die beide dieselbe Architektur teilen, sich aber im Umfang unterscheiden. Die Modelle verwenden einen Tokenizer mit einem Vokabular von 250.000 Token, was größer ist als das 50.000-Token-Vokabular von GPT-3 und eine effizientere Kodierung von Text ermöglicht.
Architektur und Training
Die Jurassic-1-Modelle verwenden einen standardmäßigen Decoder-only-Transformer (architecture) mit Multi-Head-Attention und Feed-Forward-Schichten. Sie verwenden Layer Normalization und eine Residual-Verbindungsstruktur, mit einer Konfiguration, die anderen großen LLMs ähnelt. Der Trainingsprozess nutzte eine Kombination aus Adam-Optimierung, Gradient Clipping und einem Lernratenplan mit Aufwärmphase und Kosinusabfall. Die Modelle wurden auf einem Datensatz von etwa 300 Milliarden Token trainiert, der aus Webseiten, Büchern und anderen öffentlichen Texten stammt, mit einem erheblichen Anteil auf Englisch, aber auch anderen Sprachen.
AI21 Labs betonte die Verwendung einer benutzerdefinierten Datenfilterungs-Pipeline, um minderwertige oder duplizierte Inhalte zu entfernen. Das Training wurde auf einem Cluster von NVIDIA-GPUs durchgeführt, obwohl spezifische Hardware-Details nicht vollständig offengelegt wurden. Das Unternehmen führte auch eine Technik namens „strukturiertes Prompting“ ein, um die Fähigkeit des Modells zu verbessern, Anweisungen zu befolgen und Aufgaben wie das Beantworten von Fragen und logisches Denken auszuführen.
Fähigkeiten und Leistung
Jurassic-1 zeigte starke Leistungen bei einer Vielzahl von Benchmarks, darunter SuperGLUE und andere NLP-Aufgaben, und übertraf oft die Ergebnisse von GPT-3 bei ähnlichen Bewertungen oder erreichte sie. Das größere Vokabular und die Trainingsdaten des Modells ermöglichten es, seltene Wörter und mehrsprachige Texte effektiver zu verarbeiten. Zusätzlich zur standardmäßigen Textgenerierung konnte Jurassic-1 Aufgaben wie die Erkennung benannter Entitäten, Stimmungsanalyse und Textklassifikation ohne Feinabstimmung mithilfe von Few-Shot-Lernen ausführen.
Das Modell unterstützte auch eine Funktion namens „Zero-Shot“-Schlussfolgerung, bei der es Fragen beantworten oder Probleme ohne vorherige Beispiele lösen konnte. AI21 Labs veröffentlichte eine öffentliche Spielwiese und API, die es Entwicklern ermöglichten, Jurassic-1 in Anwendungen zu integrieren. Die API bot Optionen für Temperatur-Steuerung, Top-p-Sampling und andere Generierungsparameter.
Vergleich mit Zeitgenossen
Bei seiner Veröffentlichung wurde Jurassic-1 als direkter Konkurrent zu OpenAIs GPT-3 positioniert, das 2020 veröffentlicht worden war. Während GPT-3 175 Milliarden Parameter hatte, hatte Jurassic-1 Jumbo 178 Milliarden, was es geringfügig größer machte. Allerdings verwendete der Tokenizer von Jurassic-1 ein größeres Vokabular, was die Anzahl der für einen bestimmten Text benötigten Token reduzierte und möglicherweise die Inferenzgeschwindigkeit und -kosten verbesserte. AI21 Labs hob auch die Fähigkeit des Modells hervor, längere Kontexte zu verarbeiten, mit einer maximalen Sequenzlänge von 2.048 Token, ähnlich wie GPT-3.
Im Gegensatz zu späteren Modellen von Anthropic oder den Bemühungen von Google DeepMind konzentrierte sich Jurassic-1 bei der Einführung nicht auf Verstärkungslernen aus menschlichem Feedback (RLHF), sondern auf überwachtes Lernen und Few-Shot-Prompting. Dies machte es im Ansatz ähnlicher zum ursprünglichen GPT-3.
Auswirkungen und Vermächtnis
Jurassic-1 war eines der ersten großen LLMs von einem anderen Unternehmen als OpenAI und half, AI21 Labs als bedeutenden Akteur im Bereich der generativen KI zu etablieren. Es wurde in verschiedenen kommerziellen Anwendungen eingesetzt, darunter Schreibhilfe, Chatbots für den Kundenservice und Inhaltsgenerierung. Die Veröffentlichung des Modells trug auch zum breiteren Trend zunehmender Modellgrößen und zur Entwicklung von großen Sprachmodellen als Dienstleistung bei.
Nachfolgemodelle von AI21 Labs, wie Jurassic-2, bauten auf der Architektur und den Lehren aus Jurassic-1 auf und integrierten Verbesserungen bei Trainingsdaten und Ausrichtung. Das Unternehmen bot Jurassic-1 weiterhin einige Zeit über seine API an, obwohl es schließlich zugunsten neuerer Modelle eingestellt wurde. Jurassic-1 bleibt ein bemerkenswerter Meilenstein in der Geschichte der Forschung zu künstlicher Intelligenz und zeigt, dass wettbewerbsfähige LLMs außerhalb der größten Technologieunternehmen entwickelt werden konnten.
Rezeption und Kritik
Jurassic-1 erhielt positive Bewertungen für seine Leistung und Zugänglichkeit, wobei viele Entwickler die Benutzerfreundlichkeit der API und die Fähigkeit des Modells, kohärenten und kontextrelevanten Text zu generieren, lobten. Wie andere LLMs sah es sich jedoch Kritik hinsichtlich potenzieller Verzerrungen in seinen Trainingsdaten und der Umweltauswirkungen des Trainings solch großer Modelle ausgesetzt. AI21 Labs erkannte diese Bedenken an und veröffentlichte Dokumentation zur verantwortungsvollen Nutzung, gab die Gewichte des Modells jedoch nicht öffentlich frei, was die unabhängige Forschung einschränkte.
Einige Forscher stellten fest, dass die Leistung von Jurassic-1 bei bestimmten Denkaufgaben nicht signifikant besser war als bei kleineren Modellen, was die Grenzen der reinen Skalierung hervorhob. Trotz dieser Kritik trug die Veröffentlichung des Modells dazu bei, den Wettbewerb im LLM-Markt anzukurbeln, was zu schnellen Fortschritten auf diesem Gebiet führte.