Jurassic ist eine Familie von Large Language Models, die von AI21 Labs entwickelt wurde, einem israelischen Unternehmen für künstliche Intelligenz, das 2011 gegründet wurde. Die Jurassic-Serie gehört zu den frühesten kommerziell verfügbaren großen Transformer-basierten Modellen und positioniert sich als Konkurrenz zu den Modellen von OpenAI und Anthropic. Die Familie umfasst mehrere Generationen, vom ursprünglichen Jurassic-1, das 2021 veröffentlicht wurde, bis hin zu den neueren Jurassic-2-Varianten und spezialisierten Modellen, die alle für Aufgaben der natürlichen Sprachverarbeitung und -generierung entwickelt wurden, wie etwa Textvervollständigung, Zusammenfassung und Fragebeantwortung.
Die Modelle basieren auf der Transformer-Architektur, einem Deep-Learning-Framework, das 2017 eingeführt wurde und die Grundlage der meisten modernen generativen KI-Systeme bildet. AI21 Labs trainierte die Jurassic-Modelle auf umfangreichen Textkorpora und nutzte dabei Neuronale-Netze-Techniken sowie Optimierungsverfahren wie Adam und Lernratenplanung. Die Modelle sind über die proprietäre API von AI21 Labs sowie über Cloud-Plattformen wie Amazon Web Services (AWS), Microsoft Azure und Google Cloud verfügbar, was sie Entwicklern und Unternehmen zugänglich macht.
Geschichte und Entwicklung
AI21 Labs kündigte Jurassic-1 im August 2021 an, mit zwei Modellgrößen: J1-Jumbo mit 178 Milliarden Parametern und J1-Large mit 7,5 Milliarden Parametern. Zu dieser Zeit gehörte J1-Jumbo zu den größten öffentlich verfügbaren Sprachmodellen und war vergleichbar mit OpenAIs GPT-3, das 175 Milliarden Parameter aufwies. Das Entwicklungsteam umfasste die Mitbegründer von AI21 Labs, Eilon Reshef und Dafna Sharon, sowie Forscher mit Hintergrund in maschinellem Lernen und Computerlinguistik.
Im Jahr 2022 veröffentlichte AI21 Labs Jurassic-2, das Verbesserungen bei der Befolgung von Anweisungen und beim logischen Denken einführte. Die Jurassic-2-Familie umfasste Modelle wie J2-Jumbo, J2-Grande und J2-Mid, mit Parameterzahlen zwischen 7,8 Milliarden und 178 Milliarden. Diese Modelle wurden für spezifische Anwendungsfälle optimiert, darunter generative KI-Anwendungen im Kundenservice, bei der Inhaltserstellung und der Codegenerierung.
Bis 2023 erweiterte AI21 Labs die Jurassic-Reihe um spezialisierte Modelle. Im Oktober 2023 veröffentlichte das Unternehmen Jurassic-2 Ultra, ein Modell mit 178 Milliarden Parametern und verbesserten mehrsprachigen Fähigkeiten. Im darauffolgenden Jahr führte AI21 Jurassic-2 Mid und Jamba ein, wobei letzteres eine hybride Architektur kombiniert, die Transformer-Schichten mit Zustandsraummodellen verbindet, um die Effizienz bei langen Kontexten zu verbessern.
Architektur und Training
Die Jurassic-Modelle basieren auf der Transformer-Architektur, genauer gesagt auf der reinen Decoder-Variante, die auch bei OpenAIs GPT-Serie verwendet wird. Die Modelle verwenden Multi-Head-Attention-Mechanismen, um Eingabesequenzen zu verarbeiten, sowie positionale Kodierungen, um die Wortreihenfolge zu erfassen. Das Training nutzt in einigen Varianten Cross-Attention, obwohl die Kernarchitektur autoregressiv ist und das jeweils nächste Token in einer Sequenz vorhersagt.
AI21 Labs trainierte die Jurassic-Modelle mit skalierbaren verteilten Rechenressourcen, vermutlich auf NVIDIA-GPUs, obwohl die genauen Hardware-Details nicht öffentlich dokumentiert sind. Der Trainingsprozess umfasste Datenaugmentierung und Curriculum-Learning-Strategien, um die Generalisierung zu verbessern. Die Optimierung erfolgte mit Varianten des stochastischen Gradientenabstiegs wie Adam, unterstützt durch Gradienten-Clipping und Layer-Normalisierung, um das Training zu stabilisieren.
Für die Textgenerierung verwenden die Modelle Sampling-Methoden wie Top-k und Top-p sowie Temperaturskalierung, um die Zufälligkeit der Ausgaben zu steuern. Für Aufgaben, die deterministischere Ergebnisse erfordern, wie Übersetzung oder Zusammenfassung, steht Beam-Search zur Verfügung.
Fähigkeiten und Funktionen
Die Jurassic-Modelle unterstützen eine breite Palette von Aufgaben der natürlichen Sprachverarbeitung. Sie können Textvervollständigung, Zusammenfassung, Paraphrasierung und Fragebeantwortung durchführen. Darüber hinaus sind sie in der Lage, Code zu generieren und zu vervollständigen, was sie für Softwareentwicklungs-Workflows nützlich macht. Ab Jurassic-2 enthalten die Modelle Funktionen zur Befolgung von Anweisungen, sodass Benutzer Aufgaben in natürlicher Sprache spezifizieren können, ohne dass ein Feintuning erforderlich ist.
Ein bemerkenswertes Merkmal ist die Unterstützung mehrerer Sprachen. Die Jurassic-2-Modelle wurden mit Daten aus über 100 Sprachen trainiert, mit besonderer Stärke in Englisch, Spanisch, Französisch, Deutsch und Hebräisch, was die israelischen Ursprünge von AI21 Labs widerspiegelt. Die Modelle unterstützen auch strukturierte Eingaben wie JSON und SQL, was die Integration in Datenbanken und APIs ermöglicht.
AI21 Labs bietet eine Entwicklerplattform mit einer API an, die Funktionen wie Feintuning von Modellen, semantische Suche und ein Faktenprüfungstool namens „Wordtune Read“ umfasst. „Wordtune Write“ ist ein separates Produkt, das jedoch auf derselben zugrunde liegenden Technologie basiert.
Vergleich mit anderen Modellen
Die Jurassic-Modelle konkurrieren direkt mit OpenAIs GPT-3 und GPT-4 sowie mit Anthropics Claude und Google DeepMinds Gemini. In Benchmarks zeigte Jurassic-1 Jumbo eine mit GPT-3 vergleichbare Leistung bei Aufgaben wie SuperGLUE und LAMBADA, schnitt jedoch bei einigen Denkaufgaben schlechter ab. Jurassic-2 verbesserte diese Ergebnisse, insbesondere bei Mehrrunden-Dialogen und der Befolgung von Anweisungen.
Ein wichtiger Unterschied liegt im Fokus von AI21 Labs auf Unternehmensanwendungen. Das Unternehmen betont Datenschutz und bietet On-Premises-Bereitstellungsoptionen an, was für Organisationen mit strengen Compliance-Anforderungen attraktiv ist. Darüber hinaus sind die Jurassic-Modelle über mehrere Cloud-Plattformen verfügbar, darunter AWS Bedrock, Azure und Google Cloud Vertex AI, was verschiedene Integrationsmöglichkeiten bietet.
Anwendungen und Anwendungsfälle
Die Jurassic-Modelle werden in verschiedenen Branchen eingesetzt. Im Kundenservice unterstützen sie Chatbots und virtuelle Assistenten, die Anfragen bearbeiten und Probleme lösen. Bei der Inhaltserstellung helfen sie beim Verfassen von Artikeln, Marketingtexten und Social-Media-Beiträgen. Rechts- und Finanzunternehmen nutzen die Modelle für die Zusammenfassung von Dokumenten und die Analyse von Verträgen.
AI21 Labs bietet auch spezialisierte Tools an, die auf Jurassic basieren, wie etwa Wordtune, einen KI-gestützten Schreibassistenten, der Umformulierungen und Anpassungen des Tons vorschlägt. Das Unternehmen hat Partnerschaften mit Samsung geschlossen, um KI-Funktionen in mobile Geräte zu integrieren, sowie mit Intel für die Optimierung der Hardware-Leistung.
Leistung und Benchmarks
Die Jurassic-Modelle wurden anhand standardisierter NLP-Benchmarks evaluiert. Beim SuperGLUE-Benchmark erreichte J1-Jumbo einen Wert von 82,4, knapp unter GPT-3 mit 83,5. Beim LAMBADA-Test zum Sprachverständnis erzielte J1-Jumbo eine Genauigkeit von 82,5 %. Die Jurassic-2-Modelle zeigten Verbesserungen beim Few-Shot-Lernen, wobei J2-Jumbo bei mehreren Aufgaben im MMLU-Benchmark besser abschnitt als GPT-3.
Im Jahr 2023 berichtete AI21 Labs, dass Jurassic-2 Ultra bei einigen Aufgaben im HELM-Benchmark Spitzenergebnisse erzielte, obwohl unabhängige Verifikationen begrenzt sind. Das Unternehmen veröffentlicht Leistungskennzahlen auf seiner Website, legt jedoch nicht immer detaillierte Evaluierungsmethoden offen.
Verfügbarkeit und Preisgestaltung
Die Jurassic-Modelle sind über die API von AI21 Labs zugänglich, die ein nutzungsbasiertes Preismodell anbietet, das auf der Anzahl der verarbeiteten Tokens basiert. Ab 2024 beginnen die Preise bei 0,01 US-Dollar pro 1.000 Tokens für die kleinsten Modelle und steigen für größere Modelle an. Die API unterstützt sowohl synchrone als auch asynchrone Anfragen, mit einer maximalen Kontextlänge von 8.192 Tokens für die meisten Modelle.
AI21 Labs bietet auch eine kostenlose Stufe für Entwickler an, um die Modelle zu testen. Unternehmenskunden können individuelle Verträge aushandeln, einschließlich dedizierter Infrastruktur und Service-Level-Vereinbarungen. Die Modelle sind außerdem über Cloud-Marktplätze wie AWS Marketplace und Azure Marketplace verfügbar.
Zukunftsaussichten
AI21 Labs entwickelt die Jurassic-Familie kontinuierlich weiter, mit dem Ziel, die Effizienz zu verbessern und die Rechenkosten zu senken. Das Unternehmen hat Techniken wie Modell-Pruning und Residualnetzwerke erforscht, um kleinere, schnellere Modelle ohne signifikante Leistungseinbußen zu erstellen. Im Jahr 2024 kündigte AI21 Forschung zu hybriden Architekturen an, die Transformer-Schichten mit rekurrenten Komponenten kombinieren, um längere Sequenzen effizienter zu verarbeiten.
Darüber hinaus investiert das Unternehmen in Ausrichtung und Sicherheit, unter anderem durch Methoden wie Reinforcement Learning aus KI-Feedback, um schädliche Ausgaben zu reduzieren. Mit der Weiterentwicklung des Bereichs generative KI wird erwartet, dass die Jurassic-Modelle zunehmend multimodale Fähigkeiten integrieren, die über Text hinaus auch Bilder und Audio verarbeiten können.
Rezeption und Wirkung
Die Jurassic-Modelle wurden in der KI-Community für ihre starke Leistung und Zugänglichkeit gut aufgenommen. AI21 Labs hat erhebliche Finanzmittel eingeworben, darunter eine Serie-C-Runde über 208 Millionen US-Dollar im Jahr 2022, die das Unternehmen mit über 1,4 Milliarden US-Dollar bewertete. Die Modelle wurden in akademischer Forschung und industriellen Anwendungen eingesetzt und trugen zur breiteren Verbreitung von Large Language Models außerhalb der dominierenden US-amerikanischen Technologieunternehmen bei.
Kritiker merken an, dass die Jurassic-Modelle nicht das gleiche Maß an öffentlicher Anerkennung erreicht haben wie GPT-4 oder Claude, was teilweise auf ein weniger aggressives Marketing zurückzuführen ist. Dennoch werden die Modelle für ihre mehrsprachigen Fähigkeiten und ihren Unternehmensfokus geschätzt, was AI21 Labs zu einem bemerkenswerten Akteur in der wettbewerbsintensiven KI-Landschaft macht.