LLaMA 2 ist eine Familie von großen Sprachmodellen (LLMs), die von Meta AI am 18. Juli 2023 in Zusammenarbeit mit Microsoft veröffentlicht wurde. Sie stellt die zweite Generation der LLaMA-Serie (Large Language Model Meta AI) dar, die auf die Erstveröffentlichung im Februar 2023 folgt. Die Modelle wurden in drei Parametergrößen verfügbar gemacht - 7 Milliarden, 13 Milliarden und 70 Milliarden - und umfassten sowohl Basismodelle als auch für Chat-Anwendungen feinabgestimmte Versionen. Ein wesentlicher Unterschied zum Vorgänger war die Lizenzierung: Alle LLaMA-2-Modelle wurden mit Gewichten veröffentlicht und erlaubten viele kommerzielle Anwendungsfälle, obwohl die akzeptable Nutzungsrichtlinie der Lizenz bedeutete, dass sie von der Open Source Initiative nicht als Open Source betrachtet wurde.
Die Veröffentlichung markierte eine bedeutende Wende in Metas Ansatz zur Verteilung von KI-Modellen. Während das erste LLaMA-Modell auf akademische Forscher auf Einzelfallbasis beschränkt war, wurde LLaMA 2 einem breiteren Publikum zugänglich gemacht, einschließlich kommerzieller Einrichtungen. Dieser Schritt war Teil eines breiteren Trends in der Branche hin zu offeneren Modellveröffentlichungen, löste jedoch auch eine Debatte über die Definition von Open Source im Kontext von KI aus. Die Modellarchitektur blieb weitgehend unverändert gegenüber LLaMA 1, aber die Trainingsdaten wurden um 40% erhöht, was die Leistung über verschiedene Benchmarks hinweg verbesserte.
Hintergrund und Kontext
Die Entwicklung von LLaMA 2 erfolgte vor dem Hintergrund rascher Fortschritte bei großen Sprachmodellen. Nach dem Erfolg von Modellen wie GPT-3 und der überraschenden Popularität von ChatGPT gab es einen intensiven Wettbewerb unter Technologieunternehmen, leistungsfähige LLMs zu produzieren. Metas Chef-KI-Wissenschaftler Yann LeCun hatte öffentlich erklärt, dass große Sprachmodelle am besten geeignet seien, um bei Schreibaufgaben zu helfen, und positionierte damit Metas Ansatz innerhalb des breiteren Diskurses über KI-Fähigkeiten.
Das erste LLaMA-Modell, das am 24. Februar 2023 angekündigt wurde, hatte bereits gezeigt, dass kleinere Modelle mit viel größeren konkurrieren konnten. Die 13B-Parameterversion übertraf GPT-3 (175B Parameter) bei den meisten NLP-Benchmarks, während das 65B-Modell mit modernsten Systemen wie PaLM und Chinchilla konkurrierte. Diese Effizienz war teilweise auf das Training mit öffentlich verfügbaren Daten und die Verwendung fortschrittlicher Techniken im Deep Learning und Neuronale Netze-Design zurückzuführen.
Modellarchitektur und Training
Die Architektur von LLaMA 2 basierte auf dem Transformer (architecture)-Framework, das zum Standard für große Sprachmodelle geworden war. Die Modelle wurden mit Multi-Head-Attention-Mechanismen und Positionskodierung trainiert, konsistent mit dem Design von LLaMA 1. Der Trainingsprozess umfasste eine Skalierung des Datensatzes um 40% im Vergleich zur ersten Version, wodurch die Modelle aus einem umfangreicheren Textkorpus lernen konnten.
Das 70B-Parametermodell war das größte in der Familie, entwickelt für Hochleistungsanwendungen, während die 7B- und 13B-Versionen zugänglichere Optionen für Forscher und Entwickler mit begrenzten Rechenressourcen boten. Alle Modelle wurden sowohl als Basismodelle als auch als instruktionsabgestimmte Versionen veröffentlicht, wobei letztere für Chat- und Konversationsaufgaben feinabgestimmt wurden. Diese Doppelveröffentlichung war ein Novum für die LLaMA-Serie, die zunächst ausschließlich aus Basismodellen bestand.
Lizenzierung und kommerzielle Verfügbarkeit
Ein prägendes Merkmal von LLaMA 2 war sein Lizenzmodell. Im Gegensatz zu LLaMA 1, das unter einer nicht-kommerziellen Lizenz auf akademische Forscher beschränkt war, wurde LLaMA 2 unter einer Lizenz veröffentlicht, die kommerzielle Nutzung erlaubte, vorbehaltlich einer akzeptablen Nutzungsrichtlinie. Diese Richtlinie verbot bestimmte Anwendungen, wie solche, die illegale Aktivitäten oder Schäden betreffen, erlaubte jedoch eine breite Palette legitimer Nutzungen.
Metas Charakterisierung von LLaMA 2 als "Open Source" wurde von der Open Source Initiative bestritten, die die Open Source Definition aufrechterhält. Kritiker argumentierten, dass die akzeptable Nutzungsrichtlinie und andere Einschränkungen bedeuteten, dass die Lizenz die Kriterien für echte Open Source nicht erfüllte. Diese Debatte verdeutlichte anhaltende Spannungen in der KI-Gemeinschaft darüber, was Offenheit bei Modellveröffentlichungen ausmacht.
Die kommerzielle Verfügbarkeit von LLaMA 2 war bedeutend für Unternehmen und Startups, da sie es ihnen ermöglichte, das Modell ohne teure Lizenzgebühren von proprietären Anbietern in Produkte zu integrieren. Dies wurde als Gegengewicht zur Dominanz geschlossener Modelle von Unternehmen wie OpenAI und Anthropic angesehen.
Auswirkungen und Rezeption
Die Veröffentlichung von LLaMA 2 stieß in der KI-Gemeinschaft auf erhebliches Interesse. Seine Leistung, insbesondere das 70B-Modell, war wettbewerbsfähig mit anderen führenden Modellen der Zeit, und die großzügige Lizenz machte es zu einer attraktiven Option sowohl für Forschung als auch für kommerzielle Bereitstellung. Die Verfügbarkeit mehrerer Größen ermöglichte es den Nutzern, ein Modell zu wählen, das ihren Hardware-Fähigkeiten entsprach, von Edge-Geräten bis zu großen Servern.
Nach LLaMA 2 setzte Meta die Entwicklung der Serie fort und veröffentlichte Code Llama im August 2023 für code-spezifische Aufgaben sowie später LLaMA 3 im April 2024 mit verbesserter Leistung und größeren Trainingsdatensätzen. Die LLaMA-Familie wurde zu einem Eckpfeiler von Metas KI-Strategie, gipfelnd in der Entwicklung von Meta AI, einem auf LLaMA basierenden Assistenten, und der schließlichen Veröffentlichung von LLaMA 4 im April 2025. Im April 2026 führte Meta Superintelligence Labs Muse Spark als Ersatz für LLaMA ein, was die nächste Evolution von Metas KI-Modellen markierte.
Technische Details und Varianten
Die LLaMA-2-Modelle wurden mit Techniken trainiert, die in der modernen LLM-Entwicklung üblich sind, einschließlich Adam-Optimierer und Lernratenpläne. Der Trainingsprozess verwendete auch Gradienten-Clipping und Schichtnormalisierung, um das Training zu stabilisieren und die Konvergenz zu verbessern. Diese Methoden waren Standard in dem Feld und spiegelten den Stand der Technik im maschinellen Lernen zu der Zeit wider.
Code Llama, eine spezialisierte Variante von LLaMA 2, wurde auf code-spezifischen Datensätzen feinabgestimmt. Die 7B-, 13B- und 34B-Versionen wurden am 24. August 2023 veröffentlicht, gefolgt von einer 70B-Version am 29. Januar 2024. Das Training umfasste zusätzliche 500 Milliarden Token an Codedaten, gefolgt von 20 Milliarden Token an Langkontextdaten, wodurch Basismodelle für allgemeine Codegenerierung entstanden. Weitere Feinabstimmung auf 5 Milliarden Instruktionsbefolgungstokens erzeugte die Instruct-Versionen, und ein separates Python-fokussiertes Modell wurde auf 100 Milliarden Token Python-Code trainiert.
Diese technischen Entwicklungen positionierten LLaMA 2 als vielseitige Plattform für verschiedene Anwendungen, von natürlicher Sprachverarbeitung bis zur Softwareentwicklung. Die Veröffentlichung förderte auch Innovation im breiteren Ökosystem, wobei Unternehmen wie Amazon Web Services und Azure LLaMA 2 auf ihren Cloud-Plattformen anboten und es so einem breiteren Nutzerkreis zugänglich machten.