Llama 2 ist eine Familie von großen Sprachmodellen (LLMs), die von Meta AI am 18. Juli 2023 in Zusammenarbeit mit Microsoft veröffentlicht wurde. Anders als die erste Version von Llama, die unter einer nicht-kommerziellen Lizenz auf akademische Forscher beschränkt war, wurde Llama 2 der Öffentlichkeit mit Modellgewichten und einer Lizenz zugänglich gemacht, die viele kommerzielle Anwendungsfälle erlaubte. Die Veröffentlichung umfasste sowohl Basismodelle als auch instruktionsfeinabgestimmte Chat-Versionen in Größen von 7, 13 und 70 Milliarden Parametern.
Der Start von Llama 2 war ein bedeutendes Ereignis im Bereich der generativen KI, da es eine wettbewerbsfähige Open-Weights-Alternative zu proprietären Modellen wie GPT-3 und ChatGPT bot. Es löste auch eine Debatte über die Bedeutung von "Open Source" in der KI aus, da Metas Lizenz Nutzungsbeschränkungen enthielt, von denen einige argumentierten, dass sie von der Open Source Definition abwichen. Die Veröffentlichung beeinflusste spätere Entwicklungen bei Open-Weights-Modellen, einschließlich Metas eigenem Llama 3 und anderen Modellen von Unternehmen wie Mistral AI und AI21 Labs.
Hintergrund
Die Entwicklung von Llama 2 fand vor dem Hintergrund schneller Fortschritte bei großen Sprachmodellen statt. Nach der Veröffentlichung von GPT-3 im Jahr 2020 stellten Forscher fest, dass die Skalierung von Modellen auf größere Größen oft zu dramatischen Verbesserungen bei Fähigkeiten wie Argumentation und Codegenerierung führte. Der Start von ChatGPT im November 2022 brachte LLMs einem breiten Publikum näher und löste einen branchenweiten Wettlauf um die Entwicklung und Verbesserung dieser Modelle aus.
Metas erste Reaktion war vorsichtig. In einem Interview bemerkte der Chef-KI-Wissenschaftler Yann LeCun, dass LLMs am besten für die Unterstützung beim Schreiben geeignet seien, nicht als Allzweck-Argumentationsmaschinen. Der Erfolg von ChatGPT und der anschließende Leak des ersten Llama-Modells im März 2023 führten jedoch dazu, dass Meta seine Strategie überdachte. Durch die offene Veröffentlichung von Llama 2 wollte Meta konkurrieren und gleichzeitig ein Ökosystem externer Entwickler und Forscher fördern.
Veröffentlichungsankündigung
Meta kündigte Llama 2 am 18. Juli 2023 in einem Blogbeitrag und einem Papier mit dem Titel "Llama 2: Open Foundation and Fine-Tuned Chat Models" an. Die Veröffentlichung ging mit einer Partnerschaft mit Microsoft einher, die Llama 2 auf seiner Azure-Cloud-Plattform und dem Microsoft-Betriebssystem Windows verfügbar machte. Meta stellte auch einen Leitfaden für verantwortungsvolle Nutzung und eine Community-Lizenz bereit, die kommerzielle Nutzung erlaubte, mit Auflagen wie dem Verbot, das Modell zur Verbesserung anderer großer Sprachmodelle zu verwenden.
Die Ankündigung hob hervor, dass Llama 2 mit 40% mehr Daten trainiert wurde als sein Vorgänger Llama 1 und dass die Chat-Versionen mit Reinforcement Learning aus menschlichem Feedback (RLHF) feinabgestimmt wurden, einer Technik, die ähnlich der für ChatGPT ist. Meta berichtete, dass das 70B-Chat-Modell ChatGPT bei einigen Benchmarks übertraf, obwohl diese Behauptungen später umstritten waren.
Modellarchitektur und Training
Llama 2 behält die gleiche transformerbasierte Architektur wie Llama 1 bei, jedoch mit Anpassungen im Training. Die Modelle verwenden denselben Tokenizer und dieselben Parameteranzahlen, wurden aber mit 2 Billionen Token öffentlich verfügbarer Webdaten trainiert, verglichen mit 1,4 Billionen für Llama 1. Die Trainingsdaten umfassten Mischungen aus englischsprachigen Texten, Code und anderen Quellen.
Die drei Größen - 7B, 13B und 70B - wurden gewählt, um verschiedene Hardware- und Anwendungsfälle abzudecken. Die 7B- und 13B-Modelle können auf Consumer-GPUs laufen, während das 70B-Modell erheblich mehr Rechenressourcen erfordert. Meta veröffentlichte auch Debug- und quantisierte Versionen, um die lokale Inferenz zu erleichtern.
Für die Chat-Feinabstimmungen verwendete Meta einen mehrstufigen Prozess: überwachte Feinabstimmung auf menschlichen Demonstrationen, dann RLHF mit proximaler Policy-Optimierung, gefolgt von Rejection Sampling. Das Unternehmen implementierte auch Sicherheitsmaßnahmen in den Chat-Modellen, um schädliche Eingaben abzulehnen, obwohl diese nicht immer wirksam waren.
Offene Lizenz und Kontroverse
Die Lizenz für Llama 2 wurde als Fortschritt gegenüber Llama 1 gefeiert, das auf akademische Forscher beschränkt war. Die Lizenz wurde jedoch nicht von der Open Source Initiative (OSI) genehmigt, die die offizielle Definition von Open Source verwaltet. Die OSI argumentierte, dass die Beschränkungen zur Nutzung von Llama 2 zur Verbesserung anderer LLMs und die Benutzerlimits für große Unternehmen gegen die Prinzipien von Open Source verstoßen, die keine Einschränkungen des Einsatzbereichs und keine Diskriminierung von Personen oder Gruppen erfordern.
Meta verwendete weiterhin den Begriff "Open Source", um Llama 2 zu beschreiben, was zu Kritik von einigen Entwicklern und Forschern führte, die das Gefühl hatten, dass das Wort verwässert wurde. Diese Debatte intensivierte sich mit späteren Veröffentlichungen, da Metas Llama 3 und andere Modelle ähnliche Lizenzen verwendeten.
Trotz der Kontroverse ermöglichte die Verfügbarkeit von Llama 2s Gewichten eine breite Palette von Anwendungen. Forscher konnten das Modell für bestimmte Domänen feinabstimmen, und Startups konnten kommerzielle Produkte ohne Lizenzgebühren aufbauen, sofern sie die Richtlinie für akzeptable Nutzung einhielten.
Rezeption und Auswirkungen
Die ersten Reaktionen auf Llama 2 waren gemischt. Viele lobten Meta dafür, ein leistungsstarkes Modell mit weniger Einschränkungen veröffentlicht zu haben, und verglichen es mit der Wirkung von Stable Diffusion in der Bildgenerierung. Entwickler erstellten schnell Feinabstimmungen für Codierung, Chat und andere Zwecke. Das Modell wurde in Plattformen wie Hugging Face (obwohl keine bereitgestellte Slug) und AWS und Google Cloud integriert.
Einige Kritiker stellten jedoch fest, dass die Leistung von Llama 2, insbesondere beim 70B-Modell, nicht immer der von proprietären Modellen wie GPT-4 oder PaLM 2 entsprach. Unabhängige Benchmarks zeigten, dass Llama 2 70B bei vielen Aufgaben mit GPT-3.5 konkurrenzfähig war, aber bei Argumentation und Faktizität hinter dem Stand der Technik zurückblieb.
Die Veröffentlichung hatte auch Auswirkungen auf die breitere KI-Gemeinschaft. Sie veranlasste andere Unternehmen wie Mistral AI, Open-Weights-Modelle zu veröffentlichen, und trug zum Wachstum eines dezentralen Ökosystems für LLM-Bereitstellung bei. Darüber hinaus erleichterte die Verfügbarkeit von Llama 2 auf Microsoft Azure Unternehmen die Einführung von Open-Weights-KI.
Vergleich mit Llama 1 und Nachfolgern
Llama 2 unterschied sich in mehreren Schlüsselaspekten von Llama 1: Es war für kommerzielle Nutzung offen, enthielt Chat-Feinabstimmungen und wurde mit mehr Daten trainiert. Die Architektur blieb jedoch weitgehend unverändert, und einige Experten stellten fest, dass die Verbesserungen eher inkrementell als revolutionär waren.
Spätere Veröffentlichungen bauten auf Llama 2 auf. Im August 2023 veröffentlichte Meta Code Llama, eine Feinabstimmung von Llama 2, die auf Codegenerierung spezialisiert ist, in Größen von 7B, 13B, 34B und 70B. Im April 2024 führte Meta Llama 3 ein, mit Größen von 8B und 70B, das einen größeren Trainingsdatensatz verwendete und verbesserte Leistung zeigte. Llama 3 wurde im April 2025 von Llama 4 gefolgt, das Teil von Metas KI-Assistenten wurde. Bis 2026 veröffentlichte Meta Superintelligence Labs Muse Spark als Nachfolger.
Vermächtnis
Llama 2s Vermächtnis liegt in seiner Rolle als Katalysator für die Open-Weights-Bewegung in der KI. Es zeigte, dass leistungsstarke Modelle weit verbreitet geteilt werden konnten, während Sicherheitskontrollen beibehalten wurden, und es bot eine praktische Alternative zu geschlossenen, API-only-Modellen. Das Modell beeinflusste auch Diskussionen über die Definition von Open Source in der KI, eine Debatte, die fortgesetzt wird, während sich das Feld weiterentwickelt.
Für viele Entwickler und Forscher wurde Llama 2 zur Baseline für Experimente und Innovation. Seine Veröffentlichung senkte die Einstiegshürde für die Arbeit mit großen Sprachmodellen und ermöglichte eine Welle von Feinabstimmungen und Anwendungen, die sonst vielleicht nicht existiert hätten. Selbst als neuere Modelle auftauchten, blieb Llama 2 ein Bezugspunkt für das Verständnis der Abwägungen zwischen Offenheit, Leistungsfähigkeit und Sicherheit in der KI-Entwicklung.