LLaMA 2 (stilisiert als LLaMa 2) ist eine Familie von Large Language Models, die am 18. Juli 2023 von Meta AI in Zusammenarbeit mit Microsoft veröffentlicht wurde. Es löste das ursprüngliche LLaMA-Modell ab und war bemerkenswert, weil es die Modellgewichte für die kommerzielle Nutzung verfügbar machte, eine Abkehr von der zuvor eingeschränkten akademischen Nutzung der früheren Version. Die Veröffentlichung umfasste sowohl Basismodelle als auch instruktionsfeinabgestimmte Chat-Varianten mit Größen von 7, 13 und 70 Milliarden Parametern.
Die Modellarchitektur blieb weitgehend unverändert gegenüber LLaMA 1, aber die Trainingsdaten wurden um 40 % erhöht. LLaMA 2 wurde mit öffentlich verfügbaren Daten trainiert, und die Chat-Versionen wurden mit Techniken wie RLHF (Reinforcement Learning aus menschlichem Feedback) feinabgestimmt. Die Modelle wurden unter einer benutzerdefinierten Lizenz verteilt, die kommerzielle Nutzung erlaubte, aber eine Richtlinie zur akzeptablen Nutzung auferlegte, was zu Streitigkeiten darüber führte, ob sie als Open-Source-Software qualifiziert waren.
Hintergrund
Die Veröffentlichung von ChatGPT Ende 2022 und seine schnelle Popularität verstärkten das Interesse an generativer KI und Large Language Models. Metas Chef-KI-Wissenschaftler Yann LeCun hatte zuvor erklärt, dass solche Modelle am besten für die Unterstützung beim Schreiben geeignet seien, was Metas Ansatz innerhalb der breiteren KI-Landschaft positionierte.
LLaMA 1, angekündigt am 24. Februar 2023, war eine Familie von Basismodellen mit einer Größe von 1B bis 65B Parametern. Seine Gewichte waren zunächst nur Forschern auf Einzelfallbasis unter einer nicht-kommerziellen Lizenz zugänglich. Im März 2023 wurden unbefugte Kopien von LLaMA 1 über BitTorrent und HuggingFace durchgesickert, was Meta dazu veranlasste, Unterlassungsaufforderungen einzureichen. Das Leck wurde mit der offenen Verteilung von Stable Diffusion verglichen, die eine schnelle Community-Innovation angeregt hatte.
Veröffentlichung und Funktionen
LLaMA 2 wurde am 18. Juli 2023 mit drei Parametergrößen angekündigt: 7B, 13B und 70B. Die Basismodelle wurden mit 2 Billionen Tokens öffentlich verfügbarer Daten trainiert, was einer Steigerung von 40 % gegenüber LLaMA 1 entspricht. Die Chat-Modelle wurden mit über 1 Million menschlichen Annotationen feinabgestimmt und verwendeten RLHF, um Antworten an die Benutzerabsicht anzupassen.
Die Lizenz für LLaMA 2 erlaubte kommerzielle Nutzung, enthielt jedoch Einschränkungen wie das Verbot, das Modell zur Verbesserung anderer Large Language Models zu verwenden. Dies führte dazu, dass die Open Source Initiative argumentierte, dass LLaMA 2 trotz Metas Verwendung des Begriffs nicht wirklich Open Source sei.
Kommerzielle und Ökosystem-Auswirkungen
Die kommerzielle Verfügbarkeit von LLaMA 2 machte es zu einer beliebten Wahl für Startups und Unternehmen, die eine Alternative zu proprietären Modellen von OpenAI und Anthropic suchten. Es wurde in Amazon Web Services (AWS), Azure und Google Cloud Plattformen integriert, was die Bereitstellung über verwaltete Dienste ermöglichte. Das 70B-Modell wurde besonders für seine Leistung bei Benchmarks beachtet und konkurrierte oft mit größeren proprietären Modellen.
Im August 2023 veröffentlichte Meta Code Llama, eine feinabgestimmte Version von LLaMA 2, die auf Codegenerierung spezialisiert ist, mit Größen von 7B, 13B, 34B und später 70B. Dies erweiterte die Anwendbarkeit von LLaMA 2 auf Softwareentwicklungsaufgaben.
Nachfolger und Vermächtnis
LLaMA 2 wurde am 18. April 2024 von LLaMA 3 abgelöst, das 8B- und 70B-Modelle einführte, die mit 15 Billionen Tokens trainiert wurden. LLaMA 3 zeigte, dass die Leistung auch über die Chinchilla-optimale Trainingsdatenmenge hinaus weiter verbessert wurde, eine Erkenntnis, die Skalierungspraktiken beeinflusste. LLaMA 3.1 folgte am 23. Juli 2024 mit einem 405B-Parametermodell, und LLaMA 4 wurde im April 2025 veröffentlicht.
Im April 2026 führte Meta Superintelligence Labs Muse Spark als Ersatz für LLaMA ein, was einen Wandel in Metas KI-Modellstrategie markierte. LLaMA 2 bleibt ein bedeutender Meilenstein in der Geschichte der Large Language Models mit offenen Gewichten, da es einen Präzedenzfall für kommerzielle Zugänglichkeit setzte und das Ökosystem der generativen KI prägte.