LLaMA 1 (Large Language Model Meta AI) war die erste Veröffentlichung in Metas Familie großer Sprachmodelle, die am 24. Februar 2023 angekündigt wurde. Das Modell wurde als Grundlagenmodell konzipiert, das ausschließlich mit öffentlich verfügbaren Daten trainiert wurde, und war in Parametergrößen von 7 Milliarden bis 65 Milliarden erhältlich. Seine Veröffentlichung markierte eine bedeutende Verschiebung in der Landschaft der großen Sprachmodelle, da es eine wettbewerbsfähige Leistung gegenüber wesentlich größeren proprietären Systemen zeigte, während es für Forschungszwecke zugänglicher war.
Die ursprüngliche Verteilung von LLaMA 1 war auf akademische Forscher und Industrielabore unter einer nicht-kommerziellen Lizenz beschränkt, wobei der Zugang von Fall zu Fall gewährt wurde. Innerhalb weniger Wochen nach der Ankündigung wurden die Gewichte des Modells jedoch online durchgesickert, was zu einer weit verbreiteten unbefugten Verteilung führte und Debatten über offenen Zugang zu KI-Systemen auslöste.
Hintergrund und Kontext
Die Entwicklung von LLaMA 1 erfolgte in einer Zeit intensiven Interesses an großen Sprachmodellen nach der Veröffentlichung von OpenAIs GPT-3 und dem anschließenden Start von ChatGPT. Der Erfolg dieser Systeme hob das Potenzial der Skalierung neuronaler Netzwerkarchitekturen hervor, insbesondere der Transformer-Architektur, die zum dominierenden Ansatz in der Verarbeitung natürlicher Sprache geworden war.
Metas Chef-KI-Wissenschaftler Yann LeCun positionierte große Sprachmodelle als besonders nützlich für die Unterstützung von Schreibaufgaben und unterschied damit Metas Ansatz von Wettbewerbern, die breitere Fähigkeiten betonten. Das Unternehmen zielte darauf ab, ein effizienteres Modell zu schaffen, das auf weniger leistungsfähiger Hardware laufen konnte, um fortgeschrittene KI-Forschung für akademische Einrichtungen mit begrenzten Rechenressourcen zugänglicher zu machen.
Ursprüngliche Veröffentlichung und Architektur
Die erste Version von LLaMA wurde über einen Blogbeitrag und ein begleitendes Forschungspapier angekündigt, das die Trainingsmethodik, Architektur und Leistungsmerkmale beschrieb. Der Inferenzcode wurde unter der Open-Source-Lizenz GPLv3 veröffentlicht, während die Modellgewichte hinter einem Bewerbungsprozess gesperrt blieben. Dieser hybride Ansatz sollte Forschungstransparenz mit Bedenken hinsichtlich potenziellem Missbrauch in Einklang bringen.
Meta trainierte LLaMA 1 in mehreren Größen, wobei die Version mit 13 Milliarden Parametern GPT-3 (175 Milliarden Parameter) bei den meisten NLP-Benchmarks übertraf. Das größte Modell mit 65 Milliarden Parametern erzielte Ergebnisse, die mit modernsten Systemen wie PaLM und Chinchilla konkurrenzfähig waren. Die Trainingsdaten bestanden vollständig aus öffentlich verfügbaren Quellen, und die Modelle wurden so konzipiert, dass sie rechnerisch effizienter waren als ihre größeren Gegenstücke.
Der Leak und seine Folgen
Am 3. März 2023 wurde ein Torrent mit LLaMAs Gewichten auf dem 4chan-Imageboard hochgeladen und geteilt, wobei Links anschließend in Online-KI-Gemeinschaften verbreitet wurden. Innerhalb weniger Tage wurden Pull Requests im offiziellen LLaMA-Repository eröffnet, um Magnet-Links und HuggingFace-Repository-Referenzen hinzuzufügen. Meta reichte am 6. März Unterlassungsaufforderungen ein, die die Verteilung als unbefugt charakterisierten, und HuggingFace kam den Aufforderungen nach.
Am 20. März reichte Meta eine DMCA-Unterlassungsaufforderung gegen ein Repository ein, das ein Skript enthielt, das LLaMA von einem Spiegel herunterlud, und GitHub kam am folgenden Tag nach. Trotz dieser Bemühungen blieb das Modell über verschiedene Spiegel-Sites und Torrent-Netzwerke weit verbreitet zugänglich.
Die Reaktionen auf den Leak waren geteilt. Einige Kommentatoren äußerten Bedenken hinsichtlich potenzieller bösartiger Anwendungen, wie etwa ausgefeilter Spam-Generierung. Andere feierten die erhöhte Zugänglichkeit und stellten fest, dass kleinere Versionen des Modells relativ kostengünstig ausgeführt werden konnten, was möglicherweise Forschung und Innovation beschleunigte. Simon Willison und andere Kommentatoren zogen Vergleiche zu Stable Diffusion, dem offen verteilten Text-zu-Bild-Modell, das ähnlich eine schnelle Verbreitung von Werkzeugen und Techniken ausgelöst hatte.
Vermächtnis und Auswirkungen
Die Veröffentlichung von LLaMA 1 und der anschließende Leak hatten nachhaltige Auswirkungen auf das KI-Ökosystem. Sie zeigten, dass große Sprachmodelle effektiv außerhalb großer Technologieunternehmen verteilt werden konnten, und stellten die Annahme in Frage, dass solche Systeme massive Recheninfrastruktur erforderten. Die Architektur und der Trainingsansatz des Modells beeinflussten nachfolgende Open-Weight-Modelle und trugen zur wachsenden Open-Source-KI-Bewegung bei.
Die Erfahrung mit LLaMA 1 prägte Metas Ansatz für nachfolgende Veröffentlichungen. Llama 2, veröffentlicht am 18. Juli 2023 in Partnerschaft mit Microsoft, umfasste sowohl Grundlagen- als auch instruktionsabgestimmte Modelle mit breiterer kommerzieller Lizenzierung. Llama 3 folgte am 18. April 2024 mit Modellen, die auf 15 Billionen Token trainiert wurden und verbesserte Leistung boten. Die Linie wurde mit Llama 4 im April 2025 fortgesetzt, und Meta Superintelligence Labs veröffentlichte Muse Spark als Ersatz im April 2026.
LLaMA 1s Vermächtnis liegt in seiner Demonstration, dass wettbewerbsfähige große Sprachmodelle mit relativ bescheidenen Parameterzahlen und öffentlich verfügbaren Daten gebaut werden konnten, während es auch die Herausforderungen der Kontrolle des Zugangs zu leistungsstarken KI-Systemen nach der Veröffentlichung hervorhob.