Im März 2023 wurden die Modellgewichte von Metas erstem großen Sprachmodell LLaMA online durchgesickert, wodurch die Gewichte über BitTorrent und andere Plattformen öffentlich zugänglich wurden. Das Leck, das kurz nach der ursprünglich eingeschränkten Veröffentlichung des Modells für Forscher auftrat, ermöglichte einer breiten Gemeinschaft von Entwicklern und Forschern, das Modell herunterzuladen, auszuführen und zu verfeinern, was die Entwicklung von Open-Source-KI erheblich beschleunigte und Debatten über Zugänglichkeit, Sicherheit und die Zukunft der KI-Verteilung auslöste.
Hintergrund
Nach der Veröffentlichung großer Sprachmodelle wie GPT-3 lag ein Hauptfokus der KI-Forschung auf der Hochskalierung von Modellen, die in einigen Fällen erhebliche Zuwächse bei emergenten Fähigkeiten zeigten. Die Veröffentlichung von ChatGPT und ihr überraschender Erfolg führten zu einem Anstieg der Aufmerksamkeit für große Sprachmodelle und veranlassten viele Organisationen, ihre eigenen KI-Programme zu beschleunigen.
Im Vergleich zu anderen Reaktionen auf ChatGPT erklärte Metas Chef-KI-Wissenschaftler Yann LeCun, dass große Sprachmodelle am besten geeignet seien, um beim Schreiben zu helfen. Metas Ansatz zur Veröffentlichung seines LLaMA-Modells unterschied sich von dem von OpenAI, das die Gewichte von GPT-3 und ChatGPT proprietär hielt.
Ursprüngliche Veröffentlichung von LLaMA
Die erste Version von LLaMA (stilisiert als LLaMA und manchmal als Llama 1 bezeichnet) wurde am 24. Februar 2023 über einen Blogbeitrag und ein Papier angekündigt, das das Training, die Architektur und die Leistung des Modells beschreibt. Der Inferenzcode, der zum Ausführen des Modells verwendet wird, wurde öffentlich unter der Open-Source-Lizenz GPLv3 veröffentlicht. Der Zugang zu den Gewichten des Modells wurde über ein Bewerbungsverfahren verwaltet, wobei der Zugang „auf Einzelfallbasis an akademische Forscher; an Personen, die mit Organisationen in Regierung, Zivilgesellschaft und Wissenschaft verbunden sind; und an industrielle Forschungslabore weltweit" gewährt werden sollte.
LLaMA wurde nur mit öffentlich verfügbaren Informationen trainiert und in verschiedenen Modellgrößen trainiert, mit der Absicht, es für verschiedene Hardware zugänglicher zu machen. Das Modell war ausschließlich ein Foundation-Modell, obwohl das Papier Beispiele für instruktionsfeinabgestimmte Versionen des Modells enthielt.
Meta AI berichtete, dass die Leistung des 13B-Parameter-Modells bei den meisten NLP-Benchmarks die des viel größeren GPT-3 (mit 175B Parametern) übertraf und das größte 65B-Modell mit modernsten Modellen wie PaLM und Chinchilla konkurrieren konnte.
Das Leck
Am 3. März 2023 wurde ein Torrent mit den Gewichten von LLaMA hochgeladen, wobei ein Link zu dem Torrent auf dem 4chan-Imageboard geteilt und anschließend in Online-KI-Gemeinschaften verbreitet wurde. Am selben Tag wurde ein Pull-Request im Haupt-LLaMA-Repository eröffnet, der das Hinzufügen des Magnet-Links zur offiziellen Dokumentation forderte. Am 4. März wurde ein Pull-Request eröffnet, um Links zu HuggingFace-Repositories mit dem Modell hinzuzufügen.
Am 6. März reichte Meta Entfernungsaufforderungen ein, um die im Pull-Request verlinkten HuggingFace-Repositories zu entfernen, und charakterisierte dies als „unerlaubte Verbreitung" des Modells. HuggingFace kam den Aufforderungen nach. Am 20. März reichte Meta eine DMCA-Entfernungsaufforderung wegen Urheberrechtsverletzung gegen ein Repository ein, das ein Skript enthielt, das LLaMA von einem Spiegel herunterlud, und GitHub kam am nächsten Tag nach.
Reaktionen auf das Leck
Die Reaktionen auf das Leck waren unterschiedlich. Einige spekulierten, dass das Modell für böswillige Zwecke verwendet würde, wie zum Beispiel für ausgefeilteren Spam. Andere feierten die Zugänglichkeit des Modells sowie die Tatsache, dass kleinere Versionen des Modells relativ kostengünstig ausgeführt werden können, und deuteten an, dass dies das Aufblühen zusätzlicher Forschungsentwicklungen fördern würde.
Mehrere Kommentatoren, wie Simon Willison, verglichen LLaMA mit Stable Diffusion, einem Text-zu-Bild-Modell, das im Gegensatz zu vergleichbar ausgefeilten Vorgängermodellen offen verteilt wurde, was zu einer raschen Verbreitung zugehöriger Werkzeuge, Techniken und Software führte. Das Leck machte LLaMA effektiv zu einem Open-Weight-Modell, umging Metas kontrollierten Zugang und ermöglichte eine Welle gemeinschaftsgetriebener Experimente.
Auswirkungen auf Open-Source-KI
Das Leck beschleunigte die Entwicklung des Open-Source-KI-Ökosystems. Innerhalb von Wochen erstellten Entwickler feinabgestimmte Versionen von LLaMA für spezifische Aufgaben, einschließlich Instruktionsbefolgung und Chat, unter Verwendung von Techniken wie LoRA und QLoRA, um das Modell auf Consumer-Hardware auszuführen. Dies führte zu einer Verbreitung von Werkzeugen und Anwendungen, einschließlich lokaler Chatbots und Forschungsprojekte, die unter dem eingeschränkten Zugang nicht möglich gewesen wären.
Das Leck beeinflusste auch Metas anschließende Veröffentlichungsstrategie. Der Erfolg und die Begeisterung der Gemeinschaft um das durchgesickerte Modell trugen wahrscheinlich zu Metas Entscheidung bei, Llama 2 im Juli 2023 mit einer großzügigeren Lizenz zu veröffentlichen, die kommerzielle Nutzung erlaubte, wenn auch mit Einschränkungen. Dies markierte einen Wandel vom ursprünglichen akademischen Zugang auf Einzelfallbasis zu einer breiteren öffentlichen Veröffentlichung, obwohl die Lizenz bestimmte Verwendungen weiterhin untersagte, was zu Streitigkeiten darüber führte, ob sie als Open Source qualifiziert war.
Nachfolgende Versionen
Nach dem Leck entwickelte Meta die LLaMA-Familie weiter. Am 18. Juli 2023 kündigte Meta in Partnerschaft mit Microsoft Llama 2 an, die nächste Generation von Llama. Meta trainierte und veröffentlichte Llama 2 in drei Modellgrößen: 7, 13 und 70 Milliarden Parameter. Die Modellarchitektur blieb weitgehend unverändert gegenüber der von Llama 1, aber es wurden 40 % mehr Daten verwendet, um die Foundation-Modelle zu trainieren.
Llama 2 umfasste Foundation-Modelle und für Chat feinabgestimmte Modelle. In einer weiteren Abweichung von der ursprünglichen Version wurden alle Modelle mit Gewichten veröffentlicht und konnten für viele kommerzielle Anwendungsfälle verwendet werden. Da Llamas Lizenz eine Richtlinie zur akzeptablen Nutzung durchsetzte, die bestimmte Zwecke untersagte, war es im strengen Sinne nicht Open Source. Metas Verwendung des Begriffs „Open-Source" zur Beschreibung von Llama wurde von der Open Source Initiative (die die Open Source Definition pflegt) und anderen angefochten.
Code Llama, eine Feinabstimmung von Llama 2 mit codespezifischen Datensätzen, wurde in Versionen mit 7B, 13B und 34B Parametern am 24. August 2023 veröffentlicht, mit einer 70B-Version am 29. Januar 2024. Ausgehend von den Foundation-Modellen von Llama 2 trainierte Meta AI zusätzliche 500B Tokens an Codedatensätzen, gefolgt von 20B Tokens an Langkontextdaten, wodurch die Code-Llama-Foundation-Modelle entstanden. Dieses Foundation-Modell wurde weiter mit 5B Instruktionsbefolgungs-Tokens trainiert, um die Instruktions-Feinabstimmung zu erstellen. Ein weiteres Foundation-Modell wurde für Python-Code erstellt, trainiert mit 100B Tokens an reinem Python-Code, bevor die Langkontextdaten verwendet wurden.
Am 18. April 2024 veröffentlichte Meta Llama 3 mit zwei Größen: 8B und 70B Parameter. Die Modelle wurden mit etwa 15 Billionen Tokens an Text vortrainiert, die aus „öffentlich verfügbaren Quellen" gesammelt wurden, wobei die Instruktionsmodelle mit „öffentlich verfügbaren Instruktionsdatensätzen sowie über 10 Millionen menschlich annotierten Beispielen" feinabgestimmt wurden. Metas KI-Tests zeigten im April 2024, dass Llama 3 70B Gemini Pro 1.5 und Claude 3 Sonnet bei den meisten Benchmarks übertraf. Meta kündigte auch Pläne an, Llama 3 mehrsprachig und multimodal zu machen, besser beim Codieren und Denken zu sein und seinen Kontextfenster zu vergrößern.
In Bezug auf Skalierungsgesetze zeigten Llama-3-Modelle empirisch, dass die Leistung weiterhin log-linear skaliert, wenn ein Modell mit mehr Daten trainiert wird als die „Chinchilla-optimale" Menge. Zum Beispiel beträgt der Chinchilla-optimale Datensatz für Llama 3 8B 200 Milliarden Tokens, aber die Leistung skalierte weiterhin log-linear auf den 75-mal größeren Datensatz von 15 Billionen Tokens.
Während eines Interviews mit Dwarkesh Patel sagte Mark Zuckerberg, dass die 8B-Version von Llama 3 fast so leistungsfähig sei wie das größte Llama 2. Im Vergleich zu früheren Modellen erklärte Zuckerberg, dass das Team überrascht war, dass das 70B-Modell selbst am Ende des 15T-Token-Trainings noch lernte. Die Entscheidung wurde getroffen, das Training zu beenden, um GPU-Leistung anderswo zu konzentrieren.
Zusammen mit der Veröffentlichung von Llama 3 führte Meta Meta AI ein, einen auf Llama aufgebauten KI-Assistenten. Meta AI hat eine eigene Website und ist auf Facebook und WhatsApp verfügbar. Die neueste Version ist Llama 4, veröffentlicht im April 2025. Im April 2026 veröffentlichte Meta Superintelligence Labs Muse Spark als Ersatz für Llama, das Chatbots auf verschiedenen Meta-Diensten antreibt.
Vermächtnis
Das LLaMA-Leck von 2023 wird weithin als ein entscheidender Moment in der Geschichte der Open-Source-KI angesehen. Es zeigte die Nachfrage nach zugänglichen großen Sprachmodellen und beeinflusste die Strategien sowohl von Meta als auch anderer Organisationen. Das Leck hob auch die Herausforderungen hervor, die Verteilung leistungsstarker KI-Modelle zu kontrollieren, ein Thema, das weiterhin politische Diskussionen über KI-Sicherheit und -Governance prägt.
Das Ereignis trug zum breiteren generativen KI-Boom bei, da die Verfügbarkeit von LLaMA-Gewichten eine Welle von Innovationen ermöglichte, die andernfalls verzögert worden wäre. Es setzte auch einen Präzedenzfall für die Veröffentlichung nachfolgender Modelle wie Llama 2 und Llama 3, die zu grundlegenden Werkzeugen für Forscher und Entwickler weltweit geworden sind.