Der Meta-Llama-Leak bezieht sich auf die unbefugte Verbreitung der Modellgewichte von LLaMA (Large Language Model Meta AI), einer Familie von großen Sprachmodellen, die von Meta AI entwickelt wurden. Am 3. März 2023 wurde ein Torrent mit den Gewichten hochgeladen und auf 4chan geteilt, wodurch das Modell öffentlich zugänglich wurde, trotz Metas anfänglicher Zugangsrichtlinie von Fall zu Fall. Der Leak hatte erhebliche Auswirkungen auf die Open-Source-KI-Gemeinschaft, führte zu weit verbreiteten Experimenten und beeinflusste Metas spätere Entscheidung, Llama 2 unter einer freizügigeren Lizenz zu veröffentlichen.
LLaMA wurde am 24. Februar 2023 als eine Reihe von Fundamentmodellen angekündigt, die von 7 Milliarden bis 65 Milliarden Parametern reichen. Meta positionierte es als Forschungswerkzeug und gewährte nur akademischen Forschern und Industrielaboren Zugang. Der Leak umging diese Beschränkungen und ermöglichte Entwicklern weltweit, die Modelle auf Verbraucherhardware auszuführen und zu verfeinern, was eine Welle von Innovationen und Debatten über die Zugänglichkeit leistungsfähiger KI-Systeme auslöste.
Hintergrund
In den frühen 2020er Jahren zeigten die Veröffentlichung von GPT-3 und der anschließende Start von ChatGPT im November 2022 die Fähigkeiten großer Sprachmodelle. Forscher konzentrierten sich auf die Skalierung von Modellen und beobachteten emergente Fähigkeiten wie Argumentation und Übersetzung. Metas Chef-KI-Wissenschaftler Yann LeCun äußerte Skepsis gegenüber der Dominanz von LLMs und deutete an, dass sie am besten für Schreibhilfe geeignet seien, nicht für allgemeine Intelligenz. Trotzdem setzte Meta seine eigene LLM-Forschung fort, was zur Entwicklung von LLaMA führte.
Erste Veröffentlichung und Zugangsrichtlinie
Die erste Version von LLaMA wurde über einen Blogbeitrag und ein Papier eingeführt, das Training, Architektur und Leistung detailliert beschrieb. Der Inferenzcode wurde unter GPLv3 als Open Source veröffentlicht, aber die Gewichte waren hinter einem Bewerbungsprozess gesperrt. Meta zielte darauf ab, akademischen Forschern, Regierungsstellen und Industrielaboren Zugang zu gewähren, mit Genehmigung von Fall zu Fall. Das Modell wurde mit öffentlich verfügbaren Daten trainiert, und Meta berichtete, dass das 13B-Parametermodell GPT-3 bei vielen Benchmarks übertraf, während das 65B-Modell mit modernsten Systemen wie PaLM und Chinchilla konkurrierte.
Der Leak
Am 3. März 2023 wurde ein Torrent mit LLaMAs Gewichten hochgeladen, wobei ein Link auf 4chan und später in KI-Gemeinschaften geteilt wurde. Innerhalb von Tagen fügten Pull-Requests im offiziellen Llama-Repository Magnet-Links und HuggingFace-Repositories hinzu, die das Modell hosteten. Meta reagierte, indem es am 6. März Takedown-Anfragen bei HuggingFace einreichte, mit Verweis auf unbefugte Verbreitung, und eine DMCA-Anfrage gegen ein GitHub-Repository am 20. März. Die Leaks wurden breit diskutiert; einige fürchteten böswillige Nutzung, während andere die Demokratisierung der KI feierten. Kommentatoren verglichen das Ereignis mit der Veröffentlichung von Stable Diffusion, die ähnlich die Entwicklung generativer KI beschleunigt hatte.
Auswirkungen auf Open-Source-KI
Der Leak ermöglichte es Forschern und Hobbyisten, LLaMA für verschiedene Aufgaben zu verfeinern, was zu schnellen Fortschritten in generativen KI-Anwendungen führte. Kleinere Modelle konnten auf Verbraucher-GPUs laufen, was Eintrittsbarrieren senkte. In dieser Zeit entstanden zahlreiche feinabgestimmte Varianten und Werkzeuge, die ein lebendiges Ökosystem förderten. Der Leak setzte Meta auch unter Druck, seine Verteilungsstrategie zu überdenken, da die Katze bereits aus dem Sack war.
Llama 2 und Kommerzialisierung
Am 18. Juli 2023 kündigte Meta Llama 2 in Partnerschaft mit Microsoft an und veröffentlichte Modelle mit 7B, 13B und 70B Parametern. Im Gegensatz zum Original umfasste Llama 2 sowohl Fundament- als auch Chat-abgestimmte Versionen, und die Gewichte wurden unter einer benutzerdefinierten Lizenz für kommerzielle Nutzung verfügbar gemacht. Diese Lizenz auferlegte jedoch Nutzungsbeschränkungen, was die Open Source Initiative dazu veranlasste, Metas Verwendung des Begriffs "Open Source" anzufechten. Llama 2 wurde mit 40% mehr Daten trainiert als sein Vorgänger, und seine Veröffentlichung markierte eine Verschiebung hin zu breiterer Zugänglichkeit.
Code Llama, eine spezialisierte Variante für Programmierung, wurde am 24. August 2023 mit Größen von 7B, 13B und 34B veröffentlicht, gefolgt von einer 70B-Version am 29. Januar 2024. Diese Modelle wurden auf Codedatensätzen feinabgestimmt und zeigten verbesserte Leistung bei Programmieraufgaben.
Llama 3 und darüber hinaus
Am 18. April 2024 veröffentlichte Meta Llama 3 in Größen von 8B und 70B Parametern, trainiert mit etwa 15 Billionen Tokens. Die Modelle zeigten starke Leistung und schlugen Konkurrenten wie Gemini Pro 1.5 und Claude 3 Sonnet bei vielen Benchmarks. Bemerkenswerterweise zeigte Llama 3, dass die Leistung weiter verbessert wurde, selbst wenn die Trainingsdaten die Chinchilla-optimale Menge überschritten, eine Erkenntnis, die Skalierungspraktiken beeinflusste. Mark Zuckerberg bemerkte, dass das 8B-Modell fast das größte Llama 2 erreichte, und das 70B-Modell lernte am Ende des Trainings noch weiter.
Llama 3.1 folgte am 23. Juli 2024 und führte ein 405B-Parametermodell und erweiterte Kontextfenster ein. Meta startete auch Meta AI, einen Assistenten, der auf Llama basiert und in Facebook und WhatsApp integriert ist. Die neueste Version, Llama 4, kam im April 2025, aber im April 2026 veröffentlichte Meta Superintelligence Labs Muse Spark als Nachfolger, was eine neue Richtung signalisierte.
Vermächtnis und Kontroversen
Der Leak bleibt ein entscheidender Moment in der KI-Geschichte und hebt Spannungen zwischen Unternehmenskontrolle und offenem Zugang hervor. Er beschleunigte die Open-Source-Bewegung und führte zur Verbreitung lokaler LLMs und Werkzeuge wie Ollama und LM Studio. Er warf jedoch auch Bedenken hinsichtlich Missbrauchs auf, da die Gewichte für Spam oder Desinformation verwendet werden konnten. Metas spätere Veröffentlichungen versuchten, Offenheit mit Sicherheit in Einklang zu bringen, aber die Debatte darüber, was "Open Source" in der KI bedeutet, dauert an.
Siehe auch
Referenzen
Dieser Artikel basiert auf öffentlich verfügbaren Informationen und Berichten aus der Zeit des Leaks und der anschließenden Veröffentlichungen.