LLaMA (Large Language Model Meta AI) ist eine Familie von Large Language Models, die von Meta AI entwickelt wurde und erstmals im Februar 2023 veröffentlicht wurde. Die Modelle umfassen eine Größenordnung von 1 Milliarde bis über 2 Billionen Parametern und wurden in verschiedenen Versionen veröffentlicht, darunter Llama 2, Llama 3 und Llama 4. Ursprünglich als Foundation-Modell konzipiert, umfassten spätere Versionen auch instruktionsfeinabgestimmte Varianten. Die Modelle wurden unter Lizenzen verfügbar gemacht, die eine gewisse kommerzielle Nutzung erlauben, jedoch nicht vollständig Open Source sind.
Die Veröffentlichung von LLaMA markierte einen bedeutenden Schritt in der Demokratisierung der generativen KI, da sie eine leistungsstarke Alternative zu proprietären Modellen wie der GPT-Serie von OpenAI darstellte. Die offene Verteilung, insbesondere nach dem unbefugten Leak der ersten Version, löste eine Welle von Forschung und Entwicklung in der KI-Community aus.
Hintergrund
Nach der Veröffentlichung von Modellen wie GPT-3 konzentrierte sich die KI-Forschungsgemeinschaft auf die Skalierung von Modellen, was zu emergenten Fähigkeiten führte. Der Start von ChatGPT Ende 2022 verstärkte das Interesse an Large Language Models. Metas Chef-KI-Wissenschaftler Yann LeCun merkte an, dass Large Language Models besonders nützlich für die Unterstützung bei Schreibaufgaben sind, und positionierte LLaMA als Werkzeug für solche Anwendungen.
Erste Veröffentlichung und Leak
Die erste Version von LLaMA wurde am 24. Februar 2023 über einen Blogbeitrag und ein Paper angekündigt, das Training, Architektur und Leistung detailliert beschrieb. Der Inferenzcode wurde unter der Open-Source-Lizenz GPLv3 veröffentlicht, der Zugang zu den Modellgewichten war jedoch auf akademische Forscher und Industrielabore auf Einzelfallbasis beschränkt. Meta trainierte Modelle verschiedener Größen, von 7B bis 65B Parametern, auf öffentlich verfügbaren Daten, um sie auf unterschiedlicher Hardware zugänglich zu machen.
Am 3. März 2023 wurde ein Torrent mit LLaMAs Gewichten auf 4chan hochgeladen, und der Link verbreitete sich in Online-KI-Communities. Dieser unbefugte Leak führte zu einer weit verbreiteten Verfügbarkeit, wobei Meta Takedown-Anfragen gegen HuggingFace-Repositories und ein GitHub-Skript stellte. Die Reaktionen waren gemischt: Einige fürchteten Missbrauch, während andere die Zugänglichkeit feierten und sie mit der offenen Veröffentlichung von Stable Diffusion verglichen, die Innovation beschleunigte.
Llama 2
Am 18. Juli 2023 kündigte Meta Llama 2 in Partnerschaft mit Microsoft an und veröffentlichte Modelle mit 7, 13 und 70 Milliarden Parametern. Die Architektur blieb weitgehend unverändert gegenüber Llama 1, aber die Trainingsdaten wurden um 40 % erhöht. Llama 2 umfasste sowohl Foundation- als auch Chat-feingetunte Modelle, und die Gewichte wurden für viele kommerzielle Nutzungen freigegeben, obwohl die Lizenzrichtlinie zur akzeptablen Nutzung bedeutete, dass es nicht vollständig Open Source war. Code Llama, eine Feinabstimmung für Code, wurde im August 2023 und Januar 2024 veröffentlicht.
Llama 3 und darüber hinaus
Am 18. April 2024 veröffentlichte Meta Llama 3 mit 8B- und 70B-Parametergrößen, vortrainiert auf etwa 15 Billionen Tokens. Die Modelle zeigten starke Leistungen und übertrafen Gemini Pro 1.5 und Claude 3 Sonnet bei vielen Benchmarks. Meta kündigte auch Pläne für mehrsprachige und multimodale Fähigkeiten an. Llama 3.1 folgte am 23. Juli 2024, und Llama 4 wurde im April 2025 veröffentlicht. Im April 2026 führte Meta Superintelligence Labs Muse Spark als Ersatz für Llama ein.
Auswirkungen und Rezeption
Die LLaMA-Familie hatte einen tiefgreifenden Einfluss auf das KI-Ökosystem und ermöglichte Forschern und Entwicklern, auf einem leistungsstarken offenen Modell aufzubauen. Ihre Veröffentlichung hat Debatten über Open-Source-Lizenzierung und die Ethik der Modellverteilung ausgelöst, während sie gleichzeitig eine lebendige Gemeinschaft von Werkzeugen und Anwendungen förderte.