Llama 2 ist eine Familie großer Sprachmodelle (LLMs), die von Meta AI entwickelt und am 18. Juli 2023 in Partnerschaft mit Microsoft veröffentlicht wurde. Es ist der Nachfolger des ursprünglichen Llama-Modells und umfasst sowohl Basismodelle als auch instruktionsfeinabgestimmte Chat-Versionen. Im Gegensatz zu seinem Vorgänger wurde Llama 2 mit Gewichten für eine breite kommerzielle Nutzung verfügbar gemacht, vorbehaltlich einer Richtlinie zur akzeptablen Nutzung, was das Ökosystem der Open-Source-KI erheblich beeinflusste.
Llama-2-Modelle sind Teil der breiteren Large language model-Landschaft und bauen auf Fortschritten bei Transformer (architecture)-Architekturen und Deep learning-Techniken auf. Die Veröffentlichung wurde als großer Schritt zur Demokratisierung des Zugangs zu leistungsstarker KI angesehen und bot eine wettbewerbsfähige Alternative zu proprietären Modellen von Unternehmen wie OpenAI und Google DeepMind.
Hintergrund
Der rasche Fortschritt großer Sprachmodelle in den frühen 2020er-Jahren, der die Bühne für Llama bereitete, ist mit dem Erfolg von Generative AI-Werkzeugen verknüpft. Die Veröffentlichung von GPT-3 zeigte, dass die Skalierung der Modellgröße dramatische Verbesserungen der Fähigkeiten bewirken konnte. Im November 2022 startete OpenAI ChatGPT, das breite Aufmerksamkeit erlangte und einen Anstieg von KI-Forschung und -Investitionen auslöste.
Meta AI, der KI-Forschungszweig von Meta, war auf diesem Gebiet aktiv, mit bemerkenswerten Beiträgen wie der Transformer (architecture)-Architektur, die von Forschern bei Google DeepMind und anderen entwickelt wurde. Metas leitender KI-Wissenschaftler Yann LeCun äußerte öffentlich Skepsis gegenüber dem Hype um große Sprachmodelle und erklärte, dass diese am besten für die Unterstützung bei Schreibaufgaben geeignet seien, was Metas Fokus widerspiegelt, KI praktischer und zugänglicher zu machen.
Ursprüngliche Veröffentlichung und Leak
Die ursprüngliche Llama-Familie (Llama 1, stilisiert als LLaMA) wurde am 24. Februar 2023 über einen Blogbeitrag und ein technisches Papier angekündigt. Sie war in Größen von 1 Milliarde bis 65 Milliarden Parametern verfügbar und wurde mit öffentlich zugänglichen Daten trainiert. Zunächst waren die Modellgewichte nur Forschern auf Einzelfallbasis unter einer nicht-kommerziellen Lizenz zugänglich.
Die Gewichte wurden jedoch bald online geleakt. Im März 2023 wurde ein Torrent der Gewichte auf 4chan geteilt und verbreitete sich schnell. Meta sandte Unterlassungsaufforderungen an HuggingFace und GitHub für Repositories, die das Modell hosteten, aber der Leak ermöglichte weit verbreitete private Nutzung und Forschung. Viele betrachteten den Leak als Wendepunkt für offene KI, mit Vergleichen zu Stable Diffusion, das Innovation beschleunigte.
Llama-2-Veröffentlichung
Am 18. Juli 2023 kündigte Meta in Partnerschaft mit Microsoft Llama 2 an, die nächste Generation der Llama-Familie. Das Unternehmen veröffentlichte drei Parametergrößen: 7 Milliarden, 13 Milliarden und 70 Milliarden Parameter. Meta veröffentlichte auch sowohl Basismodelle als auch feinabgestimmte Varianten. Insbesondere die Chat-Feinabstimmungen wurden für den Konversationsgebrauch entwickelt.
Die Modelle wurden mit 40 % mehr Daten trainiert als das ursprüngliche Llama, aber die Architektur blieb weitgehend unverändert. Llama-2-Modelle verwendeten Residual Network (ResNet)-Blöcke mit Aufmerksamkeitsmechanismus und profitierten von Layer Normalization und anderen Innovationen. Die Instruktions-Feinabstimmung verwendete RLAIF-artige Techniken, die überwachte Feinabstimmung und menschliches Feedback kombinierten.
Kommerzielle Verfügbarkeit und Lizenz
Der bemerkenswerteste Aspekt der Llama-2-Veröffentlichung war die Entscheidung, Gewichte für die freie Nutzung in vielen kommerziellen Anwendungen bereitzustellen. Meta veröffentlichte die Modelle unter einer benutzerdefinierten Lizenz, die Nutzung, Vervielfältigung und Modifikation für sowohl kommerzielle als auch Forschungszwecke erlaubt, mit einigen Einschränkungen bei Anwendungsfällen, die durch die Richtlinie definiert sind.
Aufgrund der Richtlinie zur akzeptablen Nutzung und anderer Bedingungen argumentierten viele Kritiker, dass Llama 2 nach den Standards der Open Source Initiative (OSI) nicht wirklich Open Source sei. Dennoch war die Verfügbarkeit eines leistungsstarken Sprachmodells, das für kommerzielle Nutzung offen ist, ein Meilenstein, der kleineren Organisationen und Einzelpersonen ermöglichte, auf der Technologie aufzubauen, ohne auf kostenpflichtige APIs angewiesen zu sein.
Die Partnerschaft mit Microsoft war bemerkenswert, da sie die Veröffentlichung in die Microsoft Azure-Infrastruktur integrierte. Die Modelle wurden im Azure-AI-Modellkatalog verfügbar gemacht, konnten aber auch direkt heruntergeladen werden, was die Zugänglichkeit erhöhte.
Modellarchitektur und Training
Llama 2 verwendete eine Architektur, die seinem Vorgänger ähnelte, jedoch mit Anpassungen bei der Skalierung. Die Modellgröße reichte bis zu 70 Milliarden Parametern, was es ermöglichte, komplexere Muster zu erfassen. Das Training verwendete eine Mischung aus Quellen, einschließlich Webseiten, Büchern und anderen öffentlichen Daten, mit einem Fokus auf Qualitätsfilterung.
Ein Schlüsselaspekt des Trainingsprozesses umfasst die Optimierung des Kreuzentropieverlusts unter Verwendung von Prinzipien wie Learning Rate Scheduling und Model Pruning. Meta integrierte auch Techniken wie Dropout und Weight Initialization, um die Leistung zu verbessern.
Die 7B-, 13B- und 70B-Modelle sind verfügbar, wobei das 70B-Modell für den Betrieb auf mehreren GPUs ausgelegt ist. Llama 2 wurde gegen zeitgenössische Modelle wie GPT-3 und Chinchilla evaluiert und erzielte wettbewerbsfähige Ergebnisse bei verschiedenen Benchmark-Aufgaben, einschließlich Argumentation und Codierung.
Auswirkungen auf das Open-Source-KI-Ökosystem
Die Veröffentlichung von Llama 2 mit kommerziellem Zugang beschleunigte das Wachstum des Open-Source-KI-Ökosystems erheblich. Es bot eine Alternative zu proprietären Modellen und förderte eine Gemeinschaft von Entwicklern, Forschern und Startups. Viele Unternehmen, wie AI21-Labs und Inflection AI, verwendeten Llama 2 als Grundlage für ihre eigenen Modelle.
Darüber hinaus wurde die Veröffentlichung von der Integration in Cloud-Dienste wie Amazon Web Services, Google Cloud und Oracle Cloud Infrastructure begleitet, was die Bereitstellung zugänglich machte. Zudem optimierten Hardware-Anbieter AMD, Intel und Qualcomm ihre Chips, um Llama effizient auszuführen.
Derivate und Feinabstimmungen
Die Llama-2-Modelle wurden häufig für verschiedene Anwendungen feinabgestimmt. Ein bemerkenswertes Beispiel ist Code Llama, eine Feinabstimmung mit spezialisierten Code-Datensätzen. Veröffentlicht am 24. August 2023, zunächst in 7B-, 13B- und 34B-Versionen, und später eine 70B-Version am 29. Januar 2024. Code Llama wurde mit 500 Milliarden Tokens an Codedaten trainiert, basierend auf dem Basismodell. Die Generative AI-Gemeinschaft produzierte viele andere Feinabstimmungen, wie Modelle für kreatives Schreiben, rechtliche Unterstützung und medizinische Beratung.
Die Zugänglichkeit der Modellgewichte ermöglichte es Forschern, Techniken wie Model Pruning, Quantization und Gewichte anzuwenden, was es kleinen KI-Unternehmen und Bildungseinrichtungen ermöglichte, die Technologie zu studieren und anzupassen.
Reaktion und Kritik
Die Reaktionen auf Llama 2 waren im Allgemeinen positiv, aber auch besorgniserregend. Befürworter lobten das Potenzial, KI zu demokratisieren und Innovation zu fördern, und stellten fest, dass es mit kommerziellen Modellen wie GPT-3.5 konkurrieren konnte. Einige Kritiker wiesen jedoch darauf hin, dass die Lizenzbeschränkungen immer noch nicht vollständig "offen" im definierten Sinne seien, was den Freiheitsgrad einschränkte.
Die Richtlinie zur akzeptablen Nutzung beschränkte Anwendungen in Bereichen wie Überwachung, Spam und Malware. Dies wurde als Versuch debattiert, Missbrauch zu verhindern, schränkte aber auch die Flexibilität ein.
Einige Forscher wiesen auch auf die Umwelt- und Ressourcenbedenken beim Training großer Modelle wie Llama 2 hin. Das Training erforderte erhebliche Rechenleistung, was ethische und praktische Fragen aufwarf.
Vermächtnis und Zukunft
Llama 2 setzte einen neuen Standard für offene KI und führte zur späteren Veröffentlichung von Llama 3 im April 2024. Die Veröffentlichung hatte einen nachhaltigen Effekt auf die Branche und veranlasste große kommerzielle Labore, zu überdenken, wie Modelle geteilt werden könnten. Sie förderte auch das Wachstum der offenen KI-Sammlung als Grundlage für andere Produkte.
Llama 2s Ansatz, Gewichte mit Einschränkungen bereitzustellen, wurde von anderen Entwicklern übernommen, um KI-Assistenten wie Meta AI zu bauen, das jetzt auf Llama 3 basiert. Stand Ende 2025 ist Llama eine Familie von Modellen, und trotz des Aufkommens neuer Modelle bleibt Llama 2 ein grundlegender Meilenstein.
Zusammenfassung
Zusammenfassend war die Ankündigung von Meta Llama 2 ein bedeutendes Ereignis im Fortschritt der generativen KI. Durch die Kombination starker Leistung mit permissiven Gewichten half Metas Entscheidung, das offene KI-Ökosystem zu formen. Das Ereignis wird oft als einer der Wendepunkte zitiert, die das Interesse an kommerzieller KI erwärmten.
Zum Zeitpunkt seiner Veröffentlichung markierte Llama 2 eine Abkehr von den restriktiveren Praktiken anderer KI-Modelle, und seine Auswirkungen waren weitreichend.