Meta Llama 4 ist eine Familie großer Sprachmodelle, die von Meta AI entwickelt und im April 2025 als Nachfolger von Llama 3 veröffentlicht wurde. Es zeichnet sich dadurch aus, dass es ein nativ multimodales Modell ist, das Text und Bilder verarbeiten und generieren kann, sowie durch sein erweitertes Kontextfenster von 10 Millionen Token, das es ihm ermöglicht, sehr lange Dokumente oder multimodale Eingaben in einem einzigen Durchgang zu verarbeiten. Die Veröffentlichung setzte Metas Strategie der offenen Gewichtsverteilung fort und machte die Modelle für Forschung und kommerzielle Nutzung unter einer Lizenz verfügbar, die viele Anwendungen erlaubt, wenn auch nicht vollständig Open Source im Sinne der Definition der Open Source Initiative.
Die Llama-Serie begann im Februar 2023 mit der ersten Veröffentlichung von Llama 1, das nur Forschern unter einer nicht-kommerziellen Lizenz zur Verfügung stand, dessen Gewichte jedoch kurz darauf über BitTorrent öffentlich durchsickerten. Nachfolgende Versionen, beginnend mit Llama 2 im Juli 2023, wurden mit großzügigeren Lizenzen veröffentlicht, die eine kommerzielle Nutzung erlaubten. Llama 3, veröffentlicht im April 2024, führte Modelle mit bis zu 70 Milliarden Parametern ein und wurde mit 15 Billionen Token trainiert. Llama 4 baute auf dieser Grundlage auf, fügte native Multimodalität und ein dramatisch größeres Kontextfenster hinzu und positionierte sich als konkurrenzfähige Antwort auf Modelle von OpenAI, Anthropic und Google DeepMind.
Hintergrund
Die Entwicklung von Llama 4 erfolgte im Kontext rascher Fortschritte bei den Fähigkeiten von großen Sprachmodellen. Die Veröffentlichung von ChatGPT im November 2022 hatte einen Anstieg des Interesses und der Investitionen in generative KI ausgelöst, was zu einem Wettlauf zwischen Technologieunternehmen führte, leistungsfähigere und effizientere Modelle zu produzieren. Metas Chef-KI-Wissenschaftler Yann LeCun hatte zuvor Skepsis gegenüber dem letztendlichen Potenzial großer Sprachmodelle geäußert und vorgeschlagen, dass sie am besten geeignet sind, um beim Schreiben zu helfen, anstatt allgemeine Intelligenz zu erreichen. Dennoch investierte Meta weiterhin stark in seine Llama-Serie, um mit proprietären Modellen zu konkurrieren, indem es offene Gewichts-Alternativen anbot.
Bis 2025 umfasste die Landschaft Modelle wie GPT-4 von OpenAI, Claude von Anthropic und Gemini von Google DeepMind, die alle die Grenzen dessen erweiterten, was mit Transformer-Architekturen möglich war. Metas Ansatz mit Llama 4 bestand darin, sich durch offenen Zugang und technische Innovationen wie native Multimodalität und ein extrem langes Kontextfenster zu differenzieren, was neue Anwendungen in der Dokumentenanalyse, Codegenerierung und multimodalen Argumentation ermöglichen könnte.
Architektur und Fähigkeiten
Llama 4 wurde als nativ multimodales Modell entwickelt, was bedeutet, dass es von Anfang an sowohl mit Text- als auch mit Bilddaten trainiert wurde, anstatt Bildverarbeitungsfähigkeiten nachträglich hinzuzufügen. Dieser Ansatz ermöglicht es dem Modell, Inhalte über Modalitäten hinweg zu verstehen und zu generieren, was Aufgaben wie Bildbeschriftung, visuelle Fragenbeantwortung und verschachtelte Text-Bild-Generierung ermöglicht. Die Architektur des Modells basiert auf dem Transformer-Framework mit Modifikationen zur Unterstützung multimodaler Eingaben und Ausgaben.
Eines der bedeutendsten Merkmale von Llama 4 ist sein Kontextfenster von 10 Millionen Token. Dies ist eine erhebliche Steigerung gegenüber früheren Modellen, die typischerweise Kontextfenster von 128.000 Token oder weniger unterstützten. Das größere Kontextfenster ermöglicht es dem Modell, ganze Bücher, lange Codebasen oder umfangreiche multimodale Dokumente in einem einzigen Durchgang zu verarbeiten, was die Kohärenz verbessert und die Notwendigkeit von Chunking oder Zusammenfassung reduziert. Diese Fähigkeit wurde durch Fortschritte bei positionalen Kodierungen und Multi-Head-Aufmerksamkeit ermöglicht, die eine effiziente Verarbeitung langer Sequenzen erlauben.
Llama 4 wurde in mehreren Größen veröffentlicht, von kleineren Modellen, die für Edge-Geräte geeignet sind, bis zu größeren Modellen für die Cloud-Bereitstellung. Die genauen Parameterzahlen wurden nicht vollständig offengelegt, aber die Familie umfasste Modelle mit Milliarden bis zu Hunderten von Milliarden Parametern, den Skalierungstrends früherer Versionen folgend. Die Modelle wurden mit einem vielfältigen Datensatz öffentlich verfügbarer Texte und Bilder trainiert, mit einem Fokus auf qualitativ hochwertige Daten zur Leistungsverbesserung.
Training und Daten
Meta AI trainierte Llama 4 auf einem großen Korpus öffentlich verfügbarer Daten, einschließlich Webtexten, Büchern, Code und Bildern. Der Trainingsprozess umfasste Deep-Learning-Techniken wie Adam-Optimierer und Lernratenpläne, um die Parameter des Modells zu optimieren. Die Verwendung von Datenaugmentierung und Curriculum-Lernen half, die Generalisierung und Robustheit zu verbessern. Die Modelle wurden als Foundation-Modelle vortrainiert und dann mit Anweisungsbefolgungsdaten feinabgestimmt, wobei Methoden wie Reinforcement Learning from AI Feedback (RLAIF) (Verstärkungslernen aus KI-Feedback) verwendet wurden, um sie an die Benutzerabsicht anzupassen.
Die Trainingsdaten wurden kuratiert, um eine breite Palette von Sprachen und Domänen abzudecken, was Llama 4 mehrsprachig und fähig macht, vielfältige Aufgaben zu bewältigen. Die Einbeziehung von Bilddaten erforderte die Entwicklung neuer Trainingspipelines zur Verarbeitung multimodaler Eingaben, wobei Cross-Attention-Mechanismen verwendet wurden, um Informationen aus verschiedenen Modalitäten zu fusionieren. Meta setzte auch Techniken wie Gradienten-Clipping und Batch-Normalisierung ein, um das Training auf großen Clustern zu stabilisieren.
Veröffentlichung und Verfügbarkeit
Llama 4 wurde im April 2025 angekündigt, wobei die Modelle zum Download von Metas Website und über Partnerplattformen zur Verfügung gestellt wurden. Die Veröffentlichung umfasste sowohl Foundation-Modelle als auch anweisungsabgestimmte Versionen, ähnlich wie bei früheren Llama-Veröffentlichungen. Die Gewichte wurden unter einer Lizenz verteilt, die kommerzielle Nutzung erlaubte, aber mit einer Richtlinie zur akzeptablen Nutzung, die bestimmte Anwendungen wie Spam-Generierung oder Überwachung einschränkte. Dies führte zu einer anhaltenden Debatte darüber, ob die Modelle als wirklich Open Source betrachtet werden könnten, da das Open-Panel und andere Organisationen darauf hinwiesen, dass die Lizenz nicht der Open Source Definition entsprach.
Meta integrierte Llama 4 auch in seinen Meta-KI-Assistenten, der auf Facebook, WhatsApp und einer eigenen Website verfügbar ist. Dies ermöglichte es Benutzern, mit dem Modell zu interagieren, um Fragen zu beantworten, Inhalte zu generieren und Bilder zu analysieren. Die Veröffentlichung wurde von Benchmarks begleitet, die zeigten, dass Llama 4 bei verschiedenen Aufgaben der natürlichen Sprachverarbeitung und multimodalen Aufgaben konkurrenzfähig mit führenden Modellen von OpenAI, Anthropic und Google DeepMind abschnitt.
Rezeption und Auswirkungen
Der Start von Llama 4 stieß in der KI-Community auf großes Interesse, insbesondere aufgrund seiner nativen Multimodalität und des langen Kontextfensters. Forscher und Entwickler lobten den Ansatz der offenen Gewichte, der eine Feinabstimmung und Bereitstellung auf kundenspezifischer Hardware, einschließlich AMD- und Intel-Chips, sowie auf Cloud-Plattformen wie Amazon Web Services, Azure und Google Cloud ermöglichte. Die Fähigkeit des Modells, 10 Millionen Token zu verarbeiten, eröffnete neue Möglichkeiten für Anwendungen in der Überprüfung juristischer Dokumente, der wissenschaftlichen Forschung und der Softwareentwicklung.
Einige Kritiker merkten jedoch an, dass die Leistung des Modells bei bestimmten Benchmarks nicht immer besser war als die kleinerer, spezialisierterer Modelle und dass die für die Inferenz mit einem so großen Kontextfenster erforderlichen Rechenressourcen unerschwinglich sein könnten. Die Veröffentlichung warf auch Bedenken hinsichtlich des Potenzials für Missbrauch auf, wie die Generierung irreführender Inhalte oder Deepfakes, angesichts der multimodalen Fähigkeiten des Modells. Meta adressierte diese Bedenken durch die Implementierung von Sicherheitsfiltern und die Bereitstellung von Richtlinien für verantwortungsvolle Nutzung.
Vergleich mit Wettbewerbern
Llama 4 trat in einen wettbewerbsintensiven Markt ein, in dem GPT-4 von OpenAI, Claude 3 von Anthropic und Gemini von Google DeepMind bereits etabliert waren. Jedes dieser Modelle hatte seine eigenen Stärken: GPT-4 war bekannt für seine allgemeinen Denk- und Programmierfähigkeiten, Claude 3 für sein langes Kontextfenster und seine Sicherheitsfunktionen und Gemini für seine multimodale Integration. Die Hauptunterscheidungsmerkmale von Llama 4 waren seine Verteilung mit offenen Gewichten, die Anpassung und lokale Bereitstellung ermöglichte, sowie sein Kontextfenster von 10 Millionen Token, das das der meisten Wettbewerber zu dieser Zeit übertraf.
In Bezug auf die Leistung zeigten die Benchmarks von Llama 4, dass es bei Aufgaben wie Machine-Learning-Benchmarks konkurrenzfähig war, aber nicht immer die höchste Punktzahl erreichte. Die offene Gewichts-Natur des Modells machte es attraktiv für Forscher, die das Modell studieren oder feinabstimmen wollten, und für Unternehmen, die eine Anbieterbindung vermeiden wollten. Die Veröffentlichung förderte auch Innovationen bei effizienten Inferenztechniken, da Entwickler versuchten, die großen Modelle auf begrenzter Hardware auszuführen.
Zukünftige Richtungen
Nach der Veröffentlichung von Llama 4 investierte Meta weiterhin in seine KI-Forschung mit Plänen, die Denk-, Programmier- und Mehrsprachigkeitsfähigkeiten des Modells zu verbessern. Das Unternehmen erforschte auch Wege, die Rechenkosten für Training und Inferenz zu senken, möglicherweise durch den Einsatz spezialisierter Hardware wie AWS Trainium oder Groq-Beschleuniger. Im April 2026 veröffentlichte Meta Superintelligence Labs Muse Spark als Ersatz für Llama, was eine Verschiebung hin zu fortschrittlicheren Modellen mit noch größeren Fähigkeiten signalisierte. Es wurde erwartet, dass Muse Spark auf den aus Llama 4 gewonnenen Erkenntnissen aufbaut und neue Architekturen und Trainingstechniken integriert, um die Grenzen des in der KI Möglichen zu erweitern.
Das Vermächtnis von Llama 4 liegt in seiner Demonstration, dass Modelle mit offenen Gewichten mit proprietären konkurrieren können und dass native Multimodalität und lange Kontextfenster in großem Maßstab machbar sind. Es hob auch die anhaltende Spannung zwischen Offenheit und Sicherheit in der KI-Entwicklung hervor, eine Debatte, die das Feld weiterhin prägt.