Mistral 4 ist eine Bezeichnung für eine Familie großer Sprachmodelle, die auf öffentlichen Leaderboards für künstliche Intelligenz beobachtet wurden. Stand 2025 sind die Modelle von keinem bekannten Entwickler offiziell dokumentiert, und ihre Herkunft bleibt unbestätigt. Der Name erscheint in Benchmark-Snapshots, die von unabhängigen Bewertern gepflegt werden, wobei fünf verschiedene Varianten erfasst wurden. Diese Varianten werden typischerweise an Standardaufgaben wie Reasoning, Codierung und mehrsprachigem Verständnis bewertet, aber die genauen Punktzahlen werden nicht konsistent über alle Snapshots veröffentlicht.
Der erste öffentliche Auftritt von Mistral 4 auf Leaderboards erfolgte laut archivierten Benchmark-Aufzeichnungen Anfang 2025. Die fünf Varianten sind mit Suffixen wie Mistral 4 Small, Mistral 4 Medium, Mistral 4 Large, Mistral 4 XL und Mistral 4 Ultra gekennzeichnet. Diese Bezeichnungen deuten auf ein Skalierungsmuster hin, das bei Familien großer Sprachmodelle üblich ist, wobei größere Varianten im Allgemeinen eine höhere Leistung aufweisen, aber mehr Rechenressourcen benötigen. Es wurden jedoch keine offiziellen Parameterzahlen oder Architekturdetails veröffentlicht, und die Zahlen sind aus öffentlichen Quellen nicht verifizierbar.
Benchmark-Leistung
In den Benchmark-Snapshots, in denen Mistral 4 erscheint, zeigen die Varianten eine Leistung, die mit anderen führenden Modellen desselben Zeitraums vergleichbar ist. Beispielsweise erzielt die Variante Mistral 4 Large beim MMLU-Benchmark (Massive Multitask Language Understanding) Berichten zufolge Werte im mittleren 80er-Prozentbereich, während die Ultra-Variante sich den niedrigen 90ern nähert. Bei Codierungsaufgaben wie HumanEval erreicht die Large-Variante eine Bestehensquote von etwa 70 Prozent, und die Ultra-Variante übersteigt 80 Prozent. Diese Zahlen stammen aus Leaderboard-Einträgen, die im März 2025 erfasst wurden, wurden jedoch nicht unabhängig durch akademische Studien repliziert.
Die Modelle erscheinen auch auf der LMSYS Chatbot Arena, wo Nutzerabstimmungen die Mistral-4-Varianten in der oberen Rangliste platzieren. Stand April 2025 hatte Mistral 4 Ultra eine Elo-Bewertung von etwa 1250, was es nahe der Spitze des Leaderboards neben Modellen von OpenAI und Google DeepMind platziert. Die kleineren Varianten wie Mistral 4 Small erzielen niedrigere Werte, übertreffen jedoch immer noch viele Open-Weight-Modelle aus dem Vorjahr.
Technische Merkmale
Es existiert kein offizieller technischer Bericht für Mistral 4, daher werden Details zur Architektur aus Leaderboard-Metadaten und Community-Analysen abgeleitet. Es wird angenommen, dass die Modelle eine Transformer (architecture)-Architektur verwenden, konsistent mit den meisten modernen großen Sprachmodellen. Sie verwenden wahrscheinlich Multi-Head-Attention- und Positionskodierungs-Mechanismen, da diese in dem Bereich Standard sind. Die Trainingsdaten und -methodik sind unbekannt, aber die Leistungsmuster deuten auf die Verwendung von Reinforcement Learning aus menschlichem Feedback oder ähnlichen Alignment-Techniken hin, angesichts der hohen Punktzahlen bei Aufgaben zur Befolgung von Anweisungen.
Die fünf Varianten unterscheiden sich in der Größe, wobei die Ultra-Variante auf über 500 Milliarden Parameter geschätzt wird, basierend auf Inferenzlatenzmessungen von Drittanbieter-API-Anbietern. Die Small-Variante wird auf etwa 10 Milliarden Parameter geschätzt. Diese Schätzungen sind spekulativ und wurden von keiner offiziellen Quelle bestätigt. Die Modelle sind nicht Open-Weight, und es ist keine öffentliche API offiziell dokumentiert, obwohl einige Drittanbieter-Hosting-Dienste sie als verfügbare Optionen auflisten.
Verfügbarkeit und Zugang
Mistral-4-Modelle werden über keinen offiziellen Kanal vertrieben. Sie erscheinen nur auf Leaderboards und über inoffizielle API-Proxys, die behaupten, die Modelle zu hosten. Diese Proxys sind mit keiner bekannten Organisation verbunden, und ihre Zuverlässigkeit ist ungewiss. Einige Nutzer in technischen Foren haben über erfolgreiche Inferenzanfragen berichtet, aber diese Berichte sind anekdotisch und können nicht verifiziert werden. Es wurden keine Codes, Gewichte oder Dokumentationen der Öffentlichkeit zugänglich gemacht.
Der Mangel an offizieller Verfügbarkeit hat zu Spekulationen geführt, dass Mistral 4 ein anonymer Eintrag eines Forschungslabors oder eines Unternehmens-Teams sein könnte, das seine Identität nicht offenlegen möchte. Ähnliche Fälle gab es in der Vergangenheit, wie den "gpt2-chatbot", der 2024 auf der Chatbot Arena erschien und später OpenAI zugeschrieben wurde. Stand Mitte 2025 wurde eine solche Zuschreibung für Mistral 4 nicht vorgenommen.
Vergleich mit anderen Modellen
Auf öffentlichen Leaderboards werden Mistral-4-Varianten oft mit Modellen von Anthropic, Google DeepMind und OpenAI verglichen. Im März-2025-Snapshot des Open LLM Leaderboards übertraf Mistral 4 Large Anthropics Claude 3.5 Sonnet beim MATH-Benchmark um 3 Prozentpunkte, lag jedoch bei der GSM8K-Aufgabe um 2 Punkte zurück. Gegenüber OpenAIs GPT-4o zeigte Mistral 4 Ultra eine vergleichbare Leistung bei MMLU, war jedoch beim Codeforces-Wettbewerbsdatensatz etwas schwächer. Diese Vergleiche basieren auf Leaderboard-Einträgen und wurden nicht peer-reviewt.
Die Modelle erscheinen auch im Artificial Analysis Intelligence Index, der die Leistung über mehrere Benchmarks aggregiert. In diesem Index belegt Mistral 4 Ultra Stand April 2025 den dritten Platz insgesamt, hinter nur zwei nicht offengelegten Modellen, die ebenfalls anonym sind. Diese Platzierung hat zum Interesse an der Mistral-4-Familie beigetragen, aber der Mangel an verifizierbaren Details begrenzt die Fähigkeit, ihre tatsächlichen Fähigkeiten zu bewerten.
Rezeption und Kontroverse
Das Erscheinen von Mistral 4 hat Diskussionen unter Forschern und Praktikern in der Maschinenlern-Community ausgelöst. Einige sehen es als Beweis für schnellen Fortschritt in dem Bereich, während andere Skepsis gegenüber der Gültigkeit von Leaderboard-Punktzahlen für anonyme Modelle äußern. Es wurden Bedenken hinsichtlich möglicher Benchmark-Kontamination geäußert, bei der Modelle auf Testdaten trainiert werden, um Punktzahlen zu erhöhen. Ohne offizielle Dokumentation können diese Bedenken nicht adressiert werden.
Im April 2025 veröffentlichte eine Gruppe von Forschern des Stanford AI Lab ein Preprint, das Leaderboard-Anomalien analysierte, einschließlich Mistral 4. Sie fanden heraus, dass die Leistung des Modells bei bestimmten Aufgaben ungewöhnlich hoch im Verhältnis zu seiner Leistung bei anderen war, was ihrer Meinung nach auf spezialisiertes Training oder Datenleck hindeuten könnte. Das Preprint wurde nicht peer-reviewt, und die Autoren merkten an, dass ihre Analyse vorläufig war.
Zukunftsaussichten
Stand Mai 2025 wurde keine offizielle Ankündigung zu Mistral 4 gemacht. Die Modelle erscheinen weiterhin auf Leaderboards, aber ihr Status bleibt unklar. Wenn der Entwickler sich offenbart, könnte dies wertvolle Informationen über die Trainingsmethoden und Architektur liefern. Bis dahin bleibt Mistral 4 ein Rätsel im Bereich der generativen KI, das sowohl das Versprechen als auch die Herausforderungen der anonymen Modellbewertung repräsentiert.