Phi 4 ist eine Familie von Large Language Models, die von Microsoft Research entwickelt wurde. Die Serie zeichnet sich durch vergleichsweise kompakte Modellgrößen im Vergleich zu Spitzensystemen aus, zielt jedoch auf wettbewerbsfähige Leistungen bei Aufgaben in den Bereichen Reasoning, Mathematik und Programmierung ab. Mehrere Varianten von Phi 4 sind auf öffentlichen LLM- und Medien-Leaderboards erschienen, wobei in Benchmark-Snapshots mindestens vier verschiedene Konfigurationen erfasst wurden.
Das erste öffentlich dokumentierte Phi-4-Modell wurde Ende 2024 veröffentlicht und baute auf der früheren Phi-3-Serie auf. Microsoft positionierte Phi 4 als forschungsorientiertes Modell, das den Schwerpunkt auf Datenqualität und synthetische Datengenerierung legt, anstatt auf schiere Größe. Die Flaggschiff-Variante Phi-4 (14B) zeigte starke Ergebnisse bei standardisierten Reasoning-Benchmarks wie MATH und GSM8K und übertraf dabei oft größere Modelle anderer Organisationen.
Modellvarianten und Benchmarks
Öffentliche Leaderboards, einschließlich der von KI-Evaluierungsplattformen gehosteten, listen mindestens vier Phi-4-Varianten auf. Dazu gehören das Basismodell mit 14B, eine instruktionsabgestimmte Version mit 14B sowie kleinere Konfigurationen (z. B. 7B und 3.8B), die etwas Genauigkeit gegen geringere Rechenanforderungen eintauschen. In Benchmark-Snapshots rangiert das instruktionsabgestimmte 14B-Modell durchweg unter den besten kompakten Modellen und erreicht Werte, die mit Modellen mit 70B oder mehr Parametern bei Aufgaben wie Codegenerierung (HumanEval) und logischer Deduktion (ARC) vergleichbar sind.
Die Modelle werden mit einer Transformer-Architektur mit Multi-Head-Attention und Positionskodierungen trainiert. Das Training verwendete eine Mischung aus kuratierten Webdaten, gefilterten Coderepositorien und synthetischen Datensätzen, die von größeren Lehrermodellen generiert wurden. Microsoft hat die vollständigen Trainingsdetails nicht offengelegt, aber der Ansatz steht im Einklang mit den Prinzipien des Curriculum-Lernens, bei dem die Aufgabenkomplexität schrittweise erhöht wird.
Technische Spezifikationen
Phi-4-Modelle verwenden ein dichtes, nicht-MoE-Design (Mixture-of-Experts), das die Bereitstellung auf Standardhardware vereinfacht. Die 14B-Variante hat 14 Milliarden Parameter, ein Kontextfenster von 8.192 Token und unterstützt Top-k- und Top-p-Sampling für die Generierung. Die Modelle werden unter einer permissiven Lizenz veröffentlicht (MIT für Forschung und kommerzielle Nutzung, mit einigen Einschränkungen für die 14B-Version).
Die Inferenz ist sowohl für die Azure-Cloud als auch für die lokale Bereitstellung optimiert. Die Modelle sind mit beliebten Frameworks wie Hugging Face Transformers und vLLM kompatibel. Microsoft berichtete, dass Phi 4 auf AWS-Trainium-Instanzen eine 2-fache Beschleunigung gegenüber Phi-3 erreicht, was auf verbesserte Kernel-Fusion zurückzuführen ist.
Leistung und Einschränkungen
Auf öffentlichen Leaderboards zeigen Phi-4-Varianten starke Leistungen in Mathematik und Logik, bleiben jedoch hinter Spitzenmodellen von OpenAI und Google DeepMind bei offenem kreativem Schreiben und nuancierter Befehlsausführung zurück. Die Modelle weisen gelegentliche Halluzinationen bei faktischen Abfragen auf, ein häufiges Problem in diesem Bereich. Microsoft hat RLHF-Daten (Reinforcement Learning from Human Feedback) veröffentlicht, um die Ausrichtung zu verbessern, aber die Modelle neigen weiterhin dazu, plausible, aber falsche Antworten zu Nischenthemen zu generieren.
Die 3.8B-Variante ist bemerkenswert, da sie auf Edge-Geräten, einschließlich Smartphones und eingebetteten Systemen, läuft, obwohl sie eine Quantisierung erfordert, um in die Speicherbeschränkungen zu passen. Dies macht Phi 4 zu einem Kandidaten für On-Device-generative KI-Anwendungen, ähnlich den Bemühungen von Apple und Samsung Electronics.
Ökosystem und Adoption
Phi 4 wurde in Microsofts Azure AI Foundry integriert und ist über die API verfügbar. Drittanbieterplattformen wie Groq und SambaNova bieten beschleunigte Inferenz für das 14B-Modell. Die offenen Gewichte haben Community-Feintunings für spezialisierte Bereiche, einschließlich medizinischer und juristischer Reasoning-Aufgaben, angeregt, obwohl diese nicht offiziell unterstützt werden.
Forscher am Stanford AI Lab und Berkeley AI Research haben Phi 4 in Studien zur Dateneffizienz zitiert und festgestellt, dass seine Leistung die Bedeutung der Kuratierung von Trainingsdaten gegenüber der rohen Parameteranzahl nahelegt. Das Modell wurde auch in Modell-Pruning-Experimenten verwendet, die zeigen, dass bis zu 30 % der Gewichte mit minimalem Genauigkeitsverlust entfernt werden können.
Zukünftige Richtungen
Microsoft hat kein Phi 5 angekündigt, aber das Unternehmen veröffentlicht weiterhin Forschung zu synthetischer Datengenerierung und Loss-Funktionen, die zukünftige Iterationen beeinflussen könnten. Stand Anfang 2025 bleibt Phi 4 ein Referenzpunkt für kompakte, leistungsstarke Modelle, und seine Varianten werden häufig als Baselines in akademischen Arbeiten über effizientes Deep Learning verwendet.
Die Modellfamilie ist Teil eines breiteren Trends hin zu kleineren, spezialisierten Modellen, die auf Verbraucherhardware laufen können, und stellt die Annahme in Frage, dass Skalierung der einzige Weg zu Fähigkeiten ist. Ob dieser Ansatz weiter skaliert werden kann, bleibt eine offene Frage, aber Phi 4 hat gezeigt, dass sorgfältig kuratierte Daten teilweise für weniger Parameter kompensieren können.