Noam Shazeer ist ein US-amerikanischer Informatiker, der als einer der acht Koautoren des 2017 veröffentlichten Papers bekannt wurde, das die Transformer-Architektur einführte, sowie als Mitbegründer des Chatbot-Unternehmens Character.AI.
Karriere bei Google
Shazeer arbeitete viele Jahre vor der Transformer-Ära bei Google und trug zu großen Systemen bei, darunter Teile der Google-Rechtschreibkorrektur und frühe Forschung zu Mixture-of-Experts, einer Architektur, die er populär machte, um die Modellkapazität zu skalieren, ohne die Rechenkosten proportional zu erhöhen. 2017 war er Koautor von „Attention Is All You Need“, dem Paper, das den Transformer einführte, welcher die rekurrente Verarbeitung durch einen Selbstaufmerksamkeitsmechanismus ersetzte und zur architektonischen Grundlage fast aller bedeutenden großen Sprachmodelle wurde, die seither entwickelt wurden, darunter BERT und GPT-3. Alle acht Autoren des Papers verließen schließlich Google.
Character.AI
2021 verließ Shazeer Google, um Character.AI mitzugründen, ein Unternehmen, das Nutzern ermöglichte, anpassbare KI-Personas zu erstellen und mit ihnen zu interagieren, basierend auf großen Sprachmodellen, die das Unternehmen selbst trainierte. Character.AI wuchs schnell und erreichte zig Millionen Nutzer, wurde jedoch auch zu einem der bekanntesten Beispiele für KI-Begleitprodukte, stand aber wegen der Sicherheit der Interaktionen mit jüngeren Nutzern und eines viel beachteten Falls von Nutzerschädigung in der Kritik.
Rückkehr zu Google
Im August 2024 kündigte Google eine Vereinbarung an, im Rahmen derer das Unternehmen die Technologie von Character.AI lizenzierte und einen Großteil der Führungsebene übernahm, einschließlich Shazeer, der als leitender Angestellter in die Google DeepMind-Organisation zurückkehrte und zur Entwicklung der Gemini-Modellfamilie beitrug. Die Struktur – eine Lizenzvereinbarung plus Personalübernahme statt einer formellen Übernahme – wurde weithin als Teil eines Musters gesehen, bei dem große KI-Labore die Gründer kleinerer KI-Unternehmen zurückholten, ähnlich wie bei den Deals mit Inflection AI und Microsoft.
Einfluss
Als Koautor des Transformer-Papers gilt Shazeer als einer der Architekten der technischen Grundlage der gesamten generativen KI-Branche, die nach 2022 entstand. Sein Karriereweg – von Google zu einem KI-Startup für Verbraucher und zurück – wird häufig als Beispiel dafür angeführt, wie konzentriert der Markt für Spitzenkräfte im KI-Bereich während des Booms der generativen KI wurde.