Ashish Vaswani ist ein Informatiker und Hauptautor des Papers „Attention Is All You Need“ (2017), das zusammen mit sieben Koautoren bei Google verfasst wurde und die Transformer (architecture)-Architektur einführte, die nahezu allen modernen großen Sprachmodellen zugrunde liegt.
Das Transformer-Paper
Vaswani promovierte in Informatik an der University of Southern California, wo er vor seinem Wechsel zu Google Brain an statistischer maschineller Übersetzung arbeitete. Als Hauptautor des Transformer-Papers war er maßgeblich daran beteiligt, vorzuschlagen, dass ein Sequenztransduktionsmodell vollständig auf Rekurrenz und Faltungen verzichten und sich ausschließlich auf einen Selbstaufmerksamkeitsmechanismus stützen könne, um Beziehungen zwischen allen Positionen einer Sequenz parallel zu modellieren. Die resultierende Architektur erwies sich beim Training in großem Maßstab als dramatisch effizienter als die rekurrenten Netzwerke, die sie ersetzte, und ermöglichte direkt das Vortraining deutlich größerer Modelle. Sie bildete die Grundlage für BERT, die GPT-Serie und praktisch jedes bedeutende Modell, das seitdem von OpenAI, Anthropic und Google DeepMind veröffentlicht wurde.
Nach Google
Vaswani verließ Google im Jahr 2020. 2022 gründete er gemeinsam mit der Transformer-Koautorin Niki Parmar sowie weiteren ehemaligen Google- und OpenAI-Forschern Adept AI, ein Startup, das sich auf die Entwicklung von KI-Agenten konzentrierte, die Aktionen innerhalb von Softwareoberflächen ausführen können. Es war ein früher Akteur in der breiteren AI agent- und Computer use (AI)-Welle von 2024 bis 2026. Adepts Technologie und ein Teil des Teams wurden 2024 im Rahmen eines Lizenz- und Talentdeals von Amazon übernommen, einer Struktur, die auch bei anderen Übernahmen kleinerer KI-Startups durch große Labore verwendet wurde.
Anschließend gründete Vaswani Essential AI, ein weiteres Startup, das sich auf Grundlagenmodellforschung für Unternehmensanwendungen konzentrierte. Damit setzte er seine Arbeit an groß angelegter Pretraining-Forschung fort, die direkt aus seiner ursprünglichen Transformer-Arbeit hervorging.
Einfluss
Als Hauptautor des am häufigsten zitierten Papers in der jüngeren Geschichte des Feldes gilt Vaswani weithin als einer der Architekten der gesamten modernen generativen KI-Industrie. Die acht Autoren des Papers, darunter Noam Shazeer und Aidan Gomez, verließen alle schließlich Google, und ihre anschließenden, verstreuten Karrieren über Startups und konkurrierende Labore hinweg werden oft als Sinnbild dafür angeführt, wie konzentriert und mobil das KI-Talent der Transformer-Ära nach 2017 wurde.