Ashish Vaswaniはコンピュータ科学者であり、2017年にGoogleで7人の共著者とともに執筆した論文「Attention Is All You Need」の主著者である。この論文は、ほぼすべての現代の大規模言語モデルの基盤となるTransformer (architecture)アーキテクチャを導入した。
Transformer論文
Vaswaniは南カリフォルニア大学でコンピュータ科学の博士号を取得し、Google Brainに入社する前に統計的機械翻訳の研究に従事していた。Transformer論文の主著者として、彼は系列変換モデルが再帰や畳み込みを完全に排除し、自己注意機構のみに依存して系列内のすべての位置間の関係を並列にモデル化することを提案する中心的な役割を果たした。結果として得られたアーキテクチャは、置き換えた再帰ネットワークよりも大規模な訓練において劇的に効率的であることが証明され、より大規模なモデルの事前学習を直接可能にし、BERT、GPTシリーズ、そしてOpenAI、Anthropic、Google DeepMindがその後リリースした事実上すべての主要モデルの基盤となった。
Google退社後
Vaswaniは2020年にGoogleを退社した。2022年には、Transformerの共著者であるNiki Parmarや他の元Google・OpenAIの研究者とともにAdept AIを共同設立した。このスタートアップは、ソフトウェアインターフェース内でアクションを実行できるAIエージェントの構築に焦点を当てており、2024年から2026年にかけてのより広範なAI agentおよびComputer use (AI)の波における初期の参入者となった。Adeptの技術とチームの一部は、2024年のライセンスおよび人材契約を通じてAmazonに吸収された。この構造は、他の大手研究所による小規模AIスタートアップの買収で使用されたものと類似している。
その後、VaswaniはEssential AIを共同設立した。これはエンタープライズ向けの基盤モデル研究に焦点を当てた別のスタートアップであり、彼の当初のTransformer研究から直接派生した大規模なPretraining研究に引き続き取り組んでいる。
影響
この分野の最近の歴史で最も多く引用された論文の主著者として、Vaswaniは現代の生成AI産業全体の設計者の一人として広く認識されている。この論文の8人の著者（Noam ShazeerやAidan Gomezを含む）は全員が最終的にGoogleを去り、その後のスタートアップや競合研究所に分散したキャリアは、2017年以降にTransformer時代のAI人材がどれほど集中し、流動的になったかを象徴するものとしてしばしば引用されている。