Ashish Vaswani é um cientista da computação e o autor principal de "Attention Is All You Need" (2017), o artigo escrito com sete coautores no Google que introduziu a arquitetura Transformer (architecture) que sustenta quase todos os modelos de linguagem de grande porte modernos.
O artigo do transformer
Vaswani possui doutorado em ciência da computação pela Universidade do Sul da Califórnia, onde trabalhou com tradução automática estatística antes de ingressar no Google Brain. Como autor principal do artigo do transformer, ele foi central ao propor que um modelo de transdução de sequências poderia dispensar completamente recorrência e convoluções, baseando-se apenas em um mecanismo de autoatenção para modelar relações entre todas as posições de uma sequência em paralelo. A arquitetura resultante mostrou-se dramaticamente mais eficiente para treinamento em escala do que as redes recorrentes que substituiu, e permitiu diretamente o pré-treinamento de modelos muito maiores, formando a base para o BERT, a série GPT e, efetivamente, todos os principais modelos lançados pela OpenAI, Anthropic e Google DeepMind desde então.
Depois do Google
Vaswani deixou o Google em 2020. Em 2022, ele cofundou a Adept AI junto com a coautora do transformer Niki Parmar e outros ex-pesquisadores do Google e da OpenAI, uma startup focada em construir agentes de IA capazes de executar ações dentro de interfaces de software, sendo um dos primeiros a entrar no que se tornou a onda mais ampla de agentes de IA e uso de computador entre 2024 e 2026. A tecnologia da Adept e parte de sua equipe foram absorvidas pela Amazon em um acordo de licenciamento e contratação de talentos em 2024, uma estrutura semelhante à usada em outras aquisições de startups menores de IA por grandes laboratórios.
Vaswani posteriormente cofundou a Essential AI, outra startup focada em pesquisa de modelos de fundação para aplicações empresariais, continuando a trabalhar no tipo de pesquisa de pré-treinamento em larga escala que descendia diretamente de seu trabalho original com o transformer.
Influência
Como autor principal do artigo mais citado na história recente do campo, Vaswani é amplamente reconhecido como um dos arquitetos de toda a indústria moderna de IA generativa. Os oito autores do artigo, incluindo Noam Shazeer e Aidan Gomez, eventualmente deixaram o Google, e suas carreiras subsequentes, dispersas entre startups e laboratórios concorrentes, têm sido frequentemente citadas como emblemáticas de como o talento em IA da era do transformer se tornou concentrado e móvel após 2017.