Ashish Vaswani es un científico informático y el autor principal de "Attention Is All You Need" (2017), el artículo escrito con siete coautores en Google que introdujo la arquitectura Transformer (architecture) subyacente a casi todos los modelos de lenguaje grandes modernos.
El artículo del transformer
Vaswani tiene un doctorado en ciencias de la computación por la Universidad del Sur de California, donde trabajó en traducción automática estadística antes de unirse a Google Brain. Como autor principal del artículo del transformer, fue central en proponer que un modelo de transducción de secuencias podía prescindir por completo de la recurrencia y las convoluciones, y basarse únicamente en un mecanismo de autoatención para modelar las relaciones entre todas las posiciones de una secuencia en paralelo. La arquitectura resultante demostró ser dramáticamente más eficiente de entrenar a escala que las redes recurrentes que reemplazó, y permitió directamente el preentrenamiento de modelos mucho más grandes, formando la base de BERT, la serie GPT, y efectivamente todos los modelos principales lanzados por OpenAI, Anthropic y Google DeepMind desde entonces.
Después de Google
Vaswani dejó Google en 2020. En 2022, cofundó Adept AI junto con la coautora del transformer Niki Parmar y otros ex investigadores de Google y OpenAI, una startup centrada en construir agentes de IA capaces de realizar acciones dentro de interfaces de software, un participante temprano en lo que se convirtió en la ola más amplia de agentes de IA y uso de computadoras de 2024 a 2026. La tecnología de Adept y una parte de su equipo fueron absorbidas por Amazon en un acuerdo de licencia y talento en 2024, una estructura similar a la utilizada en otras adquisiciones de startups de IA más pequeñas por parte de grandes laboratorios.
Vaswani posteriormente cofundó Essential AI, otra startup centrada en la investigación de modelos fundacionales para aplicaciones empresariales, continuando trabajando en el tipo de investigación de preentrenamiento a gran escala que descendía directamente de su trabajo original sobre el transformer.
Influencia
Como autor principal del artículo más citado en la historia reciente del campo, Vaswani es ampliamente considerado uno de los arquitectos de toda la industria moderna de IA generativa. Los ocho autores del artículo, incluidos Noam Shazeer y Aidan Gomez, eventualmente dejaron Google, y sus carreras posteriores, dispersas entre startups y laboratorios rivales, a menudo se citan como emblemáticas de cuán concentrado y móvil se volvió el talento de IA de la era del transformer después de 2017.