Llion Jones es un investigador galés de aprendizaje automático y emprendedor. Es más conocido como coautor del artículo de 2017 "Attention Is All You Need", que introdujo la arquitectura transformador, un modelo fundacional para los grandes modelos de lenguaje modernos. En 2023, cofundó Sakana AI, una startup con sede en Tokio centrada en IA inspirada en la naturaleza, donde se desempeña como Director de Tecnología.
Jones nació en 1984 en Bangor, Gales, y se crió en Bangor y Abergynolwyn en Gwynedd. Asistió a Coleg Meirion-Dwyfor antes de cursar estudios superiores en la Universidad de Birmingham, donde obtuvo una licenciatura en inteligencia artificial y ciencias de la computación, seguida de una maestría en ciencias de la computación avanzadas. Se graduó en 2009.
Primeros años y Google
Tras graduarse, Jones se unió a la división de YouTube de Google como ingeniero de software en 2011 o 2012. En 2015, pasó a Google Research, donde trabajó en inteligencia de máquinas y procesamiento de lenguaje natural. Su trabajo en Google Research lo situó en el centro de un equipo que produciría uno de los artículos más influyentes en el campo de la inteligencia artificial.
El artículo del Transformer
En 2017, Jones coescribió "Attention Is All You Need" junto a Jakob Uszkoreit, Lukasz Kaiser, Niki Parmar, Barret Zoph y otros. El artículo introdujo la arquitectura del transformer, que se basa por completo en mecanismos de autoatención en lugar de capas recurrentes o convolucionales. Este diseño permitió un procesamiento paralelo más eficiente y mejoró significativamente el rendimiento en tareas de secuencia a secuencia. El transformer se convirtió en la base de sistemas de IA posteriores, incluidos BERT, GPT y otros grandes modelos de lenguaje, y ha sido ampliamente adoptado en la investigación de aprendizaje automático y aprendizaje profundo.
Crítica al enfoque de la investigación en IA
Jones ha sido vocal sobre el alcance limitado de la investigación en IA, criticando particularmente el fuerte enfoque de Google en los grandes modelos de lenguaje en detrimento de otros enfoques. Ha argumentado que la concentración del campo en escalar modelos de lenguaje ha limitado la exploración de arquitecturas y paradigmas de aprendizaje alternativos. Esta perspectiva influyó en su trabajo posterior con Sakana AI, que busca inspirarse en sistemas naturales e inteligencia colectiva.
Fundación de Sakana AI
En 2023, Jones dejó Google Japón para cofundar Sakana AI con David Ha, ex investigador de Google y oficial de Stability AI. Se les unió Ren Ito. El nombre de la empresa, "Sakana", significa "pez" en japonés, reflejando su misión de desarrollar IA que imite los comportamientos adaptativos y colectivos de organismos naturales. Sakana AI busca crear sistemas de IA más eficientes y flexibles aprovechando principios como la inteligencia de enjambre y los algoritmos evolutivos. Jones asumió el rol de Director de Tecnología, supervisando la dirección técnica y la estrategia de investigación.
Impacto y reconocimiento
Las contribuciones de Jones al artículo del transformer han tenido un impacto duradero en el campo de la inteligencia artificial. La arquitectura que ayudó a crear sustenta muchos de los productos y servicios de IA más prominentes, incluida la serie GPT de OpenAI, los modelos de lenguaje de Google DeepMind y diversas aplicaciones de IA generativa. Su trabajo ha sido citado extensamente en la literatura académica y ha influido en el desarrollo de redes neuronales más allá del procesamiento de lenguaje natural, incluidos la visión por computadora y el procesamiento de audio.
Vida personal e intereses
Jones es conocido por su interés en la intersección de la IA y la biología, a menudo trazando paralelismos entre sistemas naturales y modelos computacionales. Ha hablado sobre la importancia de la investigación interdisciplinaria y el potencial de la IA para inspirarse en la eficiencia y adaptabilidad de los organismos vivos. Su herencia galesa y su crianza en el rural Gwynedd han sido señaladas en entrevistas como factores que moldearon su perspectiva sobre la tecnología y la comunidad.
Desarrollos posteriores
A partir de 2025, Sakana AI ha continuado creciendo, atrayendo la atención de inversores e investigadores interesados en paradigmas alternativos de IA. Jones sigue activo en la comunidad de IA, contribuyendo a discusiones sobre el futuro del campo y abogando por una agenda de investigación más amplia más allá de los grandes modelos de lenguaje. Su trabajo con Sakana AI representa una desviación significativa de los enfoques convencionales, centrándose en modelos más pequeños y adaptables que pueden operar eficientemente en entornos con recursos limitados.
Legado
La arquitectura del transformer introducida por Jones y sus colegas ha sido descrita como un punto de inflexión en la investigación de IA, permitiendo avances en aprendizaje automático y aprendizaje profundo. Su influencia se extiende a grandes empresas tecnológicas e instituciones de investigación, incluidos Google DeepMind, OpenAI, Anthropic y laboratorios académicos como Stanford AI Lab y MIT CSAIL. El papel de Jones en este desarrollo, junto con sus esfuerzos empresariales posteriores, lo posiciona como una figura notable en la evolución continua de la inteligencia artificial.
Referencias
- "Attention Is All You Need" (2017) - Vaswani et al.
- Sitio web oficial de Sakana AI y comunicados de prensa
- Entrevistas y charlas públicas de Llion Jones