Llion Jones é um pesquisador de aprendizado de máquina e empresário galês. Ele é mais conhecido como coautor do artigo de 2017 "Attention Is All You Need", que introduziu a arquitetura transformer, um modelo fundamental para os modernos modelos de linguagem de grande porte. Em 2023, ele cofundou a Sakana AI, uma startup sediada em Tóquio focada em IA inspirada na natureza, onde atua como Diretor de Tecnologia
Jones nasceu em 1984 em Bangor, País de Gales, e foi criado em Bangor e Abergynolwyn, em Gwynedd. Ele frequentou o Coleg Meirion-Dwyfor antes de buscar educação superior na Universidade de Birmingham, onde obteve um bacharelado em inteligência artificial e ciência da computação, seguido por um mestrado em ciência da computação avançada. Ele se formou em 2009
Início de Carreira e Google
Após se formar, Jones ingressou na divisão do YouTube do Google como engenheiro de software em 2011 ou 2012. Em 2015, ele fez a transição para o Google Research, onde trabalhou com inteligência de máquina e processamento de linguagem natural. Seu trabalho no Google Research o colocou no centro de uma equipe que produziria um dos artigos mais influentes no campo da inteligência artificial.
O Artigo do Transformer
Em 2017, Jones coautorou "Attention Is All You Need" ao lado de Jakob Uszkoreit, Lukasz Kaiser, Niki Parmar, Barret Zoph, e outros. O artigo introduziu a arquitetura transformer, que depende inteiramente de mecanismos de autoatenção em vez de camadas recorrentes ou convolucionais. Esse design permitiu um processamento paralelo mais eficiente e melhorou significativamente o desempenho em tarefas de sequência para sequência. O transformer se tornou a espinha dorsal de sistemas de IA subsequentes, incluindo BERT, GPT, e outros modelos de linguagem de grande porte, e foi amplamente adotado em pesquisas de aprendizado de máquina e aprendizado profundo.
Crítica ao Foco da Pesquisa em IA
Jones tem sido vocal sobre o escopo estreito da pesquisa em IA, criticando particularmente o foco pesado do Google em modelos de linguagem de grande porte em detrimento de outras abordagens. Ele argumentou que a concentração do campo em escalar modelos de linguagem limitou a exploração de arquiteturas alternativas e paradigmas de aprendizado. Essa perspectiva influenciou seu trabalho posterior com a Sakana AI, que busca se inspirar em sistemas naturais e inteligência coletiva
Fundação da Sakana AI
Em 2023, Jones deixou o Google Japão para cofundar a Sakana AI com David Ha, um ex-pesquisador do Google e oficial da Stability AI. Eles foram acompanhados por Ren Ito. O nome da empresa, "Sakana," significa "peixe" em japonês, refletindo sua missão de desenvolver IA que imita os comportamentos adaptativos e coletivos de organismos naturais. A Sakana AI visa criar sistemas de IA mais eficientes e flexíveis ao aproveitar princípios como inteligência de enxame e algoritmos evolucionários. Jones assumiu o papel de Diretor de Tecnologia, supervisionando a direção técnica e a estratégia de pesquisa
Impacto e Reconhecimento
As contribuições de Jones ao artigo do transformer tiveram um impacto duradouro no campo da inteligência artificial. A arquitetura que ele ajudou a criar sustenta muitos dos produtos e serviços de IA mais proeminentes, incluindo a série GPT da OpenAI, os modelos de linguagem do Google DeepMind, e várias aplicações de IA generativa. Seu trabalho tem sido citado extensivamente na literatura acadêmica e influenciou o desenvolvimento de redes neurais além do processamento de linguagem natural, incluindo em visão computacional e processamento de áudio
Vida Pessoal e Interesses
Jones é conhecido por seu interesse na interseção entre IA e biologia, frequentemente traçando paralelos entre sistemas naturais e modelos computacionais. Ele falou sobre a importância da pesquisa interdisciplinar e o potencial para a IA ser inspirada pela eficiência e adaptabilidade de organismos vivos. Sua herança galesa e sua criação na zona rural de Gwynedd foram notadas em entrevistas como moldando sua perspectiva sobre tecnologia e comunidade
Desenvolvimentos Posteriores
Em 2025, a Sakana AI continuou a crescer, atraindo atenção de investidores e pesquisadores interessados em paradigmas alternativos de IA. Jones permanece ativo na comunidade de IA, contribuindo para discussões sobre o futuro do campo e defendendo uma agenda de pesquisa mais ampla além dos modelos de linguagem de grande porte. Seu trabalho com a Sakana AI representa um afastamento significativo das abordagens dominantes, focando em modelos menores e mais adaptáveis que podem operar eficientemente em ambientes com recursos limitados
Legado
A arquitetura transformer introduzida por Jones e seus colegas tem sido descrita como um ponto de virada na pesquisa em IA, permitindo avanços em aprendizado de máquina e aprendizado profundo. Sua influência se estende a grandes empresas de tecnologia e instituições de pesquisa, incluindo Google DeepMind, OpenAI, Anthropic, e laboratórios acadêmicos como Stanford AI Lab e MIT CSAIL. O papel de Jones nesse desenvolvimento, juntamente com seus esforços empreendedores subsequentes, o posiciona como uma figura notável na evolução contínua da inteligência artificial.
Referências
- "Attention Is All You Need" (2017) - Vaswani et al.
- Site oficial da Sakana AI e comunicados à imprensa
- Entrevistas e palestras públicas de Llion Jones