Llion Jones是一位威尔士机器学习研究者和企业家。他以共同撰写2017年论文《Attention Is All You Need》而闻名，该论文提出了Transformer架构，这是现代大语言模型的基础模型。2023年，他共同创立了Sakana AI，这是一家专注于自然启发式AI的东京初创公司，他在其中担任首席技术官。
Jones于1984年出生在威尔士的班戈，并在格温内斯的班戈和阿伯吉诺尔温长大。他在进入伯明翰大学接受高等教育之前就读于梅里恩-德维福学院，并在伯明翰大学获得了人工智能与计算机科学学士学位，随后获得了高级计算机科学硕士学位。他于2009年毕业。
早期职业生涯与谷歌
毕业后，Jones于2011年或2012年加入谷歌的YouTube部门担任软件工程师。2015年，他转至谷歌研究院，从事机器智能和自然语言处理方面的工作。他在谷歌研究院的工作使他处于一个团队的核心位置，该团队后来产出了人工智能领域最具影响力的论文之一。
Transformer论文
2017年，Jones与Jakob Uszkoreit、Lukasz Kaiser、Niki Parmar、Barret Zoph等人共同撰写了《Attention Is All You Need》。该论文提出了Transformer架构，该架构完全依赖于自注意力机制，而非循环层或卷积层。这种设计允许更高效的并行处理，并显著提升了序列到序列任务的性能。Transformer成为后续AI系统的支柱，包括BERT、GPT及其他大语言模型，并在机器学习和深度学习研究中被广泛采用。
对AI研究焦点的批评
Jones一直对AI研究的狭窄范围直言不讳，尤其批评谷歌对大型语言模型的过度关注，而忽视了其他方法。他认为，该领域对扩展语言模型的专注限制了替代架构和学习范式的探索。这一观点影响了他后来在Sakana AI的工作，该公司致力于从自然系统和集体智能中汲取灵感。
创立Sakana AI
2023年，Jones离开谷歌日本，与David Ha（前谷歌研究员及Stability AI高管）共同创立了Sakana AI，随后Ren Ito也加入其中。公司名称“Sakana”在日语中意为“鱼”，反映了其开发模仿自然生物适应性和集体行为的AI的使命。Sakana AI旨在通过利用群体智能和进化算法等原则，创建更高效、更灵活的AI系统。Jones担任首席技术官，负责技术方向和研究战略。
影响与认可
Jones对Transformer论文的贡献对人工智能领域产生了持久影响。他参与创建的架构支撑了许多最著名的AI产品和服务，包括OpenAI的GPT系列、Google DeepMind的语言模型，以及各种生成式AI应用。他的工作在学术文献中被广泛引用，并影响了神经网络在自然语言处理之外的领域的发展，包括计算机视觉和音频处理。
个人生活与兴趣
Jones以对AI与生物学交叉领域的兴趣而闻名，经常将自然系统与计算模型进行类比。他曾谈到跨学科研究的重要性，以及AI从生物体的效率和适应性中获取灵感的潜力。在采访中，他的威尔士血统和在格温内斯乡村的成长经历被视为塑造了他对技术和社区的看法。
后续发展
截至2025年，Sakana AI持续发展，吸引了关注替代AI范式的投资者和研究者的目光。Jones在AI社区中依然活跃，参与有关该领域未来的讨论，并倡导超越大型语言模型的更广泛研究议程。他在Sakana AI的工作代表了对主流方法的显著偏离，专注于更小、更适应性强的模型，这些模型可以在资源受限的环境中高效运行。
遗产
Jones及其同事提出的Transformer架构被描述为AI研究的转折点，推动了机器学习和深度学习的突破。其影响力延伸至主要科技公司和研究机构，包括Google DeepMind、OpenAI、Anthropic，以及斯坦福AI实验室和MIT CSAIL等学术实验室。Jones在此发展中的作用，加上他后续的创业努力，使他在人工智能持续演进中成为一位显著人物。
参考文献
- 《Attention Is All You Need》（2017年）- Vaswani等人。
- Sakana AI官方网站和新闻稿。
- Llion Jones的采访和公开演讲。