Llion Jones ist ein walisischer Forscher im Bereich des maschinellen Lernens und Unternehmer. Bekannt wurde er vor allem als Mitautor des Papers „Attention Is All You Need“ aus dem Jahr 2017, das die Transformer-Architektur einführte, ein grundlegendes Modell für moderne große Sprachmodelle. Im Jahr 2023 gründete er Sakana AI mit, ein in Tokio ansässiges Startup, das sich auf naturinspirierte KI konzentriert, wo er als Chief Technology Officer tätig ist.
Jones wurde 1984 in Bangor, Wales, geboren und wuchs in Bangor und Abergynolwyn in Gwynedd auf. Er besuchte das Coleg Meirion-Dwyfor, bevor er sein Studium an der University of Birmingham fortsetzte, wo er einen Bachelor-Abschluss in künstlicher Intelligenz und Informatik sowie anschließend einen Master-Abschluss in fortgeschrittener Informatik erwarb. Er schloss sein Studium 2009 ab.
Frühe Karriere und Google
Nach seinem Abschluss trat Jones 2011 oder 2012 als Softwareentwickler in die YouTube-Abteilung von Google ein. 2015 wechselte er zu Google Research, wo er an maschineller Intelligenz und natürlicher Sprachverarbeitung arbeitete. Seine Arbeit bei Google Research brachte ihn in das Zentrum eines Teams, das eines der einflussreichsten Papers im Bereich der künstlichen Intelligenz hervorbringen sollte.
Das Transformer-Paper
2017 war Jones Mitautor von „Attention Is All You Need“ zusammen mit Jakob Uszkoreit, Lukasz Kaiser, Niki Parmar, Barret Zoph und anderen. Das Paper führte die Transformer-Architektur ein, die vollständig auf Selbstaufmerksamkeitsmechanismen statt auf rekurrenten oder faltenden Schichten basiert. Dieses Design ermöglichte eine effizientere Parallelverarbeitung und verbesserte die Leistung bei Sequenz-zu-Sequenz-Aufgaben erheblich. Der Transformer wurde zum Rückgrat nachfolgender KI-Systeme, einschließlich BERT, GPT und anderer großer Sprachmodelle, und wurde in der maschinellen Lern- und Deep-Learning-Forschung weitgehend übernommen.
Kritik am Fokus der KI-Forschung
Jones hat sich deutlich über die enge Ausrichtung der KI-Forschung geäußert und insbesondere Googles starken Fokus auf große Sprachmodelle zu Lasten anderer Ansätze kritisiert. Er hat argumentiert, dass die Konzentration des Feldes auf die Skalierung von Sprachmodellen die Erforschung alternativer Architekturen und Lernparadigmen eingeschränkt habe. Diese Perspektive beeinflusste seine spätere Arbeit mit Sakana AI, das versucht, Inspiration aus natürlichen Systemen und kollektiver Intelligenz zu ziehen.
Gründung von Sakana AI
2023 verließ Jones Google Japan, um Sakana AI mit David Ha, einem ehemaligen Google-Forscher und Stability-AI-Verantwortlichen, zu gründen. Sie wurden von Ren Ito begleitet. Der Firmenname „Sakana“ bedeutet „Fisch“ auf Japanisch und spiegelt die Mission wider, KI zu entwickeln, die die adaptiven und kollektiven Verhaltensweisen natürlicher Organismen nachahmt. Sakana AI zielt darauf ab, effizientere und flexiblere KI-Systeme zu schaffen, indem Prinzipien wie Schwarmintelligenz und evolutionäre Algorithmen genutzt werden. Jones übernahm die Rolle des Chief Technology Officer und leitete die technische Ausrichtung und Forschungsstrategie.
Einfluss und Anerkennung
Jones' Beiträge zum Transformer-Paper hatten einen nachhaltigen Einfluss auf das Feld der künstlichen Intelligenz. Die Architektur, die er mitentwickelte, bildet die Grundlage vieler prominenter KI-Produkte und -Dienste, einschließlich der GPT-Serie von OpenAI, der Sprachmodelle von Google DeepMind und verschiedener generativer KI-Anwendungen. Seine Arbeit wurde in der akademischen Literatur umfassend zitiert und hat die Entwicklung von neuronalen Netzen über die natürliche Sprachverarbeitung hinaus beeinflusst, einschließlich in der Computer Vision und der Audioverarbeitung.
Persönliches Leben und Interessen
Jones ist bekannt für sein Interesse an der Schnittstelle von KI und Biologie und zieht oft Parallelen zwischen natürlichen Systemen und Computermodellen. Er hat über die Bedeutung interdisziplinärer Forschung und das Potenzial der KI gesprochen, sich von der Effizienz und Anpassungsfähigkeit lebender Organismen inspirieren zu lassen. Sein walisisches Erbe und seine Erziehung im ländlichen Gwynedd wurden in Interviews als prägend für seine Sichtweise auf Technologie und Gemeinschaft hervorgehoben.
Spätere Entwicklungen
Stand 2025 ist Sakana AI weiter gewachsen und hat die Aufmerksamkeit von Investoren und Forschern auf sich gezogen, die an alternativen KI-Paradigmen interessiert sind. Jones bleibt in der KI-Gemeinschaft aktiv, trägt zu Diskussionen über die Zukunft des Feldes bei und setzt sich für eine breitere Forschungsagenda über große Sprachmodelle hinaus ein. Seine Arbeit mit Sakana AI stellt eine deutliche Abkehr von Mainstream-Ansätzen dar, mit einem Fokus auf kleinere, anpassungsfähigere Modelle, die in ressourcenbeschränkten Umgebungen effizient arbeiten können.
Vermächtnis
Die von Jones und seinen Kollegen eingeführte Transformer-Architektur wurde als Wendepunkt in der KI-Forschung beschrieben, der Durchbrüche im maschinellen Lernen und Deep Learning ermöglichte. Ihr Einfluss erstreckt sich auf große Technologieunternehmen und Forschungseinrichtungen, darunter Google DeepMind, OpenAI, Anthropic sowie akademische Labore wie das Stanford AI Lab und MIT CSAIL. Jones' Rolle in dieser Entwicklung sowie seine anschließenden unternehmerischen Bemühungen positionieren ihn als bedeutende Figur in der fortlaufenden Evolution der künstlichen Intelligenz.
Referenzen
- „Attention Is All You Need“ (2017) - Vaswani et al.
- Offizielle Website und Pressemitteilungen von Sakana AI
- Interviews und öffentliche Vorträge von Llion Jones