ライオン・ジョーンズは、ウェールズ出身の機械学習研究者であり起業家である。彼は、Transformer (architecture)アーキテクチャを導入した2017年の論文「Attention Is All You Need」の共著者として最もよく知られており、このアーキテクチャは現代の大規模言語モデルの基盤となっている。2023年には、自然に着想を得たAIに焦点を当てた東京を拠点とするスタートアップであるSakana AIを共同設立し、最高技術責任者を務めている。
ジョーンズは1984年にウェールズのバンガーで生まれ、グウィネッドのバンガーとアベルギノルウィンで育った。彼はコレッグ・メイリオン＝ドウィフォーに通い、その後バーミンガム大学で高等教育を受け、人工知能とコンピューターサイエンスの学士号を取得し、続いて高度なコンピューターサイエンスの修士号を取得した。彼は2009年に卒業した。
初期の経歴とGoogle
卒業後、ジョーンズは2011年または2012年にGoogleのYouTube部門にソフトウェアエンジニアとして入社した。2015年にはGoogle Researchに異動し、機械知能と自然言語処理に従事した。Google Researchでの彼の仕事は、人工知能の分野で最も影響力のある論文の一つを生み出すことになるチームの中心に彼を置くこととなった。
Transformer論文
2017年、ジョーンズはヤコブ・ウシュコレイト、ウカシュ・カイザー、ニキ・パルマー、バレット・ゾフらとともに「Attention Is All You Need」を共著した。この論文は、再帰層や畳み込み層ではなく、自己注意機構に完全に依存するtransformerアーキテクチャを導入した。この設計により、より効率的な並列処理が可能になり、系列変換タスクの性能が大幅に向上した。transformerは、その後のAIシステムの基盤となり、BERT、GPT、その他の大規模言語モデルを含むようになり、機械学習と深層学習の研究で広く採用されている。
AI研究の焦点への批判
ジョーンズは、AI研究の範囲が狭いことについて声を上げており、特に、他のアプローチを犠牲にして大規模言語モデルに重点を置くGoogleの姿勢を批判している。彼は、言語モデルのスケーリングへの集中が、代替アーキテクチャや学習パラダイムの探求を制限していると主張している。この見解は、後のSakana AIでの彼の仕事に影響を与え、そこでは自然システムや集合知から着想を得ようとしている。
Sakana AIの設立
2023年、ジョーンズはGoogle Japanを離れ、元Google研究者でStability AIの役員でもあったデビッド・ハとともにSakana AIを共同設立した。彼らには伊藤蓮が加わった。会社名の「Sakana」は日本語で「魚」を意味し、自然生物の適応的かつ集団的な行動を模倣するAIを開発するという使命を反映している。Sakana AIは、群知能や進化的アルゴリズムなどの原理を活用することで、より効率的で柔軟なAIシステムを生み出すことを目指している。ジョーンズは最高技術責任者の役割を担い、技術的な方向性と研究戦略を監督している。
影響と評価
transformer論文へのジョーンズの貢献は、人工知能の分野に永続的な影響を与えてきた。彼が生み出したアーキテクチャは、OpenAIのGPTシリーズ、Google DeepMindの言語モデル、さまざまな生成AIアプリケーションなど、最も著名なAI製品やサービスの多くを支えている。彼の研究は学術文献で広く引用され、自然言語処理を超えたニューラルネットワークの発展にも影響を与えており、コンピュータービジョンや音声処理にも及んでいる。
私生活と関心
ジョーンズは、AIと生物学の交差点への関心で知られており、自然システムと計算モデルの間の類似点をしばしば指摘している。彼は、学際的研究の重要性と、生物の効率性や適応性に触発されたAIの可能性について語ってきた。彼のウェールズの遺産と田舎のグウィネッドでの育ちは、インタビューで、テクノロジーとコミュニティに対する彼の見解を形成したと述べられている。
その後の展開
2025年現在、Sakana AIは成長を続けており、代替AIパラダイムに関心のある投資家や研究者の注目を集めている。ジョーンズはAIコミュニティで活動を続け、分野の未来に関する議論に貢献し、大規模言語モデルを超えたより広範な研究課題を提唱している。Sakana AIでの彼の仕事は、主流のアプローチからの重要な逸脱を表しており、リソースが制約された環境で効率的に動作できる、より小型で適応性の高いモデルに焦点を当てている。
遺産
ジョーンズと彼の同僚によって導入されたtransformerアーキテクチャは、AI研究の転換点と評されており、機械学習と深層学習の進歩を可能にした。その影響は、Google DeepMind、OpenAI、Anthropicなどの主要なテック企業や研究機関、およびスタンフォードAIラボやMIT CSAILなどの学術ラボに及んでいる。この発展におけるジョーンズの役割は、その後の起業家としての取り組みとともに、人工知能の継続的な進化における注目すべき人物として彼を位置づけている。
参考文献
- 「Attention Is All You Need」(2017年) - Vaswaniら
- Sakana AI公式ウェブサイトおよびプレスリリース
- ライオン・ジョーンズによるインタビューおよび公開講演