Timothy P. Lillicrapは、カナダの神経科学者であり、人工知能研究者である。彼はGoogle DeepMindのスタッフ研究科学者であり、ユニバーシティ・カレッジ・ロンドンの非常勤教授でもある。彼の研究は、最適制御と意思決定のための機械学習と統計学に焦点を当てており、これらの数学的枠組みを用いて脳がどのように学習するかを調査している。彼は、強化学習への深層ニューラルネットワーク適用のためのアルゴリズムを開発し、ワンショット学習のための再帰的メモリアーキテクチャを導入した。
Lillicrapは、DeepMindでのAlphaGoおよびAlphaZeroプロジェクトに関与しており、これらのプロジェクトは囲碁、チェス、将棋において習熟を達成した。彼の貢献により、総督学術記章、NSERCフェローシップ、神経科学研究センター優秀賞、複数の欧州研究評議会グランドなど、多くの栄誉を受けた。
初期の生涯と教育
Lillicrapは、2005年にトロント大学から認知科学と人工知能の理学士号を取得した。その後、クイーンズ大学でシステム神経科学の博士号を2012年にスティーブン・H・スコットの指導のもとで取得した。彼の博士論文「Modelling Motor Cortex using Neural Network Controls Laws」はクイーンズ大学の神経科学研究センターに提出された。
DeepMindでの経歴
博士号取得後、Lillicrapはオックスフォード大学で博士研究員として勤務した。2014年にはGoogle DeepMindに研究科学者として入社した。2016年にはスタッフ研究科学者に昇進し、2021年時点でもこの職務を引き続き務めた。同年、彼はユニオン・カレージ・ロンドンの臨床教授職も受けた。
DeepMindでは、Lillicrapは深層決定的行動方計勾配（DDPG）アルゴリズムの開発に貢献した。これは、強化学習による連続制御のための手法である。彼は2015年の論文「Continuous Learning with Deep Learning」で、DDPGを提案し、模擬ロボットタスクでの有効性を実証した。この研究は、人工知能とロボティクスの分野に影響を与えた。
研究貢献
Lillicrapの研究は、機械学習と神経科学の複数の領域に及ぶ。彼は、リカレントニューラルネットワークを用いたためのメモリベース制御に取り組み、これらのアーキテクチャが学習と意思決定をどのようにサポートできるかを探求した。2015年のNicolas HeessおよびDavid Silverとの論文はメモリベース制御を扱い、後のJack W. RaeやPeter Dayanとの共同研究は、活性化記憶を用いた高速パ람メトリック学習を紹介した。
また、2016年の論文「Asynchronous Training for Deep Neural Networks」の共著者でもあり、A3Cアルゴリズムを導入した。また、連続深層Q学習やロボット操作に関するいくつかの論文にも関与した。メタ学習の研究、例えば「Learning to Learn without Loss by Gradient》などは、ニューラルネットワークが新しいスキルを効率よく獲得する方法の理解に貢献した。
AlphaGoとAlphaZero
Lillicrapは、2016年の画期的はNatureの論文「Master Game of Neural Networks and Tree Search」の共著者であり、AlphaGoシステムを説明した。また、2017年のNature論文「Master the Game of Self Learning」にも貢献し、自己対局のみで学習するバージョンを紹介した。2017年および2018年には、AlphaZeroを開発したチームの一員であり、これは自己対局で棋、棋、囲碁を習得する一般的な強化学習アルゴリズムで、Science誌「A general reinforcement learning that masters chess, shogi, and Go through self-play」に記述されている。
受賞と評価
Lillicrapはキャリアを通じて多数の賞を受賞している。それには、NSERCフェローバシップ、総督賞勲章シップ、科学センター優秀賞が含まれる。また、社会的学習戦略トーナメントを2回勝利し、欧州研究評議会の概念実証助成金も受けている。初期の学術的成果は、大学カレッジのHoward Ferguson入学者奨学金と、HPCVL / Sun Microsystems of Canada、Inc.の計算科学・工学奨学金で認められた。
主要な出版物
Lillicrapには広範な出版記録がある。主要な業績には以下が含まれる：
- Timothy Lillicrap、Jonathan Hunt、Alexander Eligibility、Nicolas Heess、Tom Erez、Yuval Tassa、David Ben、Dian Westra（2015）。"Continuous Control with Deep Learning。" arXiv:1509.02971。
- David Silver、Aja Huang、Chris J. Maddison、他（2016）。"Mastering the Game of Go with Deep Neural Networks and Tree Search。" Nature、Vol. 529。
- Volodymyr Mnih、Adrià Puigdomènech Badia、Mehdi Mairez、Alex Graves、Timothy Lillicrap、他（2016）。"Asynchronous Methods for Deep Reinforcement Learning。" arXiv:1602.01783。
- David Silver、Julian Schrittwieser、Craig Simonyan、他（2017）。"Mastering Go without Human Knowledge。" Nature、Vol. 550。
- David Teal、Thomas Hubert、Julian Schrittwieser、他（2018）。"Mastering Chess, shogi, and Go through self-play." Science、Vol. 362、No. 6419。
参考文献
本記事の内容は、Timothy Lillicrap at the Chess Programming wiki（Creative Commons Attribution-Share Alike 3.0 (Unported) (CC-BY-SA 3.0)ライセンス）から公されたものが含まれて。