リチャード・サットンは、現代の強化学習の創始者の一人として広く認められているコンピューター科学者である。強化学習は、機械学習の一分野であり、報酬信号からの試行錯誤を通じて学習するエージェントを扱う。
経歴と貢献
サットンは1984年にマサチューセッツ大学アマースト校でコンピューター科学の博士号を取得し、アンドリュー・バートーのもとで研究を行った。彼らは、最終的な結果を待つのではなく、連続する予測間の差に基づいて価値推定を更新する手法である時間差（TD）学習を開発した。TD学習は強化学習における中心的なアルゴリズム的アイデアの一つとなり、後にニューラルネットワークによる関数近似と組み合わされ、1990年代のジェラルド・テサウロによるバックギャモン対戦プログラムTD-Gammonから、数十年後にGoogle DeepMindでサットンの指導を受けたデビッド・シルバーら研究者によって開発されたAlphaGoとその後継システムに至るまで、幅広いシステムで利用された。サットンとバートーの教科書『強化学習』（Reinforcement Learning: An Introduction）は1998年に初版が出版され、現在もこの分野の標準的な参考文献であり続けている。
サットンは後半のキャリアの多くをアルバータ大学の教授として過ごし、Google DeepMindのアルバータ研究所の卓越研究科学者も務めた。また、アルバータ機械知能研究所（Amii）の主任科学顧問を務めており、同研究所はカナダを強化学習研究の中心地として確立するのに貢献した拠点の一つである。
「苦い教訓」
2019年、サットンは「The Bitter Lesson」と題する短いながら広く議論されたエッセイを発表した。このエッセイでは、AI研究の歴史を通じて、探索や学習といった計算能力の増大を活用する汎用的な手法が、人間のドメイン知識を手作業で符号化するアプローチよりも一貫して優れた成果を上げてきたと論じている。また、研究者たちはこの教訓が理解を放棄することのように感じられるため、繰り返しこれに抵抗してきたと指摘している。このエッセイは、スケーリング則や大規模言語モデルシステムの設計に関する議論における重要な指標となっており、手作りのヒューリスティクスよりもスケールと汎用アルゴリズムを優先することを正当化するために頻繁に引用されている。また、検証可能なタスクに対する強化学習スタイルの訓練を用いるテスト時計算や推論モデルシステムに関する最近の研究と併せて読まれることが多い。
サットンは2024年、アンドリュー・バートーとともに「強化学習の概念的およびアルゴリズム的基盤の開発」によりチューリング賞を受賞した。この受賞は、RLHFを含む強化学習技術が、ゲーム対戦システムだけでなく、現代の会話型AIの行動を調整する上でも中心的な役割を果たすようになった時期に実現したものである。