ジェフリー・エベレスト・ヒントン（1947年12月6日生まれ）は、イギリス系カナダ人の計算機科学者、認知科学者、認知心理学者であり、人工ニューラルネットワークに関する基礎的な研究で知られ、その功績から「AIのゴッドファーザー」という称号を得ている。彼はトロント大学の名誉大学教授であり、1980年代後半から深層学習の発展において中心的な人物となっている。
ヒントンの貢献には、多層ニューラルネットワークの訓練にバックプロパゲーションを普及させた1986年の画期的な論文の共著や、2012年のImageNetチャレンジで優勝しコンピュータビジョンに革命をもたらしたAlexNetの設計が含まれる。彼は2018年にヨシュア・ベンジオとヤン・ルカンとともに深層学習に関する業績でチューリング賞を共有し、2024年にはジョン・ホップフィールドとともに人工ニューラルネットワークを用いた機械学習を可能にした発見によりノーベル物理学賞を受賞した。
教育
ヒントンはイギリスのウィンブルドンで生まれ、ブリストルのクリフトン・カレッジに通った後、1967年にケンブリッジ大学キングス・カレッジに入学した。自然科学や美術史など様々な分野を試した後、1970年に実験心理学の学士号を取得して卒業した。その後、大工の見習いとして働いたが、学界に戻り、1972年から1975年までエディンバラ大学で学び、1978年にクリストファー・ロングエット＝ヒギンズの指導の下で人工知能の博士号を取得した。彼の初期のニューラルネットワークへの関心は、当時支配的だった記号AI学派とは異なるものであった。
キャリアと学術的役割
博士号取得後、ヒントンはイギリスのサセックス大学やMRC応用心理学ユニットで職を得たが、研究資金の確保に苦労した。彼はアメリカに移り、カリフォルニア大学サンディエゴ校、その後ピッツバーグのカーネギーメロン大学で働いた。1987年にはトロント大学に加わり、以来そこに留まっているが、1998年から2001年まではロンドン大学ユニバーシティ・カレッジのギャツビー慈善財団計算神経科学ユニットの創設ディレクターを務めた。
トロント大学では、1987年にカナダ高等研究所（CIFAR）のフェローに任命され、2004年には神経計算と適応知覚に関するCIFARプログラム（後に「機械と脳の学習」と改名）の立ち上げを支援し、10年間そのリーダーを務めた。このプログラムのメンバーにはヨシュア・ベンジオとヤン・ルカンが含まれており、後に彼らとチューリング賞を共有することになる。2012年、ヒントンはCourseraプラットフォームを通じてニューラルネットワークに関する無料のオンラインコースを教え、数十万人に深層学習を紹介した。同年、彼は大学院生のアレックス・クリジェフスキーとイリヤ・サツケバーとともにDNNresearch Inc.を共同設立した。
この会社は2013年3月にGoogle（後にGoogle Brain）に4400万ドルで買収され、ヒントンはその後、会社と学術業務の間で時間を分けた。2023年5月、彼はAIのリスクについて自由に話したいと述べてGoogleを公に辞任し、自身の人生の仕事を部分的に後悔していると述べた。また、2017年にはトロントのベクター研究所を共同設立し、最高科学顧問となったが、この役職は現役の研究から引退した後も続けた。ヒントンはまた、コンピュータサイエンス学科の名誉大学教授であり、博士課程の学生や博士研究員にはピーター・デヤン、サム・ロウェイス、マックス・ウェリング、リチャード・ゼメル、ブレンダン・フレイ、ラドフォード・ニール、イー・ホイ・テー、ルスラン・サラフディノフ、イリヤ・サツケバー、ヤン・ルカン、ズービン・ガラマニらがいる。
ニューラルネットワークの研究
ヒントンの研究は主に、機械学習、記憶、知覚、記号処理のためのニューラルネットワークの利用に関するものである。彼は200以上の査読付き出版物を執筆または共著しており、その業績は分散表現、時間遅延ニューラルネットワーク、混合専門家、ヘルムホルツマシン、専門家の積に及ぶ。
1980年代、ヒントンはカーネギーメロン大学の並列分散処理グループのメンバーであり、テレンス・セジュノフスキー、フランシス・クリック、デビッド・ルメルハート、ジェームズ・マクレランドも含まれていた。このグループは、AI分野が主に記号AI（ルールと知識を明示的にプログラムするアプローチ）に向かっていた時期に、高次の認知が単純なユニットのネットワークから生じるという考えであるコネクショニズムを擁護した。
重要な技術的貢献は1985年で、ヒントンはデビッド・アックリーとテリー・セジュノフスキーとともにボルツマンマシンを共同発明した。この確率的ネットワークは、潜在確率モデルを介してパターンを学習し表現するもので、後のエネルギーに基づくモデルの基礎を築いた。1995年には、学生や同僚とともに、認識ネットワークと生成ネットワークを交互の「覚醒」と「睡眠」フェーズで訓練するウェイクスリープアルゴリズムを提案した。この研究は、後のいくつかの学習アプローチの進歩に貢献した。
ヒントンはまた、高次元データを理解するための可視化手法も開発した。2008年には、ローレンス・ファン・デル・マーテンとともにt-SNEを導入した。これは、データを多次元から2次元または3次元に削減して視覚的に検査する方法であり、ニューラルネットワーク以外の分野でも広く使用されている。また、2007年には画像変換の教師なし学習に関する論文を共著し、ラベルなしデータから学習するためのツールキットをさらに充実させた。
AlexNetと深層学習のブレークスルー
ヒントンの名声は2012年に急上昇した。彼の学生であるアレックス・クリジェフスキーとイリヤ・サツケバーとともに設計した畳み込みニューラルネットワークAlexNetが、ImageNet大規模視覚認識チャレンジで決定的に勝利したのである。このネットワークは当時、トップ5エラー率15.3パーセントを達成し、従来の方法よりもはるかに優れており、深層ニューラルネットワークの力を劇的に示した。このブレークスルーは深層学習コンピュータビジョンのルネサンスを引き起こし、現在のAI進歩の波の重要な要因となった。
AlexNet以前、ニューラルネットワークは限定的であると考えられ、しばしば小さなデータセットで訓練されていた。この成功は、大規模なデータ拡張、正規化線形ユニット、効率的なGPU訓練を組み合わせたものであり、ヒントンと彼の同僚はこれらを長年追求してきた。AlexNetの性能の認識は、新しい企業やGoogleのAI取り組みなどの研究ラボがDeep learningへの投資を強化した主要な動機と広く見なされている。
公的な発信とコラボレーション
ヒントンは一貫して自身の考えをより広い一般に伝えるために努力しており、1992年9月と1993年10月にはサイエンティフィック・アメリカン誌に人工知能に関する記事を発表した。また、2012年には実知識の学習に関するMOOCを教え、深層学習研究者の世代を生み出すのに貢献した。2013年のGoogleへの移籍は、「大学での研究とGoogleでの仕事の間で時間を分ける」というパートタイムの任命として発表され、産業界との結びつきをさらに具体化した。サツケバーとクリジェフスキーとともにDNNresearchを設立した後、彼はAI企業のエコシステムに加わり、後に彼のグループがOpenAIの初期の取り組み（2020年の言語モデルの違いなど）と協力したことで最も注目されたが、ヒントン自身はOpenAIにはいなかった。彼のスタッフは現在様々な機関にいる。
賞と評価
ヒントンの基礎的な発見は、彼の分野で最高の専門的評価をもたらした。2018年には、ACM AMチューリング賞（しばしばコンピューティングのノーベル賞と呼ばれる）をヨシュア・ベンジオとヤン・ルカンとともに受賞し、大規模なニューラルネットワークが知能をもたらすという概念を証明した概念的および工学的ブレークスルーが認められた。彼らはしばしば「深層学習のゴッドファーザー」と呼ばれる。
2024年、ヒントンはジョン・ホップフィールドとともにノーベル物理学賞を受賞し、「人工ニューラルネットワークを用いた機械学習を可能にする基礎的な発見と発明」が認められた。スウェーデンアカデミーは、統計物理学と連想記憶に関する彼らの研究を強調し、それが現在のArtificial intelligenceのブームの主要な基盤を築いたと述べた。理論物理学者としての共同訓練を受けたヒントンは、賞を受け入れ、かつて周辺的と見なされた分野が現代物理学の中心となったという皮肉を反映させた。
AI安全性と提唱
2023年にGoogleを離れた後、ヒントンはAIのリスクに関する著名な声となった。彼は、AI安全性について自由に話すために辞めたと述べている。彼はLarge language modelや、まもなく人間の能力レベルで機能する可能性のある他のシステムについて懸念しており、それらは最悪の場合、悪意のある行為者によって悪用されたり、最悪の場合、実存的リスクになる可能性があると述べている。彼はもはやArtificial general intelligenceからの変革が可能であるとは考えていないが、急速に加速していると述べている。
ヒントンは、AI企業と国家の間の拘束力のある協力を通じて安全性ガイドラインを確立し施行することを求めている。彼はAIの自己規制は不十分であると述べ、Large language modelを構築する企業が利益インセンティブを通じて「奴隷化」している可能性があり、国家が安全性を回避できる競争に参加する可能性があると具体的に指摘している。ノーベル賞受賞後、彼は人間よりも賢いシステムの制御を確実にするための設計に関するAI安全性の緊急研究を提案した。彼のメッセージは科学的批判を受けたが、制御をますます懸念するAIコミュニティの考えと共鳴している。
私生活と遺産
ヒントンはロンドンのウィンブルドンで、知識人の家庭に生まれた。背景には多くの科学者が含まれており、曽祖父のクロードは論理学者であった。彼は1987年にカナダに移住し、カナダ市民権を取得し、現在はトロントに住んでいる。彼は有名なカスタムハッキングなどの風変わりな習慣を持ち、成功に不足はなかった。1980年代にしばしば嘲笑された彼の初期の先見的な貢献は、後に先見の明があることが示された。
ヒントンの著名な元博士課程学生および博士研究員には、ピーター・スティムソン、サム・リード、マックス・ウェルズ、リチャード・アーバン・ベディング、ラドフォード、Y.ホワイ、ルスラン、イリヤ・サツケバー（OpenAIの共同創設者、Deep learningの創始者）が含まれる。
ヒントンは、彼の人生の仕事を確実にする基礎的な人物として認識されている。彼は倫理的な対策を求めているが、AIの「知的変革の時代」に価値を見続けている。