杰弗里·埃弗里斯特·辛顿(1947年12月6日出生)是英国-加拿大计算机科学家、认知科学家和认知心理学家。他被广泛认为是人工智能领域的领军人物,尤其是在人工神经网络方面的基础性工作,这为他赢得了“人工智能教父”的称号。他是多伦多大学的名誉大学教授。从2013年到2023年,他在谷歌大脑和大学之间分配时间,直到2023年5月公开宣布离开谷歌,理由是对人工智能技术风险的担忧。2017年,他共同创立了多伦多向量研究所,并担任首席科学顾问。
辛顿对人工智能的贡献广泛而深远。他与大卫·鲁梅尔哈特和罗纳德·J·威廉姆斯共同撰写了一篇1986年发表的被高度引用的论文,该论文推广了用于训练多层神经网络的Backpropagation算法,尽管他们并非首次提出该方法。他与学生亚历克斯·克里热夫斯基和伊利亚·苏茨克弗合作设计的图像识别神经网络AlexNet在2012年赢得了ImageNet挑战赛,是计算机视觉领域的一项突破。他因与约书亚·本吉奥和扬·勒昆在深度学习方面的工作获得了2018年图灵奖,并与约翰·霍普菲尔德共同获得2024年诺贝尔物理学奖,以表彰“使机器学习与人工神经网络成为可能的基础性发现和发明”。
教育
辛顿于1947年12月6日出生在英国温布尔登,并在布里斯托尔的克利夫顿学院接受教育。1967年,他作为本科生进入剑桥大学国王学院。在自然科学、艺术史和哲学等不同领域之间转换后,他最终于1970年获得实验心理学文学学士学位。他花了一年时间学徒木工,然后重返学术研究。从1972年到1975年,他继续在爱丁堡大学学习,并于1978年获得人工智能博士学位,研究由克里斯托弗·朗盖-希金斯指导,后者倾向于符号人工智能方法而非神经网络方法。
职业生涯
获得博士学位后,辛顿最初在苏塞克斯大学和医学研究委员会应用心理学部门工作。由于在英国难以获得资金,他在美国加州大学圣地亚哥分校和卡内基梅隆大学工作。他是伦敦大学学院盖茨比慈善基金会计算神经科学部门的创始主任。目前他是多伦多大学计算机科学系的名誉大学教授,自1987年以来一直隶属于该大学,除了1998年至2001年在伦敦大学学院工作期间。
抵达加拿大后,辛顿于1987年被任命为加拿大高级研究所(CIFAR)研究员,参与CIFAR首个研究项目“人工智能、机器人与社会”。2004年,辛顿和合作者成功提议在CIFAR启动一个新项目“神经计算与自适应感知”(NCAP),如今更名为“机器与大脑中的学习”。辛顿随后领导NCAP长达十年。该项目的成员包括约书亚·本吉奥和扬·勒昆,辛顿与他们共同获得2018年ACM A.M.图灵奖。三位图灵奖得主至今仍是CIFAR“机器与大脑中的学习”项目的成员。
2012年,辛顿在教育平台Coursera上教授了一门关于神经网络的免费在线课程。2012年,他与两位研究生亚历克斯·克里热夫斯基和伊利亚·苏茨克弗在多伦多大学计算机科学系共同创立了DNNresearch公司。2013年3月,谷歌以4400万美元收购了DNNresearch公司,辛顿计划“将时间分配在大学研究和谷歌工作之间”。
2023年5月,辛顿公开宣布辞去谷歌职务。他解释了自己的决定,表示希望自由地谈论人工智能的风险,并补充说,他对自己毕生的工作感到部分后悔。
他团队中著名的前博士生和博士后研究员包括彼得·达扬、萨姆·罗韦斯、马克斯·韦林、理查德·泽梅尔、布伦丹·弗雷、拉德福德·M·尼尔、叶维特、鲁斯兰·萨拉赫丁诺夫、伊利亚·苏茨克弗、扬·勒昆、亚历克斯·格雷夫斯、祖宾·格拉马尼和彼得·菲茨休·布朗。
研究
辛顿的研究涉及使用神经网络进行机器学习、记忆、感知和符号处理。他撰写或合著了200多篇同行评审的出版物。
在1980年代,辛顿是卡内基梅隆大学“并行分布式处理”小组的成员,该小组包括特伦斯·塞伊诺夫斯基、弗朗西斯·克里克、大卫·鲁梅尔哈特和詹姆斯·麦克莱兰等著名科学家。该小组在人工智能寒冬期间支持联结主义方法。他们的研究成果以两卷本出版。辛顿采用的联结主义方法表明,逻辑和语法等领域的技能可以编码到神经网络的参数中,并且神经网络可以从数据中学习这些技能。另一方面,符号主义者主张将知识和规则显式编程到人工智能系统中。
1985年,辛顿与大卫·阿克利和特里·塞伊诺夫斯基共同发明了玻尔兹曼机。他对神经网络研究的其他贡献包括分布式表示、时延神经网络、专家混合、亥姆霍兹机和专家乘积。杰弗里·辛顿研究的通俗介绍可以在他1992年9月和1993年10月发表在《科学美国人》上的文章中找到。1995年,辛顿和同事提出了唤醒-睡眠算法,涉及一个具有识别和生成分离路径的神经网络,通过交替的“唤醒”和“睡眠”阶段进行训练。2007年,辛顿合著了一篇题为“图像变换的无监督学习”的无监督学习论文。2008年,他与劳伦斯·范德马滕开发了可视化方法t-SNE。
当辛顿在加州大学圣地亚哥分校做博士后时,大卫·鲁梅尔哈特、辛顿和罗纳德·J·威廉姆斯将反向传播算法应用于多层神经网络。他们的实验表明,这样的网络可以学习有用的内部表示。这项工作发表于1986年,对重振人们对神经网络的兴趣起到了关键作用,并为现代深度学习奠定了基础。
AlexNet与深度学习突破
2012年,辛顿和他的学生亚历克斯·克里热夫斯基和伊利亚·苏茨克弗设计了AlexNet,这是一个深度卷积神经网络,在ImageNet大规模视觉识别挑战赛中实现了图像分类准确率的显著提升。AlexNet的成功证明了深度学习在大规模数据和GPU加速训练上的强大能力,推动了深度学习在计算机视觉及其他领域的迅速采用。这一突破通常被认为是人工智能历史上的一个转折点,导致深度神经网络在工业界和学术界的广泛使用。
奖项与荣誉
辛顿在其职业生涯中获得了众多奖项和荣誉。2018年,他与约书亚·本吉奥和扬·勒昆因对深度学习的贡献共同获得ACM A.M.图灵奖,该奖常被称为“计算领域的诺贝尔奖”。2024年,他与约翰·霍普菲尔德共同获得诺贝尔物理学奖,以表彰使机器学习与人工神经网络成为可能的基础性发现和发明。他还是皇家学会会士和加拿大勋章同伴,以及其他荣誉。
对人工智能风险的看法
2023年5月,辛顿宣布辞去谷歌职务,以便“自由地谈论人工智能的风险”。他对恶意行为者的故意滥用、技术性失业以及通用人工智能的存在性风险表示担忧。他指出,制定安全指南需要那些在人工智能使用方面竞争的人合作,以避免最坏的结果。获得诺贝尔奖后,他呼吁紧急研究人工智能安全,以找出如何控制比人类更聪明的人工智能系统。
遗产
杰弗里·辛顿的工作对人工智能领域产生了深远影响。他在神经网络和深度学习方面的开创性研究推动了图像识别、语音识别、自然语言处理以及许多其他应用的突破。他被广泛认为是其一代中最有影响力的计算机科学家之一,他的学生和合作者继续领导着世界各地的重大人工智能研究工作。他的遗产不仅在于他开发的算法和模型,还在于他培养的一代研究人员。