Berkeley AI Safety涵盖加州大学伯克利分校为确保高级人工智能系统始终有益于人类而开展的研究计划。其主要实体是人工兼容人工智能中心（CHAI），由2016年成立的一批学者创立，领头人是伯克利计算机科学教授斯图尔特·J·拉塞尔，他是广泛使用的教科书《人工智能：一种现代方法》的合著者。CHAI专注于开发使人工智能行为与人类价值观保持一致的方法，以应对日益强大的人工智能系统所带来的风险。
创立与资助
CHAI成立于2016年，其使命是重新聚焦人工智能研究，使其关注安全性和人类兼容性。创始教员包括来自多所机构的知名研究者：伯克利的拉塞尔、皮特·阿贝尔和安卡·德拉甘；康奈尔大学的巴特·塞尔曼和约瑟夫·哈尔彭；密歇根大学的迈克尔·韦尔曼和萨廷德·辛格·巴韦哈；以及普林斯顿大学的汤姆·格里菲斯和塔尼娅·隆布罗佐。在成立当年，开放慈善项目建议Good Ventures在五年内向CHAI提供5,555,550美元的支持。此后，来自OpenPhil和Good Ventures的资助总额已超过12,000,000美元，其中包括为与世界经济论坛和全球人工智能委员会合作提供的资金。
研究重点
CHAI的研究以价值对齐为核心，尤其侧重于使用逆强化学习，即人工智能系统通过观察行为来推断人类价值观，而非遵循明确指令。这种方法旨在创造能够在复杂现实场景中学习和适应人类偏好的人工智能。该中心还研究了人机交互，包括设计可安全中断或关闭人工智能的系统，即使该人工智能具备覆盖此类控制的能力。这些主题与机器学习和深度学习中的更广泛挑战相关联，随着模型能力不断增强，确保安全性在这些领域日益关键。
更广泛的背景
伯克利的AI安全工作是更广泛的学术界和行业运动的一部分。其他机构，如人类未来研究所和机器智能研究所，也在处理类似问题。CHAI的研究与OpenAI和Anthropic等组织的努力相辅相成，这些组织同样优先考虑对齐问题。该中心对人类兼容人工智能的关注影响了关于通用人工智能存在风险的讨论，正如拉塞尔在《人类兼容》一书中所强调的那样。
影响与合作
通过与世界经济论坛和全球人工智能委员会的合作，CHAI已将其影响力扩展到学术界之外，与政策制定者和行业领袖进行互动。该中心从OpenPhil和Good Ventures获得的资金凸显了其在推动AI安全的慈善事业中的作用。截至2020年代中期，CHAI继续发表研究并培养学生，为日益增长的知识体系做出贡献，旨在确保生成式人工智能和其他高级系统始终处于人类控制之下。
参见
- 通用人工智能的存在风险
- 人类未来研究所
- 生命未来研究所
- 《人类兼容》
- 机器智能研究所