张爱米是人工智能领域的研究者,专注于以人为中心的AI、强化学习与可解释性。她是华盛顿大学的助理教授,同时也是Meta AI(原Facebook AI Research)的研究科学家。她的研究目标是让AI系统更加透明、更具交互性,并与人类价值观对齐,常常将机器学习与认知科学及人机交互的洞见相结合。
张爱米在加州大学伯克利分校获得计算机科学博士学位,师从Pieter Abbeel。她的博士研究致力于从人类反馈中学习,并提升强化学习的样本效率。她还曾在Google Brain和蒙特利尔学习算法研究所(MILA)担任访问研究员。在攻读博士之前,她在滑铁卢大学获得计算机科学学士学位。
强化学习与人类反馈
张爱米的早期研究聚焦于强化学习,特别是智能体如何从稀疏奖励和示范中学习。她参与开发了将模仿学习与奖励塑形相结合的算法,使智能体能够从少量人类示例中学习复杂行为。其中一项代表性工作“Learning by Playing”提出了一种通过无监督探索学习可复用技能的方法,用于解决稀疏奖励任务。
她研究的核心主题是利用人类反馈来引导AI训练。她探索了基于偏好的强化学习技术,即模型通过比较轨迹而非显式奖励来学习。这种方法在奖励函数难以设计的领域尤为有效,例如机器人技术和对话系统。她的相关工作被广泛引用,并对RLHF(基于人类反馈的强化学习)产生了深远影响,而RLHF正是训练现代大语言模型的关键技术。
可解释性与透明度
张爱米在机器学习可解释性方面也做出了重要贡献。她开发了多种方法来可视化和理解神经网络所学到的内容,尤其是在强化学习智能体的背景下。她的“显著图”和“概念激活向量”等工作帮助研究者识别输入中对模型决策影响最大的特征。这一研究方向对于建立对AI系统的信任至关重要,尤其是在医疗保健或自动驾驶等高 stakes 应用中。
在一篇被广泛引用的论文中,张爱米及其同事提出了“TCAV”(基于概念激活向量的测试),这是一种量化概念(如“条纹”或“斑点”)对模型预测贡献程度的技术。该方法允许用户以人类可理解的方式探查模型的推理过程,超越了简单的特征归因。该工作已被Google DeepMind和OpenAI等业界团队采用,用于模型审计。
以人为中心的AI
张爱米的研究议程明确以人为中心:她设计能够自然与人交互并从反馈中学习的AI系统。她探索了如何通过允许用户用自然语言纠正错误或演示期望行为,使AI助手更加有用。这包括交互式学习(模型根据用户输入随时间改进)以及将AI目标与人类偏好对齐的研究。
她的一个项目“Reward Learning from Human Preferences”证明,机器人可以通过接收非专家用户的反馈来学习执行任务。在一项用户研究中,参与者通过提供简单的“是/否”反馈,教会了一个模拟机器人导航和操作物体。结果表明,机器人可以用最少的人类努力有效学习,这为可定制的AI提供了一条实用路径。
学术生涯与教学
张爱米于2021年加入华盛顿大学,担任Paul G. Allen计算机科学与工程学院的助理教授。她领导着以人为中心的AI实验室,指导研究生和博士后。她的教学课程包括强化学习,以及机器学习中的公平性、问责制和透明度等主题。她曾获得多项教学奖项,包括2023年华盛顿大学工程学院杰出教学奖。
她曾在MIT CSAIL和斯坦福AI实验室等地发表受邀演讲。她还是华盛顿大学“知情的公众”中心的附属教员,研究AI的社会影响,包括错误信息和算法偏见等问题。
业界经历
在进入学术界之前,张爱米于2020至2021年在Meta AI担任研究科学家。在Meta期间,她应用强化学习专长改进推荐系统,并开发检测有害内容的工具。她还与Anthropic的团队合作开展安全研究,为可扩展的监督早期工作做出了贡献。
张爱米还曾在Google Brain和伯克利AI研究(BAIR)实习。这些经历让她对AI研究如何转化为产品和政策有了广阔的视角。
奖项与荣誉
张爱米的研究获得了多项荣誉。2022年,她被AI2050计划评为“AI新星”。2023年,她因“交互式可解释强化学习”项目获得NSF职业奖。她的论文多次在国际机器学习大会(ICML)和神经信息处理系统大会(NeurIPS)等顶级会议上获得最佳论文奖。她也是2024年斯隆研究奖计算机科学奖的获得者。
部分代表性论文
张爱米在顶级会议和期刊上发表了40余篇论文。她引用最多的作品包括:
- “TCAV:基于概念激活向量的可解释性”(ICML 2018),,提出了一种概念级可解释性方法。
- “通过玩耍解决稀疏奖励任务”(ICML 2018),,提出了一种基于自我对弈课程学习的探索方法。
- “从人类偏好中学习奖励”(NeurIPS 2019),,展示了基于偏好的强化学习的实用性。
- “基于策略依赖的人类反馈的交互式学习”(ICML 2020),,研究了反馈如何随智能体改进而变化。
她的研究得到了美国国家科学基金会、海军研究办公室以及私人基金会的资助。
未来方向
张爱米目前的研究重点是让大语言模型更加可解释和可控。她正在探索如何引导模型表达不确定性,以及如何让用户无需重新训练即可调整模型行为。她还对多智能体强化学习感兴趣,研究多个AI系统如何交互,并确保这类系统保持安全并与人类价值观对齐。
截至2025年,张爱米继续在华盛顿大学从事教学和科研工作。她的贡献帮助塑造了以人为中心的AI这一新兴领域,弥合了技术机器学习与人类需求之间的鸿沟。