OpenAI Five是由OpenAI开发的计算机程序，用于游玩五对五电子游戏Dota 2。它是首个在职业电子竞技比赛中击败当时世界冠军的人工智能系统，这一成就于2019年4月实现。该项目旨在通过攻克具有连续动作空间、部分可观测性和长期战略的游戏，推进机器学习，从而创建更通用的问题解决系统。
该系统的开发始于2016年11月，其首次公开亮相是在2017年国际邀请赛上，它在单人对决中击败了职业选手Dendi。到2018年，它能够以五人满编团队形式参赛，并在2019年于一场三局两胜系列赛中击败了2018年国际邀请赛冠军OG战队。OpenAI Five的算法后来被改编用于其他项目，包括一只机械手。它常常与AlphaGo、Deep Blue和AlphaStar等其他游戏人工智能相提并论。
历史
OpenAI于2016年11月开始开发Dota 2机器人的算法。该公司选择Dota 2是因为它在流媒体平台Twitch上很受欢迎，原生支持Linux，并为开发者提供了应用程序编程接口（API）。首次公开演示发生在2017年8月的国际邀请赛上，该机器人在现场单人对决中击败了乌克兰职业选手Dendi。比赛结束后，OpenAI首席技术官Greg Brockman解释说，该机器人通过与自己对抗两周的真实时间进行学习，使用了强化学习，这是一种通过试错来提高系统性能的方法。
到2018年6月，这些机器人能够以五人满编团队形式协同作战，并击败了业余和半职业队伍。在2018年国际邀请赛上，OpenAI Five与职业队伍，，paiN Gaming和一支由前中国选手组成的全明星队，，进行了两场表演赛，但均告失利。尽管失利，OpenAI认为该赛事是成功的，因为它为改进算法提供了宝贵数据。最后一次公开演示是在2019年4月，当时OpenAI Five在旧金山的一场现场赛事中，于三局两胜系列赛中击败了当时的卫冕世界冠军OG战队。同月，一场线上赛事让公众得以与这些机器人对战；在四天内，机器人共进行了42,729场对局，并赢得了其中99.4%的胜利。
架构
每个OpenAI Five机器人都是一个神经网络，其单层包含一个4096单元的长短期记忆网络（LSTM），用于处理从Dota 2 API提取的当前游戏状态。该网络通过多个动作头生成动作，每个动作头都有特定含义，例如动作前的延迟、动作类型和目标坐标。系统将世界观测为一列20,000个数字，并生成一列八个值来定义动作。它使用强化学习在“Rapid”基础设施上进行训练，该基础设施管理着数千台机器。到2018年，OpenAI Five已累积了约180年的游戏时间，使用了256块GPU和128,000个CPU核心，并采用了近端策略优化算法。
与其他游戏人工智能系统的比较
OpenAI Five在几个关键方面与早期的游戏人工智能（如Deep Blue（国际象棋）、AlphaGo（围棋）和Watson（危险边缘））有所不同：
- 长远视角：Dota 2比赛持续约45分钟，帧率为每秒30帧，导致每场比赛约有80,000个时间步。OpenAI Five每第四帧观察一次，生成20,000次行动。相比之下，国际象棋通常在40步内结束，围棋在150步内。
- 部分可观测状态：Dota 2具有战争迷雾，会隐藏敌方单位和动向，要求玩家基于不完整信息做出决策。国际象棋和围棋是完全信息游戏，没有隐藏元素。
- 连续动作空间：Dota 2中每个英雄可以执行数十种针对单位或位置的动作，开发者允许每个英雄有高达170,000种可能动作。平均而言，每个时间步约有1,000种有效动作，而国际象棋有35种，围棋有250种。
- 连续观测空间：游戏状态由20,000个数字表示，而国际象棋棋盘约为70个值，围棋棋盘约为400个。
这些特性使Dota 2对人工智能来说成为更复杂的挑战，要求系统处理实时决策、长期规划和团队协作。
反响
OpenAI Five获得了人工智能、科技和游戏社区的广泛认可。微软创始人比尔·盖茨称其胜利是“大事”，因为它们需要团队合作与协作。国际象棋冠军加里·卡斯帕罗夫于1997年输给Deep Blue，他表示尽管机器人在2018年国际邀请赛上失利，但它们会“达到目标，而且比预期更快”。接受《麻省理工科技评论》采访的人工智能专家指出，Dota 2是一款“极其复杂的游戏”，即使战胜非职业选手也令人印象深刻。《PC Gamer》撰文称，战胜职业选手是人工智能研究的一个重要里程碑，凸显了该系统处理复杂动态环境的能力。