OpenAI Five：Dota2 AI冠军
OpenAI Five 击败 Dota2 世界冠军战队，展示 AI 在复杂团队游戏中的能力。
事件概述
2019年4月，OpenAI Five 在旧金山击败了 Dota2 世界冠军 OG 战队。Dota2 是一款高度复杂的多人在线战术竞技游戏，需要团队协作、长期策略规划和实时决策。OpenAI Five 采用大规模强化学习训练，使用256个 GPU 和128,000个 CPU 核心，通过自我对弈积累经验。AI 系统每天相当于进行180年的游戏训练。这一成果展示了强化学习在复杂、不完全信息环境中的强大能力，证明了 AI 可以掌握需要长期规划和团队合作的任务。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
2019 年 4 月，OpenAI Five 在旧金山举行的现场活动中，以 2:0 击败了 Dota 2 国际邀请赛（TI8）世界冠军 OG 战队，随后又战胜了多支职业队。Dota 2 是公认最复杂的电子竞技项目之一：5v5 团队作战、上百个英雄、不完全信息、长达 45 分钟的对局，需要团队协作、长期策略与毫秒级操作。OpenAI Five 从 2017 年的 1v1 版本起步，用大规模分布式强化学习与自我对弈训练——每天相当于进行数百年的游戏时间，使用数万块 CPU 核心与数百块 GPU。这次胜利把「AI 玩复杂实时团队游戏」从演示推向了可验证的公开赛事级水平。
核心要点
- 12019 年 4 月以 2:0 击败 Dota 2 世界冠军 OG 战队。
- 2任务是 5v5 实时团队作战：不完全信息、长时程、高协作复杂度。
- 3大规模分布式 PPO 与自我对弈，每天训练量相当于数百年游戏时间。
- 4使用 Rapid 架构与 LSTM 处理部分可观测的长时序观测。
- 5证明规模化的自对弈强化学习可以攻克多人实时策略游戏。
原理与技术细节
OpenAI Five 的技术核心是「规模化的 PPO + 自对弈」。每个智能体观测游戏客户端暴露的约 2 万个数值特征（单位位置、血量、技能冷却等），经过 Rapid 架构（卷积 + LSTM + 注意力式处理单元列表）输出每个可选动作的 logit。训练上，系统每天跑数百个并行环境、进行相当于约 180 年时长的自我对弈，用 PPO 算法更新一个共享参数的大 batch 策略；为鼓励团队多样性，训练时对每支队伍使用不同的超参数采样（「team diversity」），推理时取表现最好的配置。关键工程是 Rapid：把可变数量的单位/技能编码成固定长度的向量列表，用循环机制统一处理，避免为每个实体单独设计网络。与 AlphaGo 不同，Dota 没有完美模拟器之外的简单可分解结构，胜利几乎完全来自算力与分布式训练的堆叠。
影响与后续
OpenAI Five 是强化学习「规模范式」的展示窗：当环境并行度、训练时长与模型容量同时扩大两个数量级，即使没有新算法，AI 也能攻克此前被认为十年内无解的复杂游戏。它直接影响了后续的通用游戏 AI 研究路线，包括 DeepMind 的 FTW（Quake III 夺旗）与 capture-the-flag 类工作，以及今天「用 RL 训练大模型推理能力」（o1/R1 路线）的算力哲学。它的局限也被反复引用：系统极度特化于 Dota，迁移性有限；训练成本只有少数机构能承担；且策略不可解释——没人能说清它为何在某一刻选择团战。这预示了大模型时代的核心特征：能力来自规模，理解落后于能力。
学习要点
- 在自对弈强化学习里，算力与并行环境规模常常比算法创新更决定成败。
- 可变实体输入（单位/技能）需要 Rapid 式统一编码，而非逐实体建网。
- 团队多样性超参采样是缓解多智能体策略坍缩的实用技巧。
- 复杂实时环境没有优雅分解时，规模就是唯一可走的路径。
术语表
用裁剪替代函数限制每步策略更新幅度的强化学习算法，稳定且易于大规模并行。
玩家无法观测全部状态（如战争迷雾）的博弈，需要信念推断与策略随机化。
OpenAI Five 用卷积、LSTM 与实体向量列表统一处理可变数量游戏单元的编码结构。