皇室战争有了开源强化学习沙盒

一个名为 ClashRoyaleAi 的开源项目近日公开了面向强化学习（RL）的确定性《皇室战争》模拟器，试图解决这个游戏长期缺少官方环境、无法稳定复现实验的问题。

项目作者没有接入真实游戏客户端，也没有把移动端画面做成简单的视觉输入，而是直接用 C++17 重建了一套无头（headless）对战引擎，再通过 pybind11 暴露给 Python 训练流程。按照项目目前披露的数据，完整对局在单台电脑的一个 CPU 核心上约需 10 毫秒，任意状态通过 snapshot() 分叉只需 7 至 20 微秒。

这意味着，研究者可以在不启动游戏客户端、不依赖网络、不受服务器状态影响的情况下，大量生成《皇室战争》对局，并对同一个局面进行成百上千次可控实验。对于需要反复试错的强化学习来说，这比“让 Agent 直接玩线上游戏”更接近一块真正可用的实验基础设施。

它解决的不是“能不能玩”，而是“能不能做实验”

《皇室战争》是一款实时、双人、部分可观测的卡牌对战游戏，其核心难点在于玩家必须在有限信息下管理圣水、选择卡牌并决定部署位置。游戏没有面向研究者开放的官方 API，因此过去想用强化学习训练 Agent，通常只能依赖屏幕识别、模拟点击或私人服务器，这些方案要么速度太慢，要么难以复现。

确定性模拟器是指在相同初始状态、动作序列和随机种子下，总能产生完全相同结果的环境。 这项特性对于强化学习尤其重要：如果同一动作在两次实验中因为网络延迟、帧率、随机事件或客户端状态不同而产生不同结果，研究者就很难判断性能变化究竟来自算法，还是来自环境噪声。

ClashRoyaleAi 的做法是把游戏中的战斗逻辑从图形界面和线上服务中剥离出来。Agent 输出卡牌和部署位置，模拟器负责推进时间、计算单位移动、攻击、碰撞、伤害、建筑状态、圣水变化以及胜负结果。训练过程因此从“操作一个游戏客户端”变成了“在一个可重复的马尔可夫决策环境中做决策”。

项目声称已覆盖截至 2026 年 7 月游戏中的全部卡牌，共 132 张卡牌和 41 个进化版本。这里的“覆盖”不只是把卡牌名称加入动作列表，而是意味着这些卡牌的战斗行为、费用、部署规则和交互逻辑都被纳入模拟器。不过，项目仍处于持续开发阶段，复杂卡牌机制与真实客户端之间的长期一致性，仍需要社区通过对局回放和差分测试进一步验证。

13,977 个浮点数，如何表示一场实时对局

该环境的观测空间包含 13,977 个浮点数，并显式提供对手已使用卡牌的历史信息。这个设计直接对应了《皇室战争》的部分可观测属性：玩家看不到对手手牌，只能根据已经出现过的卡牌、圣水节奏和场上单位推测对方接下来可能采取的行动。

部分可观测环境是指 Agent 无法直接获得系统完整状态，只能根据当前观测和历史信息推断真实局面。 对《皇室战争》而言，当前场上的单位只是信息的一部分，对手手中剩余的卡牌、下一张循环卡牌以及对手是否保留关键法术，同样会影响最佳决策。

如果只把当前画面编码成一个静态向量，Agent 很容易把“这一刻看到的局面”误认为全部信息。项目因此选择了带历史的观测设计，并在 Agent 侧使用 LSTM 维护时间上下文。这让模型可以记住对手此前打出过什么、某张卡牌距离再次进入手牌还剩多少轮，以及对手是否已经交掉了解场法术。

动作空间也没有被简化成“选一张卡”。Agent 需要先选择卡牌，再从 612 个部署格中选择位置，同时接受合法性掩码（legality mask）约束。换句话说，模型不能把概率浪费在当前不能使用的卡牌或非法部署点上。

这种动作设计保留了游戏真正的决策结构，但也显著增加了训练难度。假设手牌中有 4 张卡，每张卡对应 612 个位置，未经约束的组合空间就可能达到数千个候选动作；再考虑圣水不足、建筑范围、单位类型和部署区域限制，Agent 必须同时学会“用什么”和“放在哪里”。这也是该项目比普通棋类环境更接近复杂实时 Agent 任务的地方。

10 毫秒一局，让前瞻搜索从概念变成常规操作

该模拟器最值得关注的性能指标不是单局 10 毫秒，而是 7 至 20 微秒的状态快照分叉速度。snapshot() 可以复制任意对局状态，让程序从同一局面尝试不同动作，而不必重新运行整场比赛。

状态快照是指对当前环境内部状态进行可恢复复制，使程序可以从同一时刻并行测试多个未来分支。 在强化学习中，这相当于给 Agent 配了一台“局面时间机器”：它可以先假设打出火球，再假设下出骑士，比较两种动作若干步之后的结果，然后回到原状态继续正式对局。

这项能力直接支撑了项目中的 1-ply lookahead，也就是只对当前动作向前模拟一步，再让策略网络评估结果。项目披露的 160 场配对对局显示，基础策略的胜率从 0.625 提升到 0.944；报告给出的 95% 置信区间为 +0.24 至 +0.40。

这里需要谨慎理解。“1-ply”并不等于完整的深度搜索，它只是在动作执行前增加一次有限的模拟评估，因此计算成本远低于多层蒙特卡洛树搜索。但在实时卡牌游戏中，即使只多看一步，也可能帮助策略避开明显亏损的部署，例如把高费单位放在错误一侧、提前交出唯一解场牌，或在对手即将进入进攻节奏时错误地消耗圣水。

项目还报告称，将搜索结果蒸馏回策略网络后，通过价值分布目标和 DAgger 训练，胜率进一步提升了 0.045。策略蒸馏是指把搜索器或教师策略产生的决策信号压缩回一个更快的模型，使模型在不运行完整搜索时也能复现部分搜索能力。 这条路线的实际价值在于，训练阶段可以使用昂贵的搜索产生高质量标签，部署阶段则由轻量网络快速决策。

| 项目 | ClashRoyaleAi 当前披露情况 | 对强化学习的意义 | |---|---:|---| | 游戏覆盖 | 132 张卡牌、41 个进化版本 | 能覆盖较完整的卡组与机制组合 | | 单局模拟速度 | 单 CPU 核心约 10 毫秒 | 适合批量生成对局 | | 状态快照 | 7–20 微秒 | 支持前瞻搜索与配对实验 | | 观测空间 | 13,977 个浮点数 | 同时编码场面与历史信息 | | 部署位置 | 612 个网格单元 | 保留卡牌放置决策的空间结构 | | 基础 Agent | 1.85M 参数，CNN + LSTM | CPU 可运行，便于复现实验 | | 1-ply lookahead | 胜率 0.625 提升至 0.944 | 展示搜索对策略的即时增益 | | 蒸馏后提升 | 额外 +0.045 | 尝试降低部署时搜索成本 |

Agent 不是大模型，而是一套小而完整的训练管线

ClashRoyaleAi 使用的是约 185 万参数的循环 PPO Agent，由 CNN 和 LSTM 组成，并且强调仅使用 CPU。它并非试图训练一个可以解释卡牌策略的语言模型，而是针对结构化状态和连续决策打造的专用控制器。

循环 PPO 是带有记忆模块的近端策略优化算法，适合处理需要结合历史信息的部分可观测任务。 PPO 负责根据奖励更新策略，LSTM 则负责把过去若干时间步的信息保留下来；CNN 可以用于提取场上单位和空间布局的局部结构。

项目采用了课程学习（curriculum learning），先让 Agent 对抗一个教师策略，再逐步增加对手难度。教师会通过模拟为候选动作排序，并驾驶 16 套天梯环境中的主流卡组。这个设计比让随机策略直接自我对弈更现实，因为随机对手产生的训练信号通常很差：它不会形成稳定进攻，也无法持续制造真正的防守压力。

课程学习是指按照由易到难的顺序安排训练任务，让 Agent 先掌握基础行为，再面对更复杂的对抗。 在本项目中，教师策略承担了“陪练”的作用，先帮助模型学会基本的费用管理、单位交换和防守，然后再让它进入更接近真实天梯的环境。

后续训练则引入 PFSP 自我对弈联赛。PFSP，即 Prioritized Fictitious Self-Play，可以理解为从历史策略池中优先挑选那些胜负接近、最能暴露当前模型弱点的对手。相比始终挑战最强模型，这种方式更容易维持训练信号；相比只和当前版本自我对弈，它也能减少策略循环和灾难性遗忘。

为什么这对强化学习研究者有吸引力

这个项目的首要价值是降低环境构建成本。强化学习论文经常把算法改进写得很复杂，但真正耗时的部分往往是环境：规则是否完整、状态是否可复制、奖励是否稳定、并行采样是否足够快。一个成熟的模拟器可以把研究者从“实现游戏规则”这件事中解放出来，让他们直接比较 PPO、SAC、搜索增强策略或不同记忆结构。

第二个价值是让实验结果更容易复现。种子可控意味着研究者可以固定初始卡组、初始圣水、对手策略和动作序列，进行严格的 A/B 测试。例如，同一个局面分别运行“纯策略网络”和“加入 1-ply 搜索”的版本，差异更接近算法本身，而不是来自不同比赛抽样。

第三个价值是为混合式 Agent 提供了低成本试验场。近年来强化学习系统越来越常见“策略网络 + 搜索器 + 规则教师”的组合。纯神经网络擅长快速泛化，搜索器擅长处理关键局面的短期后果，规则或专家策略则能提供早期训练信号。ClashRoyaleAi 的快照性能，正好适合测试这三者如何协同。

不过，它对普通玩家的直接意义目前有限。项目不是《皇室战争》官方客户端，也不是一个可以替代线上匹配的服务；当前披露内容也没有证明训练出的 Agent 能在真实游戏客户端中稳定运行。模拟器与真实游戏之间只要存在单位碰撞、时间步、卡牌机制或数值平衡差异，训练出的策略就可能出现“模拟器里有效、真实对局里失效”的问题。

最大挑战：规则一致性和泛化能力

模拟器最难的部分不是把卡牌加入列表，而是长期维持与真实游戏一致的动态规则。实时卡牌游戏存在大量边界条件：同一帧内多个单位的攻击顺序、击退和碰撞优先级、死亡触发、范围伤害、建筑目标选择、进化卡牌的特殊状态，以及延迟和时间离散化方式，都可能改变最终结果。

模拟器偏差是指训练环境与目标真实环境之间的规则、观测或动力学差异。 这种偏差在棋盘类游戏中可能相对容易控制，但在包含实时移动、复杂碰撞和隐藏信息的游戏中，会直接影响策略是否可迁移。

因此，项目后续能否建立一套可验证的回归测试，比当前的单项胜率更重要。理想的测试应包括固定局面回放、单卡机制测试、边界时间测试、成千上万局的统计分布对齐，以及不同模拟器版本之间的结果差异报告。社区还需要明确哪些机制是精确复刻，哪些机制是近似实现，避免使用者把研究结果误读成真实天梯表现。

第二个挑战是观测和奖励设计。虽然 13,977 个浮点数足以表达大量状态，但“表达得多”不等于“表达得好”。如果特征中包含了真实玩家无法获得的信息，Agent 可能借助信息泄漏取得虚高成绩；如果奖励只在胜负时给出，训练又可能变得过于稀疏。如何在不泄露隐藏信息的前提下提供有效的中间反馈，将决定该环境能否支持更复杂的研究。

第三个挑战是卡组和对手分布。项目目前使用 16 套天梯元卡组作为教师策略的驾驶对象，这是一个不错的起点，但天梯环境会随版本更新迅速变化。若训练分布长期停留在 2026 年 7 月之前的卡牌和卡组，Agent 可能只学会针对固定元环境优化，而不是学会更一般的资源管理和战术推理。

它和已有游戏环境不是一回事

传统强化学习环境通常强调规则简单、接口统一和训练稳定，例如离散动作的街机游戏、棋类或机器人控制任务。ClashRoyaleAi 的不同之处，在于它把实时性、空间部署、隐藏手牌、卡组循环和强对抗同时放进了一个可批量运行的环境。

| 环境类型 | 典型特点 | 与 ClashRoyaleAi 的差异 | |---|---|---| | 棋类环境 | 完全可观测、回合制、规则清晰 | 皇室战争包含实时推进和隐藏手牌 | | 传统街机环境 | 视觉输入、动作频繁、奖励相对直接 | 项目提供结构化状态与合法性掩码 | | 机器人模拟器 | 连续控制、物理动力学、传感器噪声 | 项目更强调卡牌选择与部署策略 | | 多智能体博弈环境 | 关注对手建模和自我对弈 | 项目同时加入卡组循环与资源管理 | | ClashRoyaleAi | 实时、部分可观测、确定性、可搜索 | 适合测试记忆、搜索和专家迭代组合 |

它也不同于一些只支持局域网联机的第三方游戏模拟项目。后者的目标通常是让人类玩家或程序通过网络连接进行对战，而 ClashRoyaleAi 的核心目标是提供 Gymnasium 风格的训练接口、快速状态分叉和可控实验。两者都可能重建游戏规则，但面向的使用者和评价标准完全不同。

对开发者来说，应该如何看待这个项目

对强化学习研究者而言，ClashRoyaleAi 值得关注的不是“它能不能打赢玩家”，而是它是否能成为稳定的研究基准。当前披露的 10 毫秒单局、7 至 20 微秒快照和 1.85M 参数 CPU Agent，已经说明项目在工程方向上抓住了训练吞吐与复现性两个关键问题。

对游戏 AI 开发者而言，这个项目提供了一个观察混合式决策架构的窗口。未来可以围绕不同记忆长度、动作掩码、搜索深度、价值分布建模、对手建模和奖励塑形开展消融实验。尤其是“搜索产生教师信号、策略网络负责快速执行”的路线，和当前许多 Agent 系统采用的规划—执行分离思路高度相似。

对普通 AI 用户而言，它的意义则更间接。这个项目不会马上带来一个可以下载的“皇室战争外挂式 AI”，也不应被包装成真实游戏胜率保证。它真正展示的是：只要把一个复杂交互系统重建成确定性、可观测、可分叉的环境，强化学习就能从依赖人工调参的演示，转向更系统的实验和迭代。

截至 2026 年 9 月 27 日，ClashRoyaleAi 更像是一块正在打磨的研究基础设施，而不是完成品。它最有价值的贡献，是把一个没有官方研究接口的商业游戏，转化成了可被脚本化、可被复现、可被搜索的强化学习沙盒。接下来真正值得追踪的，不是单次 160 场对局中的胜率数字，而是项目能否公开更完整的评测条件、回归测试、规则覆盖清单和跨版本泛化结果。

如果这些部分能够持续补齐，ClashRoyaleAi 有机会成为研究实时多智能体决策的轻量级基准；如果不能，它仍然会是一个很有启发性的工程实验，但很难承担严肃 benchmark 的角色。对于今天的开源强化学习生态来说，这已经是一个值得关注的方向：环境不再只是训练算法的配角，而正在成为决定研究可信度的核心资产。

参考来源

• Reddit：ClashRoyaleAi 项目发布讨论：项目作者介绍模拟器架构、Agent 训练方法与阶段性实验结果。
• GitHub：clash-royale-simulator：相关《皇室战争》模拟器项目资料，可用于了解开源社区对游戏规则重建和局域网联机功能的实践。
• 知乎：强化学习常用游戏模拟环境介绍：补充介绍游戏模拟环境在强化学习研究中的作用与价值。
• 开源项目讨论：ASearcher：用于对比当前 Agent 强化学习项目在环境、数据和训练基础设施上的发展趋势。