GameScaling 开源：视觉语言模型开始直接接管键鼠

**米哈游崩坏 AI 研发团队联合清华大学、北京大学、中国科学院大学、香港大学和新加坡国立大学等机构，近日开源了 GameScaling 系列游戏视觉语言模型。**截至 2026 年 10 月 22 日，该项目已经放出 0.8B、2B、9B 和 27B 四档参数规模、合计 8 个模型检查点，并公开推理客户端、操作解析代码和示例程序。

**GameScaling 是一组能够把游戏画面与历史操作直接转换为键盘、鼠标指令的视觉语言模型。**它不是负责对话和攻略问答的“游戏版 ChatGPT”，也不是外挂式脚本，而是面向虚拟环境控制的具身智能模型：输入当前画面、此前部分画面和操作记录，输出下一段应当执行的键鼠动作。

这一区别很重要。传统视觉语言模型看到《我的世界》画面后，可能会回答“前方有一棵树，建议靠近并采集木材”；GameScaling 要做的则是直接给出按下 W、调整鼠标视角、点击鼠标左键等连续操作。前者负责解释，后者必须真正动手，而且动作晚 500 毫秒就可能撞墙、错过敌人或把镜头甩到天上。

一次生成约 200 毫秒动作，而不是只预测一个按键

**GameScaling 每次推理会生成一段覆盖约 200 毫秒的动作序列。**这段序列由 6 个操作步骤组成，每个步骤持续 33 毫秒，合计约 198 毫秒，同时可以包含键盘按键、鼠标移动和滚轮指令。

这套设计本质上是一种“动作分块”。模型不必每隔 33 毫秒完整推理一次，而是一次规划未来约 200 毫秒的操作，再由执行器按照约 30.3Hz 的细粒度节奏依次执行。对实时控制系统来说，这比逐帧调用大模型更现实，也比一次规划数秒动作更容易纠错。

**200 毫秒动作窗口意味着模型的有效重规划频率大约是每秒 5 次。**如果端到端推理、图像处理和通信延迟能够控制在 200 毫秒以内，系统可以边执行上一段动作、边准备下一段动作；如果单次推理明显超过 200 毫秒，模型看到的画面就可能已经过时，控制会出现停顿、漂移或连续误判。

因此，GameScaling 的“实时”不能只看模型生成速度。完整链路至少包括画面采集、历史帧整理、视觉编码、动作生成、结果解析和输入设备执行，任何一环积累延迟都会影响实际体验。27B 模型即使判断更准确，如果推理速度跟不上游戏节奏，也未必比 2B 或 9B 模型更好用。

8 个检查点，核心变量不只是参数量

**GameScaling 共开源 8 个模型检查点，由四档参数规模和两种训练数据配方组合而成。**四档规模分别为 0.8B、2B、9B 和 27B；每档又分为 S1、S3 两个版本。

**S1 是仅使用《我的世界》数据继续预训练的专用版本。**它更适合研究单一环境内的规模扩展规律，也更有机会在采矿、合成、移动和战斗等《我的世界》任务上形成稳定的操作模式。

**S3 是使用多游戏混合数据继续预训练的通用版本。**在 S3 的训练数据中，《我的世界》占 27%，其余 73% 来自其他游戏环境，目标是让模型学习跨游戏复用的视觉判断、镜头控制、移动、战斗和解谜能力。

官方资料显示，各版本均使用了 1600 小时游戏过程数据进行训练。这里的关键不是单纯堆积视频，而是视频必须和键盘、鼠标操作时间对齐；没有动作标签的普通游戏录像，只能教模型“看懂发生了什么”，不能直接教会模型“此刻该按什么”。

| 模型版本 | 参数规模 | 训练数据配方 | 《我的世界》占比 | 官方部署方式 | 更适合的用途 | |---|---:|---|---:|---|---| | GameScaling-0.8B-S1 | 0.8B | 单游戏数据 | 100% | 单张 GPU | 低成本验证、《我的世界》专项实验 | | GameScaling-0.8B-S3 | 0.8B | 多游戏混合 | 27% | 单张 GPU | 跨游戏流程测试、边缘原型 | | GameScaling-2B-S1 | 2B | 单游戏数据 | 100% | 单张 GPU | 《我的世界》控制与微调研究 | | GameScaling-2B-S3 | 2B | 多游戏混合 | 27% | 单张 GPU | 通用性与速度折中 | | GameScaling-9B-S1 | 9B | 单游戏数据 | 100% | 单张 GPU | 更高容量的专项智能体 | | GameScaling-9B-S3 | 9B | 多游戏混合 | 27% | 单张 GPU | 跨游戏能力研究 | | GameScaling-27B-S1 | 27B | 单游戏数据 | 100% | 两张 GPU 张量并行 | 大规模专项能力与 Scaling Law 研究 | | GameScaling-27B-S3 | 27B | 多游戏混合 | 27% | 两张 GPU 张量并行 | 大规模跨环境泛化研究 |

**这套矩阵的研究价值高于单独发布一个“最强版本”。**S1 与 S3 控制了训练数据的多样性，0.8B 至 27B 则控制了模型容量，研究者可以观察增加参数究竟是在提高同一游戏内的熟练度，还是在增强跨游戏迁移能力。

不过，现有公开报道没有给出各模型在统一任务上的完整成功率、平均存活时间、操作准确率和端到端延迟数据。没有这些数字，现在还不能直接得出“27B 一定比 9B 好多少”或“S3 已经具备强泛化能力”的结论。GameScaling 当前最有价值的地方，是提供了一套可以复现实验的模型序列，而不是已经证明了一个全能游戏 AI。

基于 Qwen3.5 继续预训练，但输出目标已经变了

**GameScaling 基于 Qwen3.5 视觉语言模型继续预训练。**继续预训练是指不从零开始训练基础模型，而是在已有视觉、语言能力之上，使用特定领域数据进一步调整模型，使其掌握新的输入分布和输出形式。

对 GameScaling 来说，改变最大的不是“多认识几种游戏画面”，而是把语言输出空间改造成可执行动作空间。普通视觉语言模型擅长生成自然语言描述，GameScaling 则需要学习按键组合、按下与释放的时机、鼠标位移幅度以及动作之间的连续关系。

**历史画面和操作记录是模型判断游戏状态的重要组成部分。**单张截图通常无法判断角色是在前进、后退还是刚刚完成转身，也难以区分敌人正在靠近还是远离。加入此前画面和动作后，模型才能从时间变化中估计运动趋势，并避免重复执行已经完成的操作。

这种机制可以理解为一个不断滚动的短期控制回路：模型观察最近状态，预测约 200 毫秒动作，执行后再获取新画面并重新规划。它没有必要一次生成完整通关路线，而是像玩家一样持续观察和修正。

覆盖三类任务，比单一《我的世界》智能体更进一步

**GameScaling 已展示的任务覆盖开放世界、第一人称战斗和密室解谜三种场景。**公开资料提到的环境包括《我的世界》《毁灭战士》以及密室逃脱类场景。

在《我的世界》中，模型需要完成采矿、合成物品和对抗僵尸等任务。这些任务同时涉及长流程规划、物品识别、菜单操作、空间移动和战斗，并不是简单的“看到目标后按一个键”。尤其是合成任务，模型既要记住目标物品所需材料，也要在第一人称操作和界面操作之间切换。

在《毁灭战士》中，难点更偏向高速战斗与寻路。敌人、弹道和镜头都在快速变化，模型必须连续调整移动方向和准星，200 毫秒的动作分块如果缺乏纠错，很容易迅速放大成明显失误。

在密室场景中，核心挑战则是探索、线索关联和长时序记忆。模型不仅要识别可交互物体，还要记住此前看过的密码、机关和房间布局。视觉控制能力只是基础，能否把短期动作与较长任务目标连接起来，才决定它是否真的能完成逃脱。

0.8B 才可能进入实时系统，27B 更像研究上限

**GameScaling 最务实的版本可能不是 27B，而是 0.8B、2B 和 9B。**官方部署说明显示，这三个规模的权重可以在单张 GPU 上运行，27B 则需要两张 GPU 进行张量并行推理。

**张量并行是把同一个模型的计算拆分到多张 GPU 上执行的部署方式。**它可以容纳更大的模型并提高部分场景下的吞吐，但会引入跨卡通信，对硬件互联、显存容量和推理框架提出更高要求。

对于交互式游戏智能体，单次动作的延迟往往比服务器总吞吐更重要。批量处理 100 个玩家画面可以提高 GPU 利用率，却可能增加排队时间；而本地单任务部署即使吞吐不高，只要首个动作足够快，实际控制反而更流畅。

项目支持通过 vLLM 部署模型服务，并提供推理客户端、提示词模板、动作解析代码与示例程序。vLLM 是面向大语言模型和多模态模型的高吞吐推理引擎，但 GameScaling 能否达到稳定实时控制，仍取决于模型规模、输入图像分辨率、历史上下文长度、GPU 型号以及并发负载。

官方目前没有在公开报道中统一列出不同 GPU 上的每秒生成速度和端到端延迟，因此不宜仅凭“单卡可部署”判断消费级显卡是否足够。单卡部署只代表模型可以放入一张 GPU 并完成推理，不代表它一定能在目标分辨率和上下文长度下稳定跑进 200 毫秒窗口。

它比脚本更通用，但离真正自主玩家还有距离

**GameScaling 相比固定脚本的优势是能够直接根据视觉状态调整动作。**传统自动化脚本依赖坐标、规则或游戏内部接口，界面位置、地图结构或光照稍有变化就可能失效；视觉语言模型理论上可以利用画面语义处理更多变化。

| 技术路线 | 输入 | 输出 | 优势 | 主要短板 | |---|---|---|---|---| | 固定脚本或宏 | 坐标、按键状态、预设流程 | 固定键鼠序列 | 延迟低、结果确定、成本低 | 泛化差，场景变化后容易失效 | | 强化学习专用智能体 | 游戏状态或像素 | 离散或连续动作 | 在固定环境内可达到很高水平 | 训练成本高，迁移到新游戏困难 | | 通用视觉语言模型 | 图片、文本 | 自然语言描述 | 理解能力强，容易交互 | 不能稳定直接控制游戏 | | GameScaling | 连续画面、历史动作 | 可执行键鼠动作块 | 可跨任务复用，接近真实玩家接口 | 实时性、长程规划和可靠性仍待验证 |

**GameScaling 仍然不是一个开箱即用的全自动通关系统。**视觉语言模型会产生错误动作，游戏又是一个持续变化的闭环环境，一次误判可能改变后续所有画面。与文本问答不同，错误回答可以被忽略，错误键鼠操作却会立刻改变环境状态。

长时序任务也是现阶段的明显难点。模型能够生成下一段 200 毫秒动作，并不等于它能稳定记住 20 分钟前取得的线索、维持资源规划或在失败后重建策略。真正可用的游戏智能体通常还需要任务规划器、长期记忆、失败检测、地图表示和动作安全层，而 GameScaling 主要解决的是视觉到键鼠动作这一关键底座。

Apache 2.0 让它具备二次开发价值

**GameScaling 的代码与模型权重采用 Apache 2.0 许可证。**这一许可证允许使用、修改和分发，也通常允许商业使用，因此研究团队和开发者可以在其基础上做微调、蒸馏、评测或构建新的游戏智能体系统。

开放许可不等于可以忽略游戏本身的用户协议。模型权重的 Apache 2.0 授权与具体游戏的版权、反作弊规则、自动化操作限制是两回事；开发者在公开服务器或商业游戏中部署自动操作系统，仍需遵守对应平台和游戏规则。

GameScaling 更现实的近期用途也未必是替玩家“挂机”。它可以用于游戏自动化测试、无障碍交互、NPC 行为研究、虚拟环境中的具身智能训练，以及比较不同参数规模的动作模型。对游戏工作室来说，让模型自动重复探索地图、验证交互流程和复现异常，可能比做一个会刷资源的机器人更有产品价值。

判断：这是游戏智能体底座，不是“AI 玩家终局”

**GameScaling 的真正意义，是把游戏多模态模型从“看图说话”推进到了“看图操作”。**0.8B 至 27B 的完整模型梯度、S1 与 S3 两种数据配方，以及配套推理和动作解析代码，让它成为一个相对完整的游戏具身智能研究底座。

**这次开源最值得关注的不是 27B 参数，而是 0.8B 模型是否足够好用。**游戏操作对延迟极为敏感，小模型如果能在常见单卡环境中稳定完成基础移动、视角调整和短流程任务，就可能比更强但更慢的大模型更快进入测试工具、游戏 NPC 和本地智能体产品。

**GameScaling 目前最大的缺口是缺少可横向比较的公开评测数字。**模型是否能跨地图、跨画面风格甚至跨游戏迁移，S3 相比 S1 的通用能力提升多少，27B 相比 9B 是否值得双卡推理成本，都需要论文和后续基准给出明确答案。

但方向已经足够清楚：游戏正在成为训练具身智能的低成本试验场。机器人在现实世界中犯错可能损坏设备，游戏智能体却可以无限重置；现实机器人的动作是关节控制，GameScaling 的动作是键盘和鼠标，两者都要求模型理解视觉状态、规划下一步并在反馈中纠错。今天它控制的是《我的世界》和《毁灭战士》，未来这套方法也可能被迁移到桌面软件、仿真机器人和其他交互环境。

参考来源

• IT之家：米哈游联合清华北大等高校发布开源 GameScaling 游戏模型 —— 汇总项目参与机构、模型规模、训练数据、动作格式、部署方式与开源许可证等信息。