99 美元重做 LLM 评测：把模型扔进一场不会暂停的文字游戏

2026 年 7 月 22 日，Crucible Bench 最近公开了一项成本标为 99 美元的概念验证：让大语言模型进入 MUD 世界，通过探索、行动和完成任务来评估其真实能力。这个实验没有发布新的基础模型，也没有试图再造一张刷分榜单；它真正值得关注的地方，是把评测对象从“模型能不能答对一道题”，换成了“模型能不能在连续变化的环境里把事情做完”。

**Crucible Bench 是一个尝试用交互式虚拟环境评估 LLM 与 Agent 的实验性项目。**截至今天，项目公开材料还不足以把它视为一套经过大规模复现的行业标准，但它提出的问题很直接：如果未来模型主要以 Agent 形态工作，继续用单轮问答衡量它们，是否已经测错了对象？

**MUD 是 Multi-User Dungeon 的缩写，指由文本描述世界、玩家输入命令推动状态变化的多人在线角色扮演环境。**玩家看到的不是完整地图和结构化数据库，而是诸如“你站在昏暗走廊里，北面有一扇锁住的门”这样的自然语言观察；接下来要输入查看、移动、拾取、交谈或使用物品等指令，环境再返回新的结果。

这套几十年前的游戏形式，意外地适合检验今天的 LLM。

99 美元买到的不是榜单，而是一种评测思路

**项目标题中的 99 美元代表这次概念验证所标示的成本量级，而不是游戏售价、参赛奖金或某个模型的固定调用价格。**公开页面没有完整拆分模型推理、服务器、开发工时和人工检查分别占多少钱，因此不能把 99 美元直接理解为部署一套正式评测系统的总拥有成本，更不能据此推导所有模型的评测价格。

**99 美元最有价值的信息，是动态评测的试错门槛可能没有想象中那么高。**过去团队谈到 Agent Benchmark，常常默认需要昂贵的沙盒、复杂的人工标注和大规模基础设施；MUD 则提供了一条更轻的路径：世界由文本和确定性规则驱动，状态容易记录，动作容易回放，失败也不会影响真实用户或生产数据。

**这次实验更像一个可运行的论点，而不是一张可以直接采购模型的排行榜。**它证明了用较小预算搭建动态环境是可行的，却还没有证明某个 MUD 分数能够稳定预测编程、浏览器操作、客服或企业流程自动化的表现。两者之间差了一整套重复实验、统计检验和外部效度验证。

静态题库测答案，MUD 测行为链

**静态 Benchmark 是预先准备题目与标准答案、让模型在固定输入上接受测试的评测方法。**MMLU 包含 57 个学科、15,908 道选择题，BIG-bench 则收录 204 个任务；这类数据集成本可控、容易复现，也适合快速比较模型的知识覆盖与局部推理能力。

**静态题库的核心缺陷，是它通常只检查最终输出，不检查模型如何抵达答案。**一个模型可能背过相似题目，可能在提示词格式上占便宜，也可能用一段听起来合理的解释掩盖错误推理。更现实的问题是，一旦题库长期公开，训练数据污染和针对性优化就很难完全排除。

**动态交互评测是让模型在可变化环境中连续观察、决策和行动，并根据全过程评分的方法。**MUD 中的门会被打开，物品会被拿走，角色位置会改变，先前动作还可能产生延迟影响；模型面对的下一条输入，不再由测试集作者提前写死，而是由它自己的上一项决策共同生成。

这种差异可以概括为：静态题库问模型“你知道该怎么做吗”，MUD 则要求模型“现在就做，而且别忘了刚才做过什么”。

| 评测方式 | 主要输入 | 主要输出 | 成本结构 | 擅长测量 | 主要问题 | |---|---|---|---|---|---| | 静态 Benchmark | 固定题目 | 单次答案或代码 | 一次制作、多次复用，边际成本低 | 知识、数学、代码与局部推理 | 数据污染、刷榜、难测长程行为 | | LLM-as-Judge | 问题、候选回答与评分标准 | 分数或两两偏好 | 每个答案额外增加一次或多次模型推理 | 文风、帮助度、开放式回答质量 | 位置偏差、冗长偏差、自我偏好 | | MUD 动态评测 | 当前观察、历史状态与任务目标 | 连续动作序列 | Crucible 概念验证标示为 99 美元，正式成本取决于模型与轮次 | 规划、记忆、探索、纠错、工具使用 | 随机性、环境偏差、复现标准尚不成熟 | | 真实用户测试 | 生产任务与真实约束 | 业务结果 | 最高，还包含人工和失败风险 | 最接近实际价值 | 难控制变量、难公开、可能影响用户 |

MUD 真正测到的是六种 Agent 能力

**第一种能力是状态追踪，即模型能否在长时间交互中维护一份没有自相矛盾的世界认知。**钥匙已经交给了守卫，就不该在十步后再次尝试用同一把钥匙开门；角色已经进入地下室，也不该继续根据楼上的旧描述行动。很多模型单轮推理很强，却会在历史变长后丢失物品归属、人物关系和未完成目标。

第二种能力是长程规划，即模型能否把一个目标拆成有先后依赖的动作链。“进入城堡拿到文书”可能要求先获得金币、与商人交易、询问守卫、找到侧门，再处理锁具。最终成功取决于十几步甚至更多步骤中没有致命错误，而不是某一步生成得足够漂亮。

**第三种能力是探索，即模型能否在信息不完整时主动降低不确定性。**MUD 不会一次性给出所有可用动作，模型需要查看环境、询问角色、试探路径，并判断什么时候应该继续搜索、什么时候已有足够信息采取行动。这比四选一题更接近浏览器 Agent 面对陌生网页的状态。

**第四种能力是错误恢复，即模型能否识别失败并改变策略。**无效命令、错误路线和被拒绝的交互不会自动给出标准答案；优秀的 Agent 应该从环境反馈中修正假设，而不是换一种措辞重复同一个错误。现实中的自动化系统，价值往往不取决于是否永不犯错，而取决于犯错后会不会把问题越搞越大。

**第五种能力是指令遵循，即模型能否在目标、环境规则和局部诱惑之间维持稳定优先级。**游戏角色可能给出与主任务冲突的建议，某条高奖励支线也可能消耗关键资源。模型必须知道哪些文本只是世界内容，哪些规则属于不可覆盖的任务约束。

**第六种能力是资源意识，即模型能否在 Token、动作次数和推理成本有限时完成任务。**一个模型跑 300 步成功，与另一个模型跑 30 步成功，不应得到完全相同的评价；如果前者还使用了更昂贵的推理配置，差距会进一步扩大。

一套可信的 MUD 评测不能只看通关率

**通关率是最直观的指标，但单独使用会掩盖效率、稳定性和成本差异。**如果要把这类概念验证变成可用于模型选型的 Benchmark，至少需要同时记录以下指标：

• 任务成功率：完成目标的运行次数除以总运行次数。
• 归一化奖励：不同地图和任务难度下，将原始得分映射到统一尺度。
• 有效动作率：被环境接受并产生状态变化的动作占比。
• 完成步数：成功运行所需动作数量，并同时报告中位数和尾部数据。
• 错误恢复率：发生无效动作或错误决策后，最终仍完成任务的比例。
• 状态一致性：模型对位置、物品、人物和目标的陈述与环境真实状态相符的比例。
• 单次成功成本：总推理与运行成本除以成功次数，而不是只计算单轮价格。
• 跨运行方差：同一模型在不同随机种子和重复实验中的波动幅度。

**动态评测必须报告均值、标准差和置信区间，而不能只展示一局精彩录像。**单次通关可能来自运气，单次失败也可能由随机事件造成；如果没有多个随机种子、重复运行次数和完整轨迹，所谓模型排名很容易被偶然性左右。

**完整轨迹是 MUD Benchmark 比单一总分更重要的产物。**研究者可以检查模型在哪里遗忘目标、为什么进入死循环、是否反复生成环境不支持的指令，以及一次错误究竟来自基础模型、提示词、记忆模块还是外部控制器。对于开发团队来说，这些信息比“总分提高 2 分”更能指导迭代。

它测的其实是整个 Agent 系统

**MUD 成绩首先衡量的是 Agent 系统，而不只是裸模型参数。**上下文窗口、系统提示词、轨迹压缩、外部记忆、动作解析器、重试逻辑和规划器都会影响结果；同一个基础模型，换一套脚手架可能得到完全不同的成功率。

**模型与系统能力混在一起不是缺陷，但评测报告必须把变量说清楚。**如果目标是比较基础模型，就应统一提示词、工具、记忆和最大步数；如果目标是比较 Agent 产品，则可以允许不同系统自由设计，但必须同时披露成本、延迟和失败处理策略。

**动作接口也会显著改变难度。**让模型从固定动作列表中选择，类似做选择题；让模型自由生成 open north door 一类命令，则同时考验语言理解、格式遵循和环境操作能力。两种模式都合理，却不能放在同一张榜单里直接比较。

**世界规则是否对模型可见，同样决定评测究竟在测什么。**规则完全隐藏时，测试更偏向探索与世界模型学习；规则全部提供时，测试更偏向规划和执行。可信的评测需要标明可见信息范围，而不是只公布一句任务目标。

MUD 也可能成为新的“刷榜游戏”

**MUD 并不会天然消除数据污染，只是把污染从答案层面推迟到环境层面。**如果地图、任务脚本和最优路线长期公开，模型开发者仍可以把攻略放进训练集，或者在外部规划器中硬编码高频任务。

**奖励函数还可能诱导模型找到设计者没预料到的捷径。**如果系统只奖励金币数量，Agent 可能反复利用某个交易漏洞；如果只奖励到达终点，它可能跳过本应完成的约束。奖励黑客不是模型“不听话”，而是评测目标没有完整表达真正需求。

**MUD 的复古文本界面也会带来额外偏差。**训练语料中接触过互动小说、文字冒险攻略或特定命令格式的模型，可能比世界建模能力相近但缺乏相关语料的模型更占优势。解决办法不是放弃 MUD，而是使用程序化生成地图、隐藏测试世界和多种语言表达，降低对特定作品记忆的依赖。

**多玩家机制只有在真正启用后，才能测到协作、欺骗和竞争。**单个模型进入 MUD，本质上更接近文字冒险环境；让多个 Agent 同时行动，才会出现资源竞争、谈判、承诺、信息不对称和其他玩家改变世界状态等问题。后者更有研究价值，也更难保证实验可控。

这 99 美元值不值？值，但别急着拿来定采购

**Crucible Bench 的方向是对的，因为 Agent 时代需要从答案评测转向过程评测。**当模型开始操作浏览器、修改代码仓库、处理工单和调用企业工具时，单轮回答质量已经不足以代表可用性；任务是否完成、用了多少步骤、失败后能否恢复，才是接近业务结果的指标。

**这套概念验证目前更适合作为回归测试模板，而不是通用模型排行榜。**团队可以构造与自身产品相似的文字化沙盒：客服团队模拟用户、订单和退款规则，研发团队模拟代码文件、依赖和测试状态，运维团队模拟服务器、告警和权限关系。模型升级后重复运行，就能观察成功率、成本和错误类型是否发生变化。

**MUD 最现实的价值，是让小团队也能拥有一套可控的 Agent 试验场。**相比直接让模型操作生产系统，文本世界便宜、可重置、可回放，还能人为制造权限不足、信息缺失和工具失败等边界场景。99 美元是否包含所有隐性成本并不重要，重要的是它说明原型并不一定需要百万美元实验室。

**真正成熟的 LLM 评测不会只剩一种方法。**静态题库适合快速检查基础能力，LLM-as-Judge 适合规模化评价开放回答，MUD 适合观察连续决策，人类和真实用户则负责最终确认业务价值。四层评测相互补足，远比追逐一个综合总分可靠。

判断：下一代 Benchmark 应该像游戏，但不能只是游戏

**一场好的动态评测应该具备可执行规则、隐藏状态、长期目标、失败代价和完整日志。**MUD 恰好以极低的界面成本集齐了这些元素，所以它不是怀旧噱头，而是一种很实用的 Agent 测试容器。

**一场好的动态评测也必须走出游戏，证明成绩与真实任务存在相关性。**如果 MUD 高分模型在浏览器操作、代码修复和企业流程中没有更高成功率，这套评测就只能说明模型擅长玩文字游戏。Crucible Bench 接下来最该做的，不是增加更华丽的剧情，而是公开环境、轨迹、预算口径和重复实验，并验证分数能否预测现实表现。

**99 美元没有解决 LLM 评测问题，但它把问题问得比许多昂贵榜单更准确。**模型上新时，我们真正需要知道的不是它又记住了多少道题，而是它进入一个陌生世界后，能否持续理解环境、修正错误，并在预算耗尽前完成目标。

参考来源

• Microsoft TextWorld：微软开源的文本游戏生成与交互式学习环境，可用于研究语言理解、强化学习和 Agent 决策。
• Jericho：面向互动小说环境的学习框架，提供文本观察、动作执行和游戏状态访问能力。
• AgentBench：用于评估 LLM 在多种交互环境中作为 Agent 表现的开源基准。
• LLMs playing in and understanding MUD worlds：围绕 LLM 学习 MUD 世界规则、预测状态变化和执行任务的社区讨论。
• 百万步 LLM Agent 任务讨论：介绍长程任务中的错误累积、容错机制与多步骤推理问题。