HexGrid Cloud开放实测通道：你点模型和卡，它跑压测

HexGrid Cloud 把压测台搬到了社区门口

本周，专注开源模型部署的 HexGrid Cloud 在 r/MachineLearning 挂出了一个略显硬核的帖子：谁想看某个开源 LLM 在某张 GPU 上的真实性能，报模型、报卡、报量化配置，他们负责跑，结果公开。

这不是营销活动，更像是一次把内部性能调优过程"半透明化"的尝试。团队自己说得直白——他们正在死磕 serving/deployment 层，与其自己蒙头猜用户想看什么组合，不如让社区直接点单。

菜单开得挺全，覆盖了当下最有讨论度的几款模型

首批开放压测的模型清单，基本踩中了 2026 年上半年开源社区讨论度最高的几个名字：

• Nemotron-3 Super 120B-A12B（仅限 NVFP4）
• Nemotron-3 Nano 30B A3B
• Qwen-3.6 27B
• Llama 3.3 70B Instruct
• Gemma-4 31B
• Devstral-Small-2-24B-Instruct-2512
• 以及一个开放位——你可以推荐任何能塞进单张 H200（141GB）的开源 chat 模型

这份名单本身就值得聊两句。Nemotron-3 Super 120B-A12B 只上 NVFP4，摆明了是给新一代 Blackwell 架构准备的——FP4 精度在 H200 上跑不动，必须走原生支持 FP4 张量核心的卡。而 Nano 30B A3B 是典型的 MoE 稀疏激活路线，激活参数只有 3B 左右，比拼的其实是调度器和 KV cache 管理的效率，不是纯算力。

Qwen-3.6 27B 和 Gemma-4 31B 是这轮 27B~31B 档位里最容易被拿来做正面对比的两个 dense 模型；Llama 3.3 70B 则是老牌基准——几乎所有推理框架的性能对标都绕不开它。Devstral-Small-2-24B 是代码方向的 instruct 变体，放进来估计是想覆盖 code assistant 类工作负载的用户。

硬件与量化：从 RTX PRO 6000 到 H200 一条龙

这轮开放的硬件池覆盖了从工作站级到数据中心级的四档：

• RTX PRO 6000：Ada 架构工作站卡，96GB 显存，适合本地部署场景
• L40S：性价比选项，48GB，主要看单流延迟
• H100：目前的主力生产卡
• H200：141GB HBM3e，跑 70B+ 长上下文的首选

量化维度给了 FP8 / AWQ / BF16 三档，上下文从 8K 到 128K 四档可选。用户还可以指定测量指标——最大吞吐、单流速度，还是长上下文 prefill 延迟。

这套组合的信息量其实很大。比如同一个 Llama 3.3 70B，在 H100 上跑 FP8 和在 H200 上跑 BF16，得到的不是"哪个更快"的简单答案，而是两条不同权衡曲线：显存带宽 vs 精度损失 vs KV cache 占用。老玩家都知道，AWQ 在低并发单流场景常常打不过 FP8，但一旦并发拉起来、KV cache 成为瓶颈，AWQ 反而可能因为权重占用小、能腾出更多 batch 空间而反超。

为什么这件事值得关注

开源 LLM 部署这两年的核心矛盾，一直是厂商 marketing 数据和用户实际观测之间的鸿沟。vLLM、SGLang、TensorRT-LLM、TGI 各家 benchmark 都好看，但换到自己的模型、自己的负载、自己的卡上，跑出来的数字往往差一大截。原因很多——continuous batching 参数、chunked prefill 是否开启、speculative decoding 配置、KV cache 分页策略——每一环都能让最终 token/s 差出 2 到 3 倍。

HexGrid Cloud 这次的做法本质上是在说：别信白皮书，我们把测试环境开放出来，你说组合，我们跑真数据。这在过去通常是销售支持流程里的动作，现在被搬到了公开社区。

从竞品角度看，Google 那边有 Hex-LLM 跑在 TPU + Vertex Model Garden 上，AWS 有 SageMaker + Trainium/Inferentia 的组合，国内的魔搭、OpenCSG 也在做部署侧的一站式方案。但大部分平台的 benchmark 是自选自跑自公布——用户能看到的只是结果页，看不到怎么调的、参数是什么。HexGrid 这次相当于把过程也开放了。

一个隐藏信息：serving 层竞争已经到了拼细节的阶段

值得留意的是，HexGrid 自己在帖子里承认在"死磕 serving/deployment 层"。这句话背后的行业背景是：

1. 推理引擎已经趋同。vLLM 0.9.x、SGLang 0.4.x、TensorRT-LLM 都实现了 PagedAttention、continuous batching、prefix caching、chunked prefill 这些标准操作，纸面功能差异越来越小。
2. 差异化转向"调度器 + 硬件适配"。同样是跑 Llama 3.3 70B FP8，不同平台在 batch size 自适应、prefill/decode 分离调度、多请求 KV 共享这些细节上的实现质量，可以带来 30%~50% 的吞吐差距。
3. NVFP4、MXFP4 等新格式的原生支持成了新战场。Nemotron-3 Super 只上 NVFP4 这件事本身就说明——模型厂商已经开始按硬件特性发行专属精度版本了。

所以 HexGrid 敢开放压测，其实是把自己的调度层能力放到显微镜下。真跑起来慢一档，社区分分钟就会看出来。

对开发者的实用价值

如果你正在做以下事情，这个通道值得薅一下：

• 在选卡阶段：想知道 27B 级别的模型到底是 L40S 双卡划算还是 H100 单卡划算，直接让他们跑一组对比
• 在选量化阶段：AWQ 和 FP8 的取舍在你的目标 batch size 下到底怎么算，看真实数据比看论文管用
• 在架构选型阶段：Nemotron Nano 30B A3B 这种 MoE 和 Qwen-3.6 27B 这种 dense，同预算下谁的吞吐更划算——单独跑很难对齐条件，让第三方跑就干净很多

顺带一句

对国内开发者，如果只是想快速调用这些开源模型验证效果、不打算自己部署，OpenAI Hub（openai-hub.com） 目前也已经接入了 Qwen-3.6、Llama 3.3、Gemma-4 等主流开源权重模型，一个 Key 兼容 OpenAI 格式，国内直连，做 prompt 验证或者小规模生产接入省事一些。至于真要上量、追求成本极致的场景，那就该看 HexGrid 这类专门做 serving 层优化的平台的压测数据了——两边解决的问题不在一个层次上。

一点判断

这种"社区点单式压测"的模式能不能持续，取决于两件事：一是 HexGrid 是否会公开完整的 serving 配置（batch size、并发模型、调度参数），只发终值 token/s 数字的意义有限；二是能不能定期化，做成滚动的开放榜单，而不是一次性的市场活动。

如果能做到这两点，它会成为开源部署选型时一个很有用的参考源——起码比各家自说自话的 blog post 强。当前推理服务市场太需要一个"第三方 + 可复现"的对标基准了，谁先把这件事做扎实，谁就能在开发者心智里占一格。

剩下的，就看后续几周他们真跑出来的数据长什么样了。

参考来源

• Reddit r/MachineLearning 原帖：HexGrid Cloud 开放社区压测 — 活动细节、可选模型/硬件/量化组合的一手信息
• Hugging Face 开源模型仓库 — 本文涉及的 Nemotron、Qwen、Llama、Gemma 等模型权重来源