Qwen首次开放Max级权重

阿里把 Qwen-Max 级模型的权重放了出来

**8 月 12 日深夜，阿里 Qwen 团队正式开放 Qwen3.8-2.4T-A95B 模型权重，这是 Qwen-Max 级别模型第一次进入开放权重序列。**模型总参数达到 2.4 万亿，每处理一个 Token 约激活 950 亿参数，原生上下文窗口为 262,144 Token，并可扩展至 1,010,000 Token。

模型目前已经上线 Hugging Face 与魔搭 ModelScope，官方云端产品 Qwen3.8-Max 也以这套开放权重为基础，并叠加面向生产环境的服务、工具和后训练能力。与过去将最大型号保留在云端的做法相比，阿里这次真正开放的是旗舰模型的底座，而不只是一个缩小后的衍生版本。

**Qwen3.8-2.4T-A95B 是一个采用混合注意力与细粒度 MoE 架构的因果语言模型。**它延续 Qwen3.5 的技术路线，重点强化编程、办公、科研、大型文档分析和长周期 Agent，而不是单纯追求聊天场景中的回答观感。

核心规格可以先看这张表：

| 项目 | Qwen3.8-2.4T-A95B 规格 | 实际意义 | |---|---:|---| | 总参数量 | 2.4T，即 2.4 万亿 | 提供更大的知识与专家容量，但所有权重仍需存储和调度 | | 每 Token 激活参数 | 95B，即 950 亿 | 单 Token 计算量显著低于同规模稠密模型 | | 激活比例 | 约 3.96% | 体现 MoE 的稀疏计算优势，不代表只需加载 95B 权重 | | 模型层数 | 92 层 | 属于超大规模深层 Transformer 系统 | | 线性注意力层 | 69 层 | 控制长上下文下 KV Cache 与计算量增长 | | 路由专家 | 每个 MoE 层 512 个 | 专家颗粒度更细，路由与通信复杂度也更高 | | 每 Token 路由专家 | 10 个 | 每次只调用少量专家完成计算 | | 共享专家 | 1 个 | 为所有 Token 提供通用能力底座 | | 原生上下文 | 262,144 Token | 即 256K，可处理大型代码仓库和长文档集合 | | 扩展上下文 | 1,010,000 Token | 约 101 万 Token，需要更激进的部署与内存配置 | | 预测机制 | 多步 MTP | 可供兼容推理引擎一次预测多个后续 Token | | 主要定位 | 编程、办公、科研、Agent | 更看重端到端任务完成，而非单轮聊天 |

2.4T 很大，但每次并不会把 2.4T 全算一遍

**MoE 是一种将模型参数拆分给多个专家、再由路由器按 Token 选择少数专家参与计算的稀疏架构。**Qwen3.8 每个 MoE 层拥有 512 个路由专家，每个 Token 选择其中 10 个，同时激活 1 个共享专家，最终形成约 95B 的单 Token 激活规模。

**95B 激活参数降低的是计算量，不是模型的完整存储需求。**这是理解 Qwen3.8 部署门槛时最容易混淆的地方：模型推理时虽然只计算约 3.96% 的总参数，但推理系统仍要让 2.4T 权重处于可访问状态，否则专家切换就会频繁触发跨设备搬运甚至磁盘读取。

按照不计量化元数据、对齐空间和运行时开销的理论值估算，Qwen3.8 的权重体积大致如下：

| 权重精度 | 2.4T 参数理论体积 | 部署判断 | |---|---:|---| | BF16 / FP16 | 约 4.8 TB | 需要多节点、大规模显存或内存集群 | | FP8 | 约 2.4 TB | 仍远超普通工作站能力 | | 4-bit | 约 1.2 TB | 可压入新一代单机多卡节点，但运行时实际占用更高 |

**理论权重体积不等于最终显存占用。**推理时还要为路由、通信缓冲区、激活值、KV Cache、并行框架和量化比例因子预留空间，长上下文尤其会继续放大内存压力。因此，“每 Token 只激活 95B”不能被解读为“部署成本等于一个 95B 模型”。

**Qwen3.8 真正的部署对象是拥有高端 GPU 节点的企业、实验室和云厂商。**现有 vLLM 部署资料显示，采用 NVFP4 W4A4 或 MXFP4 等低精度方案后，2.4T 权重可以被压入配备 8 张 B300 或 8 张 MI355X 的单节点系统；这说明旗舰开放权重正在从多节点工程向单节点工程靠近，但这里所说的“单节点”仍是一台价格和功耗都远高于普通服务器的高密度 AI 设备。

26 万 Token 是原生能力，101 万 Token 才是扩展档

**上下文窗口是模型在一次推理过程中可以同时读取和关联的最大 Token 数量。**Qwen3.8 的原生窗口为 262,144 Token，也就是严格意义上的 256K，而媒体常说的“26 万 Token”是十进制近似表达。

**原生 256K 与扩展至约 101 万 Token 是两档不同能力，不能混为一谈。**原生上下文通常意味着训练阶段已经覆盖这一长度，模型在位置编码、注意力模式和长距离信息检索上有更完整的适配；扩展上下文则往往需要额外配置，并可能伴随准确率、吞吐或首 Token 延迟的变化。

**混合注意力是 Qwen3.8 控制长上下文成本的关键设计。**模型 92 层中有 69 层采用线性注意力，其余层保留完整注意力：完整注意力擅长精确比较远距离 Token，但计算和缓存会随序列增长迅速变重；线性注意力则把不断扩大的历史状态压缩为有界状态，用部分精度换取更稳定的长序列成本。

这个设计可以类比为分析一座大型代码仓库：完整注意力像是每次判断都重新翻阅所有文件，关联精确，但耗时和内存很高；线性注意力更像维护一份持续更新的项目状态摘要，成本更稳定，但摘要质量决定了细节是否丢失。Qwen3.8 将两种机制放在同一模型中，就是试图同时保住全局关联能力和百万 Token 场景下的可运行性。

**百万 Token 的价值主要出现在 Agent 工作流，而不是让用户一次粘贴一百万 Token 的文档。**长周期 Agent 会持续累积系统指令、网页内容、代码文件、终端日志、工具返回结果、测试报告和中间推理轨迹，运行数小时甚至跨天后，上下文很容易膨胀。更大的窗口可以减少频繁压缩历史造成的信息损失。

不过，**“能够放进去”不等于“能够准确找出来”。**评价长上下文模型不能只看窗口长度，还要看跨文档检索、干扰信息过滤、时间顺序理解以及窗口末端的指令遵循能力。Qwen3.8 是否能在接近 101 万 Token 时保持稳定，需要等待第三方在真实代码库、论文集和多轮 Agent 轨迹上的复测。

MTP 瞄准的是吞吐，不是模型自己变小

**MTP（Multi-Token Prediction，多 Token 预测）是一种让模型在一次前向计算中预测多个后续 Token 的训练机制。**传统自回归模型一次生成一个 Token，下一步必须等待上一步完成；MTP 则为兼容推理引擎提供候选后续 Token，再通过验证机制一次接受多个结果。

**MTP 的作用类似于给主模型内置一个草稿生成器。**如果连续多个候选 Token 都被接受，模型就能减少串行解码次数，提高吞吐并降低每 Token 延迟；如果候选频繁被拒绝，收益则会下降。因此，实际加速比例取决于文本类型、采样参数、推理引擎实现和候选接受率，不能仅凭模型支持 MTP 就给出固定倍数。

**Qwen3.8 的 MTP 能否兑现为速度优势，还取决于部署栈是否完整支持。**模型权重开放只是第一步，vLLM 等推理引擎还需要正确处理草稿头、专家并行、工具调用解析、可配置推理强度与超长上下文缓存。对于 2.4T 模型而言，跨 GPU 的专家通信往往比单个算子快多少更决定整体吞吐。

阿里把后训练重点从“会回答”转向“能交付”

**Agent 后训练是针对模型调用工具、操作工作空间并完成多步骤任务进行的专项训练。**Qwen3.8-Max 的后训练不再只围绕单次问答展开，而是同时扩展任务、工作空间和 Harness 三个维度。

官方披露的训练思路包括：

• **任务维度：**从单任务扩展到多任务，再扩展到跨天任务；
• **工作空间维度：**从多个文件扩展到层级目录和复杂异构目录；
• **Harness 维度：**覆盖不同工具类别、版本和技能组合；
• **奖励系统：**同时纳入基于执行结果的校验、文本 rubric，以及渲染后视觉输出的评价。

**这种组合式环境扩展比逐个制作固定任务更接近真实工作。**例如，一个办公 Agent 不只要生成表格，还要读取目录中的合同、核对 PDF、更新演示文稿，再根据渲染结果检查排版；一个编程 Agent 也不只需要补全函数，而要理解仓库、修改多个文件、运行测试、分析报错并持续修复。

**统一奖励系统是 Qwen3.8 Agent 能力中更值得关注的部分。**纯文本评分很难判断表格公式是否正确、代码是否真的可运行、幻灯片是否出现元素遮挡，而执行校验和视觉 rubric 可以把“看起来合理”进一步约束为“实际可交付”。这类训练方式不会像参数规模那样醒目，却更可能决定模型在企业工作流中是否有用。

与闭源旗舰互有胜负，但目前不能只看官方榜单

**Qwen 官方评测将 Qwen3.8-Max 与 Opus 4.8、Fable 5、GPT 5.6 Sol 等旗舰模型放在编程 Agent、通用 Agent、专业工作和长上下文任务中比较。**官方披露的结论是各模型互有高低，Qwen3.8-Max 在 PaperBench、IFBench 等基准中位于所列模型的较高位置。

| 模型 | 权重状态 | 参数信息 | 本次材料中的比较结论 | |---|---|---|---| | Qwen3.8-2.4T-A95B | 开放权重 | 2.4T 总参数、95B 激活 | PaperBench、IFBench 等项目表现靠前 | | Qwen3.8-Max | 云端产品 | 基于开放权重底座并加入生产能力 | 面向办公、科研与长周期 Agent | | Opus 4.8 | 未公开权重 | 未披露 | 与 Qwen3.8-Max 各项互有高低 | | GPT 5.6 Sol | 未公开权重 | 未披露 | 与 Qwen3.8-Max 各项互有高低 | | Fable 5 | 未公开权重 | 未披露 | 与 Qwen3.8-Max 各项互有高低 |

**在缺少统一运行环境和第三方复测时，官方榜单更适合证明能力方向，而不是直接宣布胜负。**Agent Benchmark 对工具版本、最大步骤数、提示词、重试策略、推理预算和环境成功率非常敏感，同一个底座模型使用不同 Harness，得分就可能出现明显变化。

**Qwen3.8 当前最明确的优势不是某一项跑分第一，而是把接近前沿闭源模型的底座权重交给了外部开发者。**企业可以在本地数据上做评测、部署和领域适配，研究机构也可以分析 MoE 路由、长上下文和 MTP 行为，这些事情在只提供云端入口的模型上很难完成。

开放权重不等于人人都能运行

**开放权重是指模型参数文件可供下载和部署，但它不自动等同于完整意义上的开源。**是否能够自由商用、修改和再分发，仍要以 Hugging Face 模型页面所列许可证及其具体条款为准；训练数据、完整训练代码和数据清洗流程也未必同步公开。

**Qwen3.8 的实际意义更接近“开放基础设施”，而不是“桌面端新模型”。**个人开发者可以研究配置、量化方式和推理框架，但如果没有 TB 级内存、高带宽互联与新一代低精度 GPU，完整部署并不现实。普通团队更可能通过托管服务使用该模型，或等待社区制作更激进的量化版本和蒸馏型号。

**超大 MoE 的工程瓶颈也从算力转向了内存容量、带宽和通信。**512 个路由专家需要被分配到多张 GPU，若热点 Token 持续命中少数专家，就会造成负载不均；若专家跨设备频繁交换数据，互联延迟又会吞掉稀疏计算节省的时间。部署团队需要同时处理专家并行、张量并行、数据并行和 KV Cache 管理，而不是简单地把模型切成八份。

这次开放真正改变了什么

**Qwen3.8-2.4T-A95B 把开放权重模型的规模上限推到了 2.4T，但更重要的是开放了一个面向复杂 Agent 的旗舰底座。**过去的开放模型竞争主要围绕聊天、代码生成和数学推理展开，这次 Qwen 把重点转向多文件工作空间、跨天任务、执行反馈和视觉交付，说明模型厂商正在争夺“谁能完成整项工作”，而不只是“谁能回答一道题”。

**这款模型对大多数开发者的价值首先是能力上限，而不是部署便利。**95B 激活规模让单 Token 计算成本保持在可控区间，混合注意力使 256K 原生上下文具备工程可行性，MTP 则为提高解码吞吐留下空间；但 2.4T 权重仍决定了它是一套数据中心级模型。

**阿里此次开放 Max 级权重的判断是激进但有效的。**它牺牲了旗舰底座的封闭性，换来了开发者生态、推理框架适配和企业私有部署的先发优势，也迫使其他厂商重新回答一个问题：当开放模型开始具备百万 Token、复杂 Agent 和前沿级参数规模时，只靠云端访问还能维持多大的产品差异？

接下来更值得观察的不是参数纪录，而是三件事：社区能否给出可复现的第三方 Agent 成绩，4-bit 部署能否在单节点维持可接受的质量与吞吐，以及模型在接近 101 万 Token 时能否稳定找回关键事实。只有这三项得到验证，Qwen3.8 才会从“规格最醒目的开放模型之一”变成真正可用的旗舰基础设施。

参考来源

• Hugging Face：Qwen/Qwen3.8-2.4T-A95B：模型权重、配置文件、许可证和官方模型卡页面。
• IT之家：阿里开放 Qwen3.8-2.4T-A95B 模型权重：发布信息、模型规格与官方评测方向汇总。
• GitHub：vLLM 项目：开源大模型推理与服务框架，可用于跟踪 Qwen 系列的部署支持进展。