OVH首个模型:7B只激活1B

OVHcloud 宣布首个开源模型 Olala mini 7A1B,以 7B 总参数、1B 激活参数换取低显存和高吞吐,但首批质量跑分仍然缺席。
OVHcloud 也开始自己造模型了
OVHcloud 在 11 月 17 日宣布推出首个语言模型家族 Olala,首款产品是总参数 70 亿、每次计算激活约 10 亿参数的 Olala mini 7A1B。这家欧洲云服务商没有选择再包装一款现成开源模型,而是宣称从零训练模型,并把它定位为能在本地设备、普通服务器和 CPU 环境中运行的轻量级基础设施模型。
Olala mini 7A1B 是一款采用稀疏专家与混合注意力架构的小型语言模型,其中 7A1B 代表 70 亿总参数、约 10 亿激活参数。模型使用 BF16 数据格式,初始上下文窗口为 32K,计划以 Apache 2.0 许可发布到 Hugging Face;按照目前公布的时间表,权重和更多技术材料预计会在 11 月 19 日的 OVHcloud AI Summit 期间上线。

这次发布最值得关注的并不是又多了一个 7B 模型,而是 OVHcloud 试图把模型变成云厂商自己掌握的底层能力。它在官方表述中直言,模型已经成为战略基础组件,因此选择自己训练,而不是长期依赖外部供应商。对于一直强调欧洲数据主权和基础设施自主性的 OVHcloud 来说,Olala 的政治与商业意义,现阶段甚至大于它尚未被证明的模型能力。
7B 参数不等于每个词都要跑 7B
混合专家模型(Mixture of Experts,MoE)是把模型拆成多个专门子网络,并由路由器为每个词元选择少量专家参与计算的稀疏架构。Olala mini 每层设置了 256 个专家,但处理一个词元时只调用其中一部分,因此模型虽然拥有 70 亿总参数,实际参与单次前向计算的参数约为 10 亿。
参数的“总量”和“激活量”解决的是两个不同问题。70 亿总参数决定模型可以容纳多少知识和不同类型的计算路径,10 亿激活参数则更直接影响每生成一个词元所需的运算量;这有点像一家拥有 256 个专业科室的医院,但每位患者只会被分配到少数相关科室,而不是让所有医生同时会诊。
这种设计的直接收益是推理速度和计算成本,但它并不会自动带来更高质量。路由器必须准确判断一个词元该交给哪些专家,训练时还要避免少数专家被频繁调用、其他专家长期闲置;如果路由不稳定,MoE 模型可能拥有更大的名义参数量,却没有获得与之匹配的实际能力。
OVHcloud 目前给出的核心架构和运行指标如下:
| 项目 | Olala mini 7A1B 已公布信息 | 实际意义 | |---|---:|---| | 总参数量 | 7B | 决定模型总容量和权重存储规模 | | 激活参数量 | 1B | 每个词元只计算部分参数,降低推理运算量 | | 每层专家数量 | 256 | 为不同词元提供细分计算路径 | | 权重格式 | BF16 | 保留较高数值精度,但原始权重占用不低 | | 注意力架构 | Differential-TPA + Mamba-3 | 在全局关联能力与线性序列处理之间折中 | | 初始上下文 | 32K tokens | 可处理较长文档和多轮对话 | | 最低 GPU 显存 | 官方称 8GB | 具体加载方式仍需技术报告解释 | | RTX A4500 吞吐量 | 160 tokens/s | 测试条件尚未完整公开 | | CPU 吞吐量 | 50 tokens/s | CPU 型号、量化方式和并发条件尚未公开 | | 开源许可 | Apache 2.0 | 允许较宽松的商用、修改和再分发 |
Differential-TPA 与 Mamba-3 为什么要放在一起
混合注意力是把传统注意力机制与状态空间模型放进同一套网络,以兼顾复杂关联能力和长序列效率的架构。Olala mini 使用的组合是 Differential-TPA 与 Mamba-3,前者负责压缩、筛选并建模词元间关系,后者则以更接近流式扫描的方式处理序列。
Differential-TPA 是一种试图减少注意力冗余和噪声的注意力设计。传统自注意力会显式计算大量词元之间的关联,序列变长后,计算量和缓存占用都会快速上升;Differential-TPA 的目标是通过更紧凑的表示和差分信号,保留重要关系,同时削弱无关关联。
Mamba-3 是面向长序列处理的状态空间架构。与需要反复查看历史词元的完整注意力不同,状态空间模型会把此前内容压缩进持续更新的内部状态,因此更适合长文本、流式输入和低延迟生成,其内存增长通常也比标准注意力更温和。
两种机制的组合,本质上是在“看清复杂关系”和“快速读完长文本”之间做分工。需要跨段落定位实体、指令和依赖关系时,注意力路径更有价值;处理连续文本和大量历史内容时,Mamba 路径则有机会降低开销。这也是 Olala mini 能否在 32K、未来 128K 上下文下保持稳定性能的技术基础。
OVHcloud 尚未公布足够详细的网络配比和消融实验,因此外界暂时无法判断性能主要来自 MoE、Differential-TPA,还是 Mamba-3。混合架构看起来先进,并不等于三个组件叠加后一定比成熟的纯 Transformer 更强;真正有说服力的数据应该包括不同架构版本在相同训练数据和计算预算下的质量、吞吐量与显存对比。
8GB 显存是亮点,也是目前最大的问号
OVHcloud 宣称 Olala mini 可以在至少 8GB 显存的 GPU 上运行,并能在 NVIDIA RTX A4500 上达到 160 tokens/s。对于需要在工作站、边缘服务器或成本敏感型云实例上部署模型的开发者来说,这个数字确实有吸引力。
BF16 权重与 8GB 显存之间却存在一个需要解释的容量问题。70 亿个 BF16 参数仅原始权重理论上就约占 14GB,还没有计算 KV Cache、激活值、路由器和运行时缓冲区;MoE 只减少每个词元的计算量,并不会让未激活专家的权重天然消失。
8GB GPU 因而很可能依赖权重分层加载、CPU 内存卸载、专家按需调度,或者另有尚未披露的压缩方案。官方目前只称模型使用 BF16,并未说明 8GB 测试是否把全部权重常驻显存,也没有交代主机内存容量、输入长度、批处理规模和推理框架;在技术报告公布之前,把它简单理解为“7B BF16 完整装进 8GB 显存”并不准确。
160 tokens/s 和 CPU 端 50 tokens/s 同样不能直接拿来与其他模型横向排名。吞吐量取决于提示词长度、生成长度、批量大小、并发数、采样策略、是否使用投机解码以及统计的是预填充还是解码阶段,而官方尚未公布这些条件;尤其是“普通 CPU 达到 50 tokens/s”的说法,如果没有 CPU 型号、内存带宽和量化设置,参考价值有限。
这些数字现阶段更适合被视为部署目标,而不是标准化跑分。Olala mini 真正上线后,开发者首先应该复测的是单用户解码速度、长上下文首词延迟、并发吞吐和主机内存占用,而不是只看宣传材料中的峰值 tokens/s。
花了700万欧元,但没有一张能力榜单
Olala mini 是在三台欧洲公共超级计算机上从零训练的模型。参与训练的基础设施包括 JUPITER、MeluXina 和 Jean Zay,使用了 NVIDIA GH200、A100 与 H100 GPU,OVHcloud 披露的总投入达到 700 万欧元,按当前报道采用的汇率约合 5142.8 万元人民币。
700 万欧元展示了欧洲企业训练自主模型的决心,却不能直接推导出模型质量。官方尚未说明这一金额是否仅包含最终训练任务的算力,还是还包括数据处理、失败实验、研发人员、超级计算机资源折算和基础设施成本,因此它不能被简单当作 Olala mini 单次预训练的纯 GPU 账单。
缺少公开基准是这场发布最明显的短板。截至 11 月 17 日,OVHcloud 没有给出 MMLU 类知识测试、数学推理、代码生成、长上下文检索、多语言能力、工具调用成功率或幻觉率,也没有提供与同尺寸模型的同条件对比。
| 评估维度 | 当前是否公开 | 为什么重要 | |---|---|---| | 通识与推理基准 | 未公开 | 判断 1B 激活参数能否支撑通用任务 | | 数学能力 | 未公开 | 官方已暗示 1.1 版会专门改进,说明初版可能并非强项 | | 代码能力 | 未公开 | 决定其能否用于开发者助手和智能体 | | 多语言能力 | 未公开 | 欧洲市场需要法语、德语、西班牙语等非英语表现 | | 长上下文准确率 | 未公开 | 32K 窗口不代表能准确利用 32K 内容 | | 工具调用与智能体 | 未公开 | 官方称其面向 agentic LLM,但尚无成功率数据 | | 安全与偏见测试 | 未公开 | 企业部署需要明确风险边界 | | 标准化推理测试条件 | 未公开 | 决定 160 和 50 tokens/s 是否可复现 |
这意味着 Olala mini 目前还无法与主流 7B、8B 或小型 MoE 模型进行严肃的质量比较。它已经证明了“可以训练并跑起来”,但尚未证明“回答得更好”;对于一个模型首发来说,架构和吞吐量只能解决半个问题,另一半必须由权重、模型卡、评测集与第三方复现完成。
Qwant 的生产数据比实验室口号更有价值
法国搜索引擎 Qwant 已经把 Olala mini 用于其即时回答功能。按照 OVHcloud 披露的数据,新模型让回答速度提高 20%,运行成本降至此前方案的三分之一,这也是此次发布中少数与真实业务相关的效果数据。
成本降至三分之一意味着同等业务量下的运行开销理论上减少约 66.7%。如果这一数字包含完整服务链路,而不仅是模型推理阶段,那么 Olala mini 对搜索摘要、分类、查询改写和短答案生成等高频任务确实具备现实价值。
Qwant 案例仍然缺少基线模型、流量规模、硬件配置和答案质量变化等关键信息。速度提高 20%、成本下降三分之二听起来亮眼,但如果准确率、引用完整性或用户满意度发生下降,单独的成本优势并不足以证明模型替换成功;这组数据需要等待更完整的案例说明。
Olala mini 最适合的场景可能不是追求最强推理,而是大量、短小、重复且对延迟敏感的任务。例如搜索摘要、工单分类、文档路由、结构化信息抽取、企业知识库预处理和简单工具编排,都更看重每次调用成本与可控部署,而不是复杂数学题上的极限成绩。
Apache 2.0 很宽松,但开放程度仍要看模型卡
Apache 2.0 是一种允许商用、修改和再分发,并提供明确专利授权条款的宽松开源许可。对企业开发者而言,这通常比限制用途、限制用户规模或要求衍生模型采用相同许可的方案更容易落地。
开放权重并不自动等于完整开放训练过程。开发者还需要确认 OVHcloud 是否会披露训练数据构成、数据清洗流程、分词器、训练配方、评测代码、推理实现和安全对齐方法;如果只提供权重和简单使用说明,外界仍然难以审计模型来源或复现训练结果。
截至 11 月 17 日,Olala mini 仍处于“正式宣布、等待权重上线”的时间窗口。官方计划在 11 月 19 日的 AI Summit 上进一步介绍模型,因而今天更准确的说法是 OVHcloud 已宣布按 Apache 2.0 开放,而不是所有文件已经可供下载和验证。
开发者在权重上线后,最值得检查的内容包括:
- 模型文件的真实精度与体积:确认 BF16 权重大小,以及是否提供官方量化版本。
- 8GB 运行方式:确认是否使用 CPU offload、专家分页加载或其他显存优化。
- 推理框架兼容性:确认能否直接适配主流 Transformer、Mamba 和 MoE 推理工具链。
- 路由稳定性:观察不同语言、长文本和批处理条件下是否出现专家负载失衡。
- 训练数据说明:确认数据来源、语言比例、版权处理和数据截止时间。
- 工具调用模板:确认所谓 agentic 能力是否有标准格式与可复现评测。
- 第三方基准:用统一硬件和统一解码设置重新测试质量、速度与内存占用。
年底上128K,下一代直接冲100B以上
Olala mini 1.1 计划在 2026 年底前发布,并把上下文窗口从 32K 扩大到 128K,同时增强数学能力。128K 是当前 32K 的 4 倍,但上下文窗口变长不等于模型能稳定理解全部内容,仍需通过“大海捞针”、多文档问答和跨段推理测试验证有效上下文长度。
Olala 2.0 的总参数规模则计划超过 100B。这个路线意味着 OVHcloud 并不满足于做一个边缘端小模型,而是准备从低成本推理逐渐进入更复杂的企业智能体与通用模型市场;不过从 7B 扩展到 100B 以上,会重新带来训练稳定性、数据规模、专家路由、集群通信和服务成本问题。
| 版本 | 参数规模 | 上下文 | 主要变化 | 计划时间 | |---|---:|---:|---|---| | Olala mini 7A1B | 7B 总参数、1B 激活 | 32K | 首个版本,混合注意力与稀疏专家 | 2026 年 11 月 | | Olala mini 1.1 | 暂未公布变化 | 128K | 改进数学能力和整体性能 | 2026 年底前 | | Olala 2.0 | 超过 100B | 未公布 | 面向更大规模和更复杂任务 | 尚未公布 |
Olala 的真正卖点,是欧洲云厂商不想只卖算力
Olala mini 目前更像一份有潜力的工程答卷,而不是已经坐稳第一梯队的基础模型。它的 7B/1B 稀疏设计、混合注意力、CPU 可运行目标和 Apache 2.0 许可都很务实,Qwant 的生产数据也说明它并非停留在实验室演示阶段。
Olala mini 的最大问题同样明确:没有质量跑分,缺少完整测试条件,8GB 显存说法尚待解释,训练数据和开放范围也没有完全披露。在这些材料补齐以前,它可以被称为一个架构有意思、部署目标激进的欧洲小模型,但还不能被称为同尺寸最强模型。
这次发布对行业的长期影响可能来自供应链,而不是榜单名次。AWS、Google、微软等云厂商早已通过自研模型或深度绑定模型公司控制 AI 服务栈,OVHcloud 此前更多提供计算、托管和数据主权能力;Olala 则意味着它开始向上进入模型层,试图把欧洲算力、欧洲训练设施和欧洲企业客户连接起来。
接下来两天将决定 Olala mini 是一场漂亮的架构预告,还是一个真正可用的开源模型。权重、技术报告和模型卡上线后,外界才有条件验证 160 tokens/s、CPU 端 50 tokens/s、8GB GPU 运行以及 1B 激活参数带来的实际收益;在此之前,最合理的态度是肯定它的工程方向,但暂缓给它贴上“高性能”标签。
参考来源
- IT之家:欧洲云服务企业 OVH 涉足 AI 模型,开源发布 Olala mini 7A1B —— 汇总模型架构、训练成本、运行速度、上下文长度及后续版本计划。
- Hugging Face 模型搜索:Olala mini 7A1B —— 用于查询模型权重、模型卡和后续公开文件是否上线。



