NVIDIA上新可提示语音转写模型

NVIDIA 近日发布 Nemotron 3.5 Transcribe 与 Granary v2，把多语种自动语音识别从“开箱即用的通用模型”推进到“可以提示、可以微调、可以私有部署的语音底座”。其中，Nemotron 3.5 Transcribe 面向实时转写和批量处理，核心检查点采用 6 亿参数规模；Granary v2 则提供面向多语种语音识别训练与适配的数据基础。

**Nemotron 3.5 Transcribe 是 NVIDIA 面向多语种流式转写推出的一套开放权重语音识别方案。**在 Hugging Face 的具体模型页面中，它以 nvidia/nemotron-3.5-asr-streaming-0.6b 等名称出现；官方文章使用 Transcribe 强调整套转写能力，而模型卡继续沿用 ASR 命名。两种名字指向的是同一条产品线，不应被理解为两个完全不同的模型。

这次更新真正值得关注的地方，不只是“又多支持了几十种语言”。NVIDIA 正在尝试把语言选择、实时延迟和企业适配做成一个可控系统：开发者可以明确提示目标语言，也可以让模型自动检测；可以在 80 毫秒到 1120 毫秒之间调整音频块大小；还可以基于 Granary v2 和 NeMo 工具链，把模型的通用能力收缩到特定语言、口音或业务领域。

6 亿参数，首先解决实时转写问题

**Nemotron 3.5 ASR 是一个拥有 6 亿参数、原生支持流式输入的多语种自动语音识别模型。**它能够直接输出带有标点和大小写的文本，同时兼顾低延迟流式转写与高吞吐批处理，不需要为实时会议和离线录音分别维护两套模型。

流式语音识别的难点并不是把一整段录音变成文字，而是在句子尚未说完时持续给出稳定结果。传统离线模型往往需要等待较长音频窗口，或者依赖外部切片、重叠窗口和结果拼接；Nemotron 3.5 则把流式处理放进模型本身，允许开发者选择 80、160、320、560 和 1120 毫秒五档 chunk size，也就是每次送入模型的音频块长度。

**80 毫秒 chunk 并不等于端到端延迟必然低于 80 毫秒。**真实延迟还包括音频采集、声学特征计算、GPU 排队、解码、网络传输和结果稳定策略，但更小的输入块确实给实时系统留下了更低的延迟下限。对于语音助手、实时字幕和客服坐席，80 或 160 毫秒更有吸引力；对于会议纪要和录音归档，560 或 1120 毫秒通常能换取更高吞吐和更稳定的上下文。

这个设计比单纯公布一个实时系数更实用。实时系数只能说明模型处理一小时音频需要多久，却不能回答用户说完一句话后多久看到文字；可配置 chunk 则让开发者能够在延迟、吞吐、显存占用和文本稳定性之间做明确选择。

“可提示”主要是语言条件控制，不是语音版聊天模型

**提示条件语音识别是指模型根据额外输入的语言或任务条件调整转写行为。**Nemotron 3.5 支持通过 target_lang 指定目标语言区域，例如美式英语、西班牙语或德语，也可以使用 auto 让系统自动识别语言。

这里的“可提示”需要和大语言模型的自然语言指令区分开。Nemotron 3.5 当前公开能力的重点是 language-ID prompt conditioning，也就是用明确的语言区域标签约束解码，而不是输入一长段自然语言，要求模型“以法律术语风格转写并自动总结”。它更接近一个可控路由信号：开发者已知来电语言时，可以直接告诉模型；面对多语种入口时，则交给自动检测。

**已知目标语言通常比自动检测更可靠。**自动模式需要先判断语言，再完成转写，短句、专有名词、夹杂外语和相近语言都可能导致识别分支出错。比如只说一个品牌名或人名时，模型可利用的语言线索很少；如果业务系统已经从用户资料、电话号码区域或会话设置中知道语言，直接指定 locale 往往更稳。

语言提示对企业系统还有一个容易被低估的价值。许多全球化客服并不需要在每句话之间自由切换 40 种语言，而是需要同一套部署接收英语、西班牙语、德语和日语队列，并在路由阶段明确告知模型目标语言。单模型加语言条件，比为每种语言单独部署一套 ASR 更容易做容量管理。

40 个语言区域，不代表 40 个都能同等开箱即用

**语言区域 locale 是语言与地区变体的组合，而不是简单的语言数量。**Nemotron 3.5 的官方口径覆盖 40 个 language-locales，但这些区域被划分为不同成熟度层级，不能把“覆盖 40 个”直接理解为“40 个都达到同一识别质量”。

| 支持层级 | 数量 | 实际含义 | 代表语言或区域 | |---|---:|---|---| | Transcription-ready | 19 | 已具备较完整的开箱转写能力 | 英语、西班牙语、法语、德语、日语、韩语、阿拉伯语、印地语等，部分语言包含地区变体 | | Broad-coverage | 13 | 已有较广覆盖，但仍应按口音、信道和领域单独评测 | 普通话、波兰语、瑞典语、捷克语、丹麦语、芬兰语、匈牙利语、罗马尼亚语等 | | Adaptation-ready | 8 | tokenizer 可以处理，但官方建议先微调再用于完整转写 | 希腊语、立陶宛语、拉脱维亚语、马耳他语、斯洛文尼亚语、希伯来语、泰语、新挪威语 |

这套分层比一句“支持 40 种语言”更诚实，也更符合生产现实。ASR 的效果高度依赖口音、麦克风、采样率、背景噪声和业务词汇；同一种普通话，会议室远场拾音、手机通话和直播麦克风就可能形成三套完全不同的错误分布。

**普通话被放在 broad-coverage 层意味着中文开发者尤其不该跳过实测。**模型能够处理普通话，并不等于它已经在中文电话客服、带口音普通话或中英混说场景中达到可直接替换现有系统的水平。评估时至少应拆分字错误率、专有名词召回率、数字识别、标点质量和首字延迟，而不能只听几段演示音频。

Granary v2 的意义，是把“适配”放到发布核心位置

**Granary v2 是 NVIDIA 用于训练和适配多语种语音识别模型的第二代语音数据资源。**它与 Nemotron 3.5 Transcribe 同时出现，说明 NVIDIA 并不打算只交付一个固定检查点，而是希望开发者围绕目标语言、行业词汇和实际音频条件继续训练。

领域适配对语音模型的收益往往比继续堆通用参数更直接。一个通用模型即使能识别日常英语，也可能频繁写错药品名、芯片型号、公司名称和人名；用真实业务音频及对应文本做微调，能够把分散在 40 个语言区域上的模型容量集中到少数目标场景。

**可适配不意味着微调后一定变好。**如果训练数据中的转写文本不一致、时间戳偏移、说话人串线或噪声分布过于单一，模型可能在内部测试集上提高，却在真实流量中退化。更稳妥的做法是分别保留通用语音、目标领域、口音、噪声和边缘案例测试集，并观察替换、删除、插入三类错误，而不是只看一个汇总 WER。

Granary v2 对中小团队的价值也不应被夸大。拥有数据资源和微调工具，并不等于团队已经具备数据清洗、音频切分、标注质检和线上回归能力；但对需要在合规边界内处理录音的大企业而言，开放权重模型配合可控训练数据，确实比完全依赖托管式黑盒服务多了一条路径。

与 Whisper 相比，Nemotron 更像实时语音基础设施

**Nemotron 3.5 的主要竞争力是原生流式、参数较小和可控部署，而不是用单一跑分全面取代 Whisper。**Whisper large-v3 仍然是多语种离线转写的重要基线，但它约 15.5 亿参数，原始架构更偏向固定窗口转写；Nemotron 3.5 只有 6 亿参数，并直接提供多档流式 chunk 配置。

| 模型或资源 | 参数规模 | 多语种能力 | 原生流式设计 | 提示方式 | 适合场景 | |---|---:|---|---|---|---| | Nemotron 3.5 ASR Streaming | 6 亿 | 40 个语言区域，分三档成熟度 | 是，支持 80—1120 毫秒 chunk | 指定 target_lang 或自动检测 | 语音智能体、实时字幕、呼叫中心、私有部署 | | Nemotron 3 ASR | 约 6 亿级 | 以英语为主 | 是 | 英语场景配置 | 对英语延迟和稳定性要求较高的实时业务 | | Whisper large-v3 | 约 15.5 亿 | 广泛多语种覆盖 | 原始模型并非原生流式，通常依赖切片与外部封装 | 语言 token、任务 token | 离线转写、内容处理、成熟开源生态 | | Granary v2 | 不适用 | 面向多语种语音训练与适配 | 不适用 | 不适用 | 模型训练、领域微调、语言与口音适配 |

这张表不能替代同数据集测试。不同模型使用的文本规范、标点处理、大小写策略和语言集合并不一致，直接横向比较官方 WER 容易得出错误结论；对生产团队而言，同一批真实音频上的准确率、首字延迟、最终文本延迟、峰值吞吐和单位成本才有意义。

**6 亿参数让 Nemotron 3.5 更有机会进入成本敏感的实时服务。**参数量不是推理成本的唯一决定因素，但在架构和精度相近时，更小模型通常更容易获得较高并发，也更适合在单卡上为多个实时会话服务。NVIDIA 同时提供面向其 GPU 与软件栈的部署路径，这种软硬件协同也是它相对纯模型项目的优势。

开放权重不等于完整开源

**Nemotron 3.5 更准确的定位是采用 OpenMDW-1.1 条款发布的开放权重模型。**开发者可以下载权重、部署、修改并在许可范围内用于商业项目，但 NVIDIA 并未公开满足完整开放源代码 AI 定义所需的全部专有训练数据与端到端训练流程。

这一区别不会阻止大多数企业使用，却会影响可复现性与供应链审计。企业仍需检查许可证、训练数据说明、输出责任以及目标行业的监管要求，不能因为权重可下载就默认不存在法律和合规成本。

开放权重的现实优势主要体现在数据边界和容量控制。医疗、金融、客服和内部会议等音频可以留在企业自己的基础设施中；团队也可以自行决定 GPU 容量、峰值流量优先级和版本升级节奏，避免托管服务在高峰期出现难以控制的尾延迟。

这次发布对开发者意味着什么

**Nemotron 3.5 Transcribe 最适合的不是“什么语言都想做”的团队，而是需要少数语言、低延迟和深度适配的产品。**如果业务主要处理英语和西班牙语电话，团队可以从通用的 40 区域模型起步，再把训练能力集中到两种语言、电话信道和内部术语上，这比长期承担全部多语种能力更有效率。

语音智能体会是最直接的受益场景。一个语音智能体的总延迟由语音活动检测、ASR、语言模型推理和语音合成共同组成，ASR 每减少数百毫秒，用户打断和轮次衔接都会更自然；Nemotron 的小 chunk 设计至少让开发者可以主动调节这一环，而不是只能接受固定窗口。

实时字幕和会议转写则需要更谨慎。小 chunk 能更快显示文字，却可能增加中间结果反复修改；大 chunk 更稳定，但用户会感到字幕跟不上。产品最终需要同时衡量首个 token 出现时间、最终文本稳定时间以及修改频率，不能只追求最低 chunk 数字。

**NVIDIA 这次真正推出的是一条从通用模型到企业定制模型的路径。**Nemotron 3.5 负责低延迟识别和语言条件控制，Granary v2 负责支撑训练与适配，NeMo 与 NVIDIA 部署栈则负责把模型送进生产环境。它没有消除多语种 ASR 的数据和评测成本，但把这些工作从黑盒服务背后搬到了开发者可控制的位置。

最终判断很明确：Nemotron 3.5 不会因为“40 个语言区域”就自动成为新的通用转写标准，但它已经是语音智能体和私有化实时 ASR 值得认真测试的候选。尤其对拥有自有音频数据、需要严格控制延迟和合规边界的团队，6 亿参数、原生流式和可微调三点组合，比单纯追求更大的离线模型更有实际价值。

参考来源

• NVIDIA Nemotron 3.5 Transcribe and Granary v2 官方介绍：介绍本次多语种转写模型、提示条件能力与 Granary v2。
• Nemotron 3.5 ASR Streaming 0.6B 模型卡：列出 6 亿参数、语言提示、40 个语言区域及 80—1120 毫秒 chunk 配置。