阿里 Fun-ASR-Realtime 升级：百毫秒延迟吃下 30 种语言 16 种方言

阿里把方言这块硬骨头又啃了一遍

7 月 6 日，阿里千问放出 Fun-ASR-Realtime 的升级版本，API 直接上线百炼平台。核心卖点两个数字：首字延迟压进百毫秒级，单模型撑起 30 种语言 + 16 种方言。这次升级不算大改架构，但把工程上的活儿做扎实了——尤其是方言和东南亚小语种。

对做实时语音的团队来说，这是今年国内 ASR 赛道少见的一次"能直接换掉线上模型"级别的迭代。

百毫秒是个什么概念

流式 ASR 圈里，首字延迟（first-token latency）是最能反映用户体感的指标。你对着麦克风说"帮我查一下"，屏幕上什么时候蹦出第一个"帮"字，就是这玩意儿。

过去两年主流方案，云端流式 ASR 的首字延迟大概在 300~500ms 这个档位，好一点的能做到 200ms 出头。Fun-ASR-Realtime 这次直接进百毫秒级，意味着从声音到文字的感知几乎是"跟着嘴走"。

这个延迟数字放到实际场景里，差别相当明显：

• 同声传译类应用：过去用户会明显感觉字幕"追不上"，现在基本能同步
• 语音输入法：打字速度感受直接接近本地识别
• 实时字幕：直播和会议场景不再有"念了一句话字幕才蹦出来"的尴尬

更关键的是，阿里官方说流式识别的准确率"接近离线水平"。这句话技术上很难做到——流式模型没法看到未来的音频上下文，通常准确率比离线模型差 2~5 个点。要把这个 gap 抹平，一般得靠 lookahead 机制加更聪明的解码策略，代价往往是延迟。阿里这次两头都要，能不能兑现看实测。

方言这块，火山和腾讯被超了

国内 ASR 卷到今天，普通话早就是白菜价，真正拉开差距的是方言。阿里给的数据：16 种方言的字符准确率平均 88.62%，其中 12 类方言领先火山和腾讯的对标产品。

为什么方言这么难？

1. 数据稀缺：粤语、闽南语这些还好，客家话、赣语、湘语的高质量标注语料市面上几乎没有
2. 口语化严重：方言几乎全是口语场景，语法结构和普通话差异大，标点、断句规则完全不一样
3. 词汇独特：上海话"侬"和苏州话"倷"，语音相近但用字不同，模型要学到这种细粒度差异

从阿里 Fun-ASR 早期 1.5 版本开始，团队就在做"统一大模型 + MoE 专家路由"的路线——听到哪种方言，激活对应的专家模块。这条路线比"一个方言训一个模型"经济得多，也是 Realtime 版本能做到"多语言无缝切换"的底层原因。用户不需要预先告诉模型"我要说粤语"，中英粤混说一句话也能自动识别。

对做客服、会议转写的团队来说，这个特性省去了大量前置的语种检测流程，工程链路能砍掉一层。

东南亚场景专项优化

这次升级里有个信号挺值得关注：Fun-ASR-Realtime 专门针对泰语等东亚、东南亚多语言场景做了优化，识别准确率提升 20%。

这个方向不是随便挑的。国内做出海的公司这两年集中冲向东南亚，客服中心、电商直播、跨境会议全都要多语言 ASR。而东南亚语言的语音识别一直是短板——泰语、越南语的音素系统和印欧语系差别大，主流开源模型（Whisper 那一系）在这些语言上表现只能算及格。

20% 的提升如果是从 70% 拉到 84%，那是从"不能用"到"可以用"的跨越。阿里这一手明显在服务国内出海客户，也是在跟 Google Cloud Speech、AWS Transcribe 抢东南亚市场。

离线版本 Fun-ASR-Flash 拿了全球第一

顺带一个消息：Fun-ASR-Realtime 的离线孪生兄弟 Fun-ASR-Flash 近期也上线了。在第三方评测平台 Artificial Analysis 上，Fun-ASR-Flash（曾用名 Fun-realtime-ASR-preview）字错率 1.7%，全球第一。

1.7% CER 是什么水平？可以理解为，一段 100 个字的音频，平均只错 1.7 个字。这个数字在英文 ASR 里 Whisper Large 也就 4~5% WER，中文比英文难度更高。1.7% 基本已经贴近人类专业听打员的水平。

离线和实时两个版本共享同一套技术底座，意味着 Realtime 版本的准确率上限会被 Flash 拉着走，这也是为什么阿里敢说"流式接近离线"。

模型定位和选型建议

阿里云百炼平台现在的 ASR 家族已经比较杂，Fun-ASR-Realtime 在里面的定位得说清楚。

目前百炼上主要的 ASR 选项：

| 模型 | 场景 | 协议 | 语言支持 | 特色 | |------|------|------|----------|------| | fun-asr-realtime | 实时 | WebSocket | 30 语言 + 16 方言 | 热词、低延迟 | | fun-asr | 非实时 | HTTP | 多语种及方言 | 说话人分离 | | fun-asr-flash | 非实时 | HTTP | 多语种及方言 | 全球字错率第一 | | qwen3-asr-flash-realtime | 实时 | WebSocket | 多语种 | 情感识别 | | qwen3.5-omni-plus-realtime | 实时 | WebSocket | 多语种 | Prompt 上下文注入 |

选型建议：

• 如果你的场景是稳定术语词表 + 实时转写（会议、直播字幕、语音输入），选 fun-asr-realtime，热词机制比 Prompt 更省 token、延迟更低
• 如果需要领域自适应但术语不固定（比如医疗对话，术语动态出现），用 qwen3.5-omni-plus-realtime，Prompt 里描述背景即可
• 如果需要情感识别（客服质检、心理健康应用），用 qwen3-asr-flash-realtime
• 纯离线批量转写，追求最高准确率，选 fun-asr-flash

Fun 系列和 Qwen-ASR 系列的分工其实挺清晰：Fun 系列是专用 ASR，架构针对语音识别做过深度优化，延迟和准确率都是第一梯队；Qwen-ASR 系列是全模态模型分出来的能力，胜在灵活（能吃 Prompt、能做情感），但延迟和成本会高一些。

工程侧的几个观察

从架构上看，Fun-ASR-Realtime 走的是端到端流式 Transformer + MoE 的路子。这条路线的几个工程细节值得说：

1. 流式解码的取舍

流式 ASR 通常用 Chunk-based 或 Streaming Transformer。前者延迟稳定但准确率有损，后者能做到接近离线的准确率但需要精细的 KV Cache 管理。百毫秒级延迟 + 接近离线的准确率，大概率是走了后一条路。

2. MoE 在 ASR 上的应用

语音领域用 MoE 不算新鲜，但把 30 种语言 + 16 种方言塞进一个模型还能保持低延迟，路由效率是关键。阿里没公开路由策略细节，但从推理速度看，激活参数应该控制得比较克制。

3. 无缝切换的实现

"不用告诉模型说什么语言"背后是隐式的语种识别 + 动态路由。这个能力在跨境场景特别重要——一段音频里可能中英粤三种混说，传统方案需要先分段做语种检测，现在一遍过。

谁该关注这次升级

直白说，几类团队值得立刻测一测：

• 做出海的：东南亚场景 20% 准确率提升，直接影响客服和会议转写的可用性
• 有方言业务的：粤港澳、江浙沪、闽南地区的本地化服务，Fun-ASR-Realtime 目前是国内最强选项之一
• 实时交互产品：语音助手、AI 陪伴、实时翻译这类对延迟敏感的场景，百毫秒级延迟会明显改善用户体感
• 准备迁移的：如果你现在用的是 Whisper 或者其他云厂商 ASR，准确率和延迟都可以对比一下

阿里这两年在语音领域的节奏其实很稳——从 Paraformer 到 Fun-ASR，再到现在 Realtime + Flash 双线出击，产品线越来越清晰。跟 Qwen 主模型不同，语音这块阿里一直保持着比较明确的技术领先，这次升级基本坐实了国内 ASR 头部的位置。

剩下的问题就是价格和实测。API 已经上线百炼，开发者可以直接跑真实场景测一测——毕竟 benchmark 数据再漂亮，也不如自己业务的音频跑一遍来得实在。

参考来源

• 单模型支持 30 种语言 + 16 种方言，阿里千问升级 Fun-ASR-Realtime 语音识别模型 - IT之家：IT之家关于本次升级的报道，包含方言测试数据和东南亚场景优化细节
• 支持 16 种方言识别；AI 录音硬件 Pocket 融资 1100 万美元 - 知乎：知乎专栏对 Fun-ASR 系列端到端架构的分析