AI 快讯微软首个语音模型,开始办事
模型上新

微软首个语音模型,开始办事

2026-11-18T04:03:31.382Z
微软首个语音模型,开始办事

微软发布 MAI Realtime 1,以每分钟 0.01 美元切入企业语音 Agent 市场。比低价更关键的是,它把自然打断、推理交接和企业工具调用整合进一条实时链路。

微软首个语音模型,开始办事

微软在 11 月 17 日开幕的 Ignite 2026 上发布了 MAI Realtime 1,这是微软自研 MAI 系列的首个原生语音对语音模型,也是微软第一次正面进入企业级实时语音模型市场。

**语音对语音模型是直接理解音频、完成推理并生成音频回复的端到端模型。**它不再要求应用先把语音完整转成文字,再交给文本模型生成答案,最后调用语音合成服务朗读,因此理论上可以减少中间环节造成的延迟、语气损失和轮次错判。

MAI Realtime 1 的基础价格是每音频分钟 0.01 美元,按标价计算,连续使用一小时的基础语音费用为 0.60 美元。遇到需要复杂规划、查询企业数据或连续调用工具的任务时,系统会切换到更强的推理引擎,并额外收取每百万输入 token 1 美元、每百万输出 token 5 美元。IT之家披露的发布信息显示,该模型已进入 Microsoft Foundry 的限量访问预览,Agoda 和 Reservations.ai 等公司已经开始试用。

MAI Realtime 1 发布页面与企业语音 Agent 工作流程示意图,突出实时打断、推理引擎和工具调用

重点不是声音更像人,而是对话不会轻易断掉

**实时语音 Agent 是能够持续收听、判断对话轮次、调用外部工具并以语音返回结果的智能体。**过去两年,语音模型的音色自然度已经提升得很快,但一旦放进客服电话、预订中心或医疗沟通训练,真正难处理的往往不是发音,而是人类对话里的混乱细节。

用户可能在模型说到一半时插话,也可能用“嗯”“对”“稍等”做快速确认,还可能说到一半停顿两秒思考。如果系统把所有停顿都当成发言结束,回答就会不断抢话;如果系统等待时间过长,用户又会觉得它反应迟钝。

MAI Realtime 1 首先解决的是这种轮次控制问题。微软称,它能够处理实时打断、识别快速确认,并判断什么时候应该继续等待用户说完,而不是机械地依赖固定静音时长。

**实时打断是用户在模型播放语音时插入新指令,并让系统立即停止或调整当前回答的能力。**这项能力听起来简单,实际涉及语音活动检测、音频缓冲、上下文截断和回答状态同步;任何一个环节处理不好,都会出现模型继续说、用户以为已经打断,或者新问题接不上旧上下文的情况。

MAI Realtime 1 还强调在背景噪声和其他人声干扰下识别请求。不过,这并不等于微软已经承诺了完整的多人会议能力。现有信息更准确的理解是:模型能够在重叠人声或旁人说话时继续捕捉主要请求,但微软尚未公布说话人分离、身份跟踪或多人会议纪要等专项指标。

这一区别很重要。客服柜台、酒店前台和车载场景需要的是抗噪与抗干扰;多人会议产品需要的则是持续区分不同发言者。两者都涉及“多人声音”,但工程难度和产品承诺并不是一回事。

微软用了一个快慢双层架构

**推理交接是实时模型把复杂对话轮次转交给更强推理模型处理的机制。**MAI Realtime 1 并不打算让一个模型同时承担低延迟闲聊和复杂任务规划,而是把语音体验拆成快、慢两条路径。

快速路径负责维持自然对话,例如问候、确认信息、追问缺失字段和播报简单结果。慢速路径处理需要多步规划、企业数据查询或工具调用的请求,例如修改酒店订单、核验退款政策、查找可用房型并完成重新预订。

这一架构可以概括为:

用户语音
  ↓
实时音频理解与轮次判断
  ├─ 简单问题 → 快速生成语音回复
  └─ 复杂任务 → 推理引擎 → 企业工具/API → 结果回传 → 语音回复

双层设计的价值是让低延迟模型不必为每一次“好的”“继续”支付完整推理成本,也避免复杂任务被一个只追求响应速度的模型草率处理。它更像企业呼叫中心里的前台坐席与后台专家协作:前台保持通话不断,后台负责查系统、算规则和执行操作。

双层设计的代价是费用和延迟变得更难预测。每分钟 0.01 美元只代表基础语音路径,一旦对话进入推理、检索或多轮工具调用,最终账单还会包含 token 费用,以及数据库、搜索、电话线路和业务系统本身的成本。

这也是开发者评估 MAI Realtime 1 时最需要警惕的价格误区。按照基础标价,一小时是 0.60 美元;但微软在 Big Bench Audio 对比图中给出的 MAI Realtime 1 每小时输入音频成本约为 1.35 美元,是基础标价的 2.25 倍。两组数字并不一定矛盾,前者是最低语音单价,后者则可能对应特定评测配置和完整工作负载,不能直接混用。

跑分领先,但还不能只看一张图

**Big Bench Audio 是用于评估模型理解音频内容并完成推理问题的语音基准。**微软公布的结果显示,MAI Realtime 1 在该基准上的准确率达到 98.9%,高于 GPT-Realtime-2 High 的 96.6% 和 Grok Voice 2.0 的 97.2%。

| 模型 | Big Bench Audio 准确率 | 每小时输入音频成本 | 与 MAI 的成本差距 | |---|---:|---:|---:| | MAI Realtime 1 | 98.9% | 1.35 美元 | 基准 | | GPT-Realtime-2 High | 96.6% | 4.14 美元 | 高约 207% | | Grok Voice 2.0 | 97.2% | 4.80 美元 | 高约 256% |

按照这组数据,MAI Realtime 1 比 GPT-Realtime-2 High 高 2.3 个百分点,同时每小时成本低约 67.4%;相比 Grok Voice 2.0,其准确率高 1.7 个百分点,成本低约 71.9%。微软还表示,MAI Realtime 1 在 Tau-Voice 智能体任务完成基准上位于性能—价格前沿。相关数据由 IT之家整理自微软发布材料。

这组成绩足够让 MAI Realtime 1 进入企业 PoC 候选名单,但还不足以证明它已经全面领先。微软暂未公开完整测试配置、语言分布、音频采样条件、并发策略及失败案例,不同模型的成本也可能受到输出长度、缓存策略和推理强度影响。

企业真正关心的指标通常比公开跑分更琐碎,包括中文姓名和地址识别率、方言表现、工具调用成功率、首包音频延迟、用户打断后的停止速度,以及连续通话 20 分钟后的上下文稳定性。一个模型即使在音频问答上拿到 98.9%,也可能在真实订单系统里因为字段填错而无法上线。

OpenAI Realtime API 兼容是最务实的卖点

**OpenAI Realtime API 是一套面向双向音频流、会话事件、轮次控制和工具调用的实时交互协议。**微软明确表示,MAI Realtime 1 兼容这套接口,这意味着已经围绕 Realtime API 构建应用的团队,不必从零设计语音会话协议。

兼容现有接口的战略意义甚至可能超过模型跑分。实时语音应用的工程成本主要集中在 WebRTC 或 WebSocket 连接、音频编解码、状态事件、打断处理、工具调用和故障恢复,而不是简单替换一个模型名称。协议兼容可以降低评估门槛,让企业更容易进行双模型对比、流量切换和成本测试。

微软自己的开源示例已经展示了典型实时语音应用的结构:浏览器采集音频,后端维持实时模型连接,再通过工具访问 Azure AI Search 等企业数据源。开发者可以参考 Azure-Samples 的 VoiceRAG 项目理解实时音频、检索增强生成和企业后端之间的连接方式。

兼容协议并不代表迁移完全没有成本。不同模型对语音活动检测、系统提示词、工具描述和错误重试的敏感度不同,音色、响应节奏和安全策略也需要重新验证。一个在原模型上调好的静音阈值,换到 MAI Realtime 1 后可能出现抢话或等待过久,因此生产迁移仍然需要真实通话回放测试。

企业工具调用决定它能不能真正省人

**工具调用是模型按照结构化参数请求外部系统执行查询或操作的能力。**对企业而言,语音模型只有接入订单、CRM、知识库和支付系统,才能从“会说话”升级为“能完成任务”。

MAI Realtime 1 的目标场景并不是做一个新的语音聊天玩具,而是让用户直接通过自然语言处理业务。例如,用户说“把周五的订单改到周六,如果没有同房型就升级一级”,系统需要识别日期和订单,检查库存,比较升级条件,调用修改接口,最后复述结果并请求确认。

这种任务考验的不是单次回答有多聪明,而是连续十几个步骤里能否保持参数一致、遵守权限并处理异常。任何一步出现幻觉,都可能造成错误预订、违规退款或敏感数据泄露。因此,企业部署时仍需要为高风险操作设置确认节点、权限边界和完整审计日志。

微软已经给出了两个内部落地方向:Dynamics 365 Contact Center 将使用该模型处理客服场景,Dragon Copilot 则计划用它生成 AI 模拟患者,让护士练习临床沟通。这两个场景都比普通语音助手更能暴露模型的真实能力,因为客服要求执行结果准确,医疗训练则要求角色、语气和上下文保持稳定。

一美分是敲门砖,企业分发才是微软的优势

MAI Realtime 1 的最大竞争力不是单点模型能力,而是微软能够把它直接塞进企业已有的软件、身份系统和业务数据里。OpenAI、Google、xAI 和 ElevenLabs 都在争夺实时语音入口,但微软拥有 Dynamics 365、Microsoft Foundry、Azure 和医疗行业产品作为现成分发渠道。

每分钟 0.01 美元是一个很有攻击性的起价。即使不考虑推理费用,按照每天 1 万小时通话计算,基础语音成本约为每天 6000 美元;企业只要通过更好的自动化减少一部分人工转接或平均处理时长,账就有可能算得过来。

低价也意味着实时语音模型正在从演示功能转向基础设施。过去,企业可能只在少量 VIP 客户或夜间客服中部署语音 Agent;当基础音频成本降到每小时 0.60 美元量级后,预约确认、订单查询、内部 IT 支持和培训模拟都可能成为常规用例。

MAI Realtime 1 目前仍是限量访问预览,而不是全面可用的成熟服务。微软表示,预览客户在进入公开预览前不会被收费,但尚未公布正式开放时间、区域覆盖、语言列表、并发限制和服务等级协议。开发者现在更适合把它当成值得尽快测试的候选模型,而不是立即替换生产系统的确定答案。

最终判断很明确:MAI Realtime 1 的发布不是因为它声音更自然,而是微软终于把实时语音、复杂推理和企业工具执行做成了一个统一模型入口。如果微软公布的成本与准确率能在真实中文客服和长通话中复现,它会迫使所有实时语音模型重新定价;如果工具成功率和延迟交接不稳定,那么每分钟一美分也只是一个好看的入口价格。

参考来源

相关推荐

查看全部