Higgs全双工模型发布

AI 不再等你说完，Higgs 开始边聊边干活

Boson AI 于 11 月 5 日发布 Higgs Realtime Duplex，一款拥有 450 亿参数的 MoE 全双工多模态模型。它可以在持续接收语音和视频的同时生成语音与 Avatar 表情，并把推理、工具调用和复杂任务委派放到后台并行执行。(boson.ai)

全双工模型是能够在输出内容时继续接收并理解用户输入的实时交互模型。 传统语音助手通常采用听完、思考、再回答的轮次制流程；Higgs Realtime Duplex 则把音频、视频、文本、推理和工具结果放进同一条时间流，让模型每隔 160 毫秒重新判断一次：现在应该继续说、停下来听、简单附和，还是启动一项后台任务。

这不是给语音助手增加一个更灵敏的打断按钮，而是在重写实时 Agent 的运行方式。

目前，Higgs Realtime Duplex 仍处于研究预览阶段，模型权重没有开放，专属 API 也尚未正式上线，只提供候补名单。Boson AI 此前推出的轮次制 Higgs Realtime 已经可用，但两者不是同一个模型，开发者暂时还不能直接部署这次发布的 Duplex 版本。(reddit.com)

160 毫秒切片，替代传统对话轮次

Higgs Realtime Duplex 的核心设计是切分时间，而不是划分对话轮次。系统把所有输入和输出流切成长度为 160 毫秒的片段，每一步读取刚刚到达的片段，并生成下一个即将播放或执行的片段。

在每个 160 毫秒片段中，模型可能同时处理以下内容：

• 音频输入为 1 个 token，相当于每秒 6.25 个 token；
• 音频输出为 2 个 token，相当于每秒 12.5 个 token；
• 视频输入每 6 个片段采样一帧，每帧约 12 个 token；
• Avatar 输出每个片段生成 2 个视觉 latent；
• 文本、思维过程、工具调用和返回结果可以与上述流并行出现。

时间切片是把连续交互拆成固定时长计算单元的流式建模方法。 它与传统 VAD 路线最大的区别，是沉默本身也会被编码成片段，而不是被系统简单丢弃。

沉默 token 让模型能够学习对话节奏。用户说到一半停顿 300 毫秒，可能只是换气；停顿两秒，可能是在等待回答；用户发出嗯、啊等语气词，也不一定意味着要抢走话轮。轮次制系统经常用一套阈值和状态机处理这些情况，而 Duplex 试图让模型直接从语音、视觉和历史上下文中判断。

这意味着附和、插话和保持安静都成为模型的生成结果。它可以在用户陈述时说一声嗯哼，也可以识别用户正在和旁边的人讲话，从而不贸然回答；如果用户在模型输出中途改变要求，它还需要停止当前语音、更新计划，并决定已经发出的后台任务是否继续。

真正困难的地方不是让输入输出同时打开，而是避免模型变成一个不断抢话、无法理解指向关系的语音播放器。

前台模型负责聊天，后台线程负责办事

Higgs Realtime Duplex 最值得关注的能力，是前台交互与后台工作不再互相阻塞。模型可以在用户尚未说完时开始推理，也可以提前发起搜索、知识库查询、预订、CRM 查询等工具任务，并在结果分批返回时逐步组织回答。

异步推理是指模型的推理任务不阻塞实时输入输出流，可以与倾听和说话并行执行。 在传统语音 Agent 中，一次工具调用通常会制造明显的空白：模型结束当前语音，等待外部接口返回，再重新生成回答。即使开发者加入请稍等之类的填充语句，系统本质上仍处于暂停状态。

Duplex 的做法更接近一个同时运行多个线程的操作系统。前台线程持续维持对话，后台线程可以执行工具、整理信息或处理一个较长的推理链；结果回来之后，不需要开启一轮全新对话，而是直接进入后续时间片。

例如，用户在开车时要求模型检查市场行情和训练任务状态，随后又开始与店员点餐。模型需要同时完成三件事：持续听取环境中的对话、判断哪些话不是说给自己的、等待后台查询返回。它不能在店员说要不要加薯条时突然播报市场数据，也不能因为自己正在查询就漏掉用户后续的补充要求。

Boson AI 还为复杂任务加入了委派机制。当前台的 45B MoE 模型判断任务超出自身能力时，可以把共享上下文交给更大的后端模型；在后端模型工作期间，前台仍可继续聊天，甚至处理其他话题。

模型委派是由低延迟前台模型判断任务难度，并把高复杂度问题交给更强后端模型处理的分层架构。 这套设计的价值不在于概念新颖——开发者早就在手工搭建类似的语音外壳加推理模型架构——而在于 Boson AI 试图把委派决策、上下文同步和结果回注训练进模型本身。

45B MoE 不追求包办所有问题

Higgs Realtime Duplex 的前台模型采用 45B MoE 架构，并在约 2 万亿个文本、音频和视频 token 上进行持续预训练。Boson AI 表示，模型使用基于 Megatron 的训练栈，在公司自建的 NVIDIA H100 集群上完成训练。(boson.ai)

MoE 是只为每个 token 激活部分专家网络的混合专家架构。 它的目标是在保留较大总参数容量的同时，控制单次推理需要执行的计算量。不过 Boson AI 没有披露 Higgs Realtime Duplex 每个 token 的激活参数量、专家数量、路由策略和实际推理硬件配置，因此不能仅凭 45B 总参数判断它的真实运行成本。

选择中等规模的前台模型，是这套系统的重要取舍。实时交互要求模型每秒处理多个音频和视觉片段，如果把所有请求都交给数百亿甚至数千亿激活参数的推理模型，成本和延迟会迅速失控。Boson AI 的策略是让 45B 模型处理大部分日常交流和简单任务，只在必要时调用更强的后端。

这也解释了为什么 Higgs Duplex 的产品价值不能只看语言模型跑分。前台模型不必在每一道数学题上击败旗舰推理模型，但必须快速、稳定地判断什么时候自己回答，什么时候调用工具，什么时候委派，以及什么时候闭嘴。

Boson AI 给出的成本目标是：使用模型一小时的成本，不超过人类工作一小时成本的十分之一。这只是设计目标，Duplex API 尚未公布价格，因此现在还无法验证其商业可行性。

多模态上下文很贵，五分钟就要数万个 token

Higgs Realtime Duplex 每分钟仅音频和视频流就会消耗约 2600 个 token。加入思考、工具调用及返回轨迹后，每分钟上下文消耗约为 2600 至 5000 个 token。

渐进式压缩是把较早的推理轨迹和工具结果逐步浓缩为文本摘要，以控制长会话上下文规模的方法。 Boson AI 表示，系统通常保留最近五分钟的原始音视频流和压缩文本，这一窗口约占 1.3 万至 2.5 万个 token；更早的历史则只以文本形式保留。

这组数字说明，全双工 Agent 的成本结构与普通聊天模型完全不同。文本聊天只在用户发送消息时增加上下文，而 Duplex 即使处于沉默状态，也需要持续处理音频、画面和时间信息。摄像头开启一小时，模型看到的不只是几十轮问答，而是数千个连续时间片。

压缩策略也会直接影响产品体验。压缩过于激进，模型可能记得用户说过要检查训练任务，却忘记用户指的是哪一个实验；保留过多原始音视频，则会推高显存、推理时延和计费成本。Boson AI 尚未公布长时间会话中的信息保真率，这会是 API 开放后需要重点测试的指标。

声音和脸不是预设角色，而是部署时加载

Higgs Realtime Duplex 可以使用一段短参考音频指定声音，并使用一张参考图片指定 Avatar 形象，不需要为新角色单独微调模型。

零样本声音与形象生成是通过参考音频和参考图片控制输出角色，而不重新训练主模型的生成方式。 参考信息不会直接写入 45B 前台模型，而是提供给音频和视频解码器。

音频部分使用因果 Flow Matching 解码器，每个时间片生成两个音频帧；视频部分使用因果 DiT 扩散解码器，并根据参考图片和最近两个视觉 latent 生成下一帧。所谓因果，意味着当前输出只依赖已经发生的状态，而不能提前看到未来数据，这是实时生成能够持续运行的前提。

统一生成语音和表情的好处是同步更自然。传统数字人产品通常先由语言模型生成文本，再经过 TTS 合成语音，最后由独立的口型和表情模块驱动画面。模块越多，语气、停顿和表情越容易错位。Higgs Duplex 仍然使用不同解码器，但音频 token 与视觉 latent 来自同一条实时输出流，理论上更容易保持时序一致。

风险同样明显。零样本声音和形象生成涉及授权、冒用和身份验证问题，尤其是系统可以长期、实时地模拟一个角色时，仅靠部署方自律并不充分。Boson AI 此次没有详细披露水印、声音授权验证和身份保护机制。

跑分不弱，但还没有全面压过 GPT

Boson AI 公布的评测显示，Higgs Realtime Duplex 在 Big Bench Audio 上获得 98.9 分，高于对比表中的 TML Interaction Small、OpenAI 和 Google 最佳配置；但在完整双工交互、流式视频理解和语音任务完成率上，它并非第一。

| 评测项目 | Higgs Duplex 45B | TML Interaction Small 276B | OpenAI 最佳结果 | Google 最佳结果 | |---|---:|---:|---:|---:| | Big Bench Audio | 98.9 | 96.5 | 97.0 | 98.0 | | Audio MultiChallenge APR | 44.9 | 43.4 | 48.5 | 36.1 | | Full-Duplex-Bench v1.5 | 75.5 | 77.8 | 80.1 | 54.3 | | QIVD 流式准确率 | 56.0 | 54.0 | 58.2 | 56.1 | | ProactiveVideoQA PAUC | 31.9 | 33.5 | 25.0 | 未测试 | | τ-Voice pass@1 | 69.8% | 未测试 | 74.5% | 68.6% | | IFEval | 94.1 | 89.7 | 95.2 | 90.0 |

这张表最合理的结论不是 Higgs 已经超越 GPT，而是一个 45B 前台模型可以在多项实时交互评测中接近更大的系统。OpenAI 最佳配置在七项测试中的五项领先 Higgs，优势约为 1 至 5 分；Higgs 则在音频问答和主动视频交互上显示出较强竞争力。(boson.ai)

Full-Duplex-Bench v1.5 更值得关注。Higgs 得分 75.5，低于 TML 的 77.8 和 OpenAI 的 80.1，说明它在接话时机、重叠语音、打断和话轮控制方面仍有差距。对于全双工产品，这一项可能比普通问答准确率更接近真实体验。

评测结果也需要保留审慎态度。当前数据主要由 Boson AI 发布，团队称超过一半的竞品结果经过自行复现，但不同厂商的模型配置、思考档位、工具环境和评测提示可能并不完全一致。在第三方获得 Duplex API 并完成独立测试前，这些数字更适合证明模型进入第一梯队，而不是用于宣布绝对领先。

与 TML、OpenAI、Google 的差别在哪里

Higgs Realtime Duplex 的差异不只是参数更小，而是前台模型承担了更多工作。Boson AI 表示，Higgs 的前台模型可以自主思考和调用工具，只有复杂任务才交给后端；相比之下，Thinking Machines Lab 的方案更依赖后台模型处理推理与工具调用。

| 产品或架构 | 前台交互方式 | 后台任务方式 | 公开参数 | 当前状态 | |---|---|---|---:|---| | Higgs Realtime Duplex | 160ms 音视频并行时间片 | 前台可思考、调用工具，复杂任务再委派 | 45B MoE | 研究预览，API 候补 | | TML Interaction Small | 多流实时交互 | 更依赖后台模型完成推理与工具任务 | 276B MoE | 研究预览 | | OpenAI Realtime / Live 系列 | 原生实时语音与多模态交互 | 可结合工具及不同推理档位 | 未公开 | 已有产品化能力 | | Gemini Live 系列 | 实时音视频交互 | 可结合扩展思考配置 | 未公开 | 已有产品化能力 |

前台自主工作可以减少不必要的委派。Boson AI 认为，如果每个问题都交给大型后端推理模型，单次等待可能超过 10 秒，成本也更难控制；让前台模型先处理简单问题，有机会兼顾实时性和经济性。

但这也是更难训练的路线。前台模型需要同时学习语言理解、语音节奏、视觉注意、工具选择、任务规划和委派判断，任何一个环节出错都会直接影响交互。一个只负责维持对话的轻量前台模型更容易优化延迟，而 Higgs 试图让前台成为真正的 Agent 调度器。

训练重点从回答正确转向行动时机

Higgs Realtime Duplex 的后训练采用多教师在线策略蒸馏，即 Multi-teacher On-policy Distillation，简称 MOPD。

多教师在线策略蒸馏是让多个针对不同任务强化训练的教师模型，在实际交互轨迹上指导同一个学生模型的方法。 Boson AI 分别训练了自然对话、交互时机、动态委派和任务完成等专业教师，其中使用了包括 GRPO 在内的强化学习方法，再把这些能力蒸馏进统一模型。

这套方法的关键是教师不仅教模型说什么，还要教模型什么时候行动。语音 Agent 的错误经常不是答案本身错误，而是在错误的时间给出正确答案：用户还没说完时抢答、工具结果尚未完整时过早下结论，或者用户已经改变目标后仍执行旧任务。

Boson AI 还构建了递归自我改进循环，让 Agent 在模拟环境中交互、检查失败、合成针对性数据，然后重新训练。模拟环境会覆盖打断、重叠语音、背景噪声、旁人对话等情况。

这比制作静态问答数据更接近全双工模型真正需要的训练信号。它也暴露了另一个现实：实时 Agent 的护城河可能不再只是基础模型参数，而是包含模拟器、工具环境、评审模型和失败回放系统在内的训练基础设施。

判断：方向对了，但发布还不算落地

Higgs Realtime Duplex 是目前最完整地展示前台交互模型加后台任务系统的一次产品发布。它把全双工、多模态感知、Avatar 输出、工具调用和模型委派放进同一时间轴，比单纯强调低延迟语音更接近可长期工作的实时 Agent。

它最有价值的地方，是承认一个实时模型不可能同时拥有最低延迟、最强推理和最低成本。Higgs 的解法是用 45B MoE 模型守住交互前台，把少数难题交给更大的后端，而不是要求一个超大模型处理每个嗯和每次停顿。

不过，这次发布仍缺少三个决定产品成败的信息：实际 API 价格、真实端到端延迟，以及第三方长时间会话测试。模型每分钟处理 2600 至 5000 个 token，如果定价、缓存和压缩策略控制不好，一小时视频会话的成本仍可能让多数消费级场景无法承受。

API 尚未开放也意味着开发者无法验证工具调用是否稳定、委派何时触发，以及摄像头开启后的隐私边界。演示视频可以证明架构成立，却无法代替复杂网络环境、多人会议、方言、噪声和连续数小时运行下的可靠性测试。

Higgs Realtime Duplex 现在更像一份有说服力的实时 Agent 架构答卷，而不是一个已经可以大规模采购的成熟产品。如果 Boson AI 后续能以可控价格开放 API，并让 45B 前台模型在真实环境中维持稳定的话轮判断，它可能会迫使语音模型的竞争从谁说得更像人，转向谁能一边说话，一边真正把事情办完。

参考来源

• Reddit：Boson AI 团队介绍 Higgs Realtime Duplex：包含流式 token 设计、训练方法、上下文预算、评测结果和 API 状态说明。
• 掘金：Higgs Realtime Duplex 发布信息整理：中文资讯汇总，介绍 160ms 分块、异步推理、工具调用与 Avatar 生成功能。