Shizuku-Duplex让AI学会抢话

日语语音 AI 开始摆脱“对讲机模式”

Shizuku AI 在 11 月 8 日公布了全双工对话模型 Shizuku-Duplex，核心变化是模型不必等用户说完整句话，便能一边听、一边思考，并在需要时插话、停顿或调整回应。根据 Shizuku AI 公布的信息，这家公司将其称为继 GPT-Live 之后，第二个支持日语智能对话的全双工模型。

全双工对话模型是能够同时接收用户语音并生成自身输出的实时模型。它与传统“用户说完—系统识别—模型回答—语音合成”的半双工链路不同，更接近人类通话：双方可能重叠发言，听者会用“嗯”“原来如此”进行附和，也会在发现理解错误时及时打断。

Shizuku-Duplex 最值得关注的并不是又增加了一套语音输入和输出，而是把实时互动与复杂推理拆成前台、后台两条并行链路。前台模型负责以较低延迟维持对话，后台模型异步处理需要更多计算的请求，两者共享并持续整理上下文。

这套设计瞄准的不是传统语音助手，而是长时间在线的 AI 角色与 AI 伴侣。Shizuku AI 已经在基于该技术开发名为“雫”的伴侣式 AI，希望它能够始终倾听、感知用户情绪，并主动表达自身感受。

80ms 是交互节拍，不等于完整响应延迟

Shizuku-Duplex 将连续对话切分为每帧 80ms 的交互单元，相当于每秒处理约 12.5 个时间步。模型可以在每个时间步更新对用户状态、当前语义和自身输出的判断，而不是等一句话结束后才开始新一轮推理。

80ms 交互帧是模型更新对话状态的时间粒度，并不等同于 80ms 端到端响应延迟。真实延迟还会受到音频编码、网络传输、首个有效语义形成、推理计算和音频解码等环节影响，因此不能把“80ms 一帧”直接理解为用户开口 80ms 后就一定能听到回答。

这个区别对评估实时语音模型非常重要。传统方案常用独立的语音活动检测（VAD）判断用户是否结束发言，再把音频交给语音识别系统；如果系统为了避免抢话而等待 500ms 至 1 秒，用户就会感受到明显停顿，而等待过短又容易把正常换气误判为一句话结束。

Shizuku-Duplex 的思路是持续观察输入流，并在用户尚未说完时启动内部思考。用户说“帮我安排一下明天……”时，模型已经可以开始提取“安排”“明天”等意图；等用户补充“上午去新宿，下午留出两小时开会”，后台推理再逐步更新计划，而不必从句末重新启动整个流程。

这种机制也让打断处理更加自然。用户在模型回答中途说“不是，我指的是下周”，前台模型可以在新的 80ms 帧里持续感知用户音频，降低自身语音输出或者转入倾听状态，而不是先把预生成的一整段内容播放完。

前台负责“接得住”，后台负责“想得深”

Shizuku-Duplex 的前台交互模型是面向实时轮次管理的快速通道。它需要判断用户是在继续说话、犹豫、附和还是准备结束当前话轮，并决定模型应该保持沉默、给出简短反馈、继续说话或让出发言权。

Shizuku-Duplex 的后台模型是异步执行复杂请求的推理通道。它可以处理需要更长上下文或更多计算的问题，而不会完全阻塞前台互动，例如整理旅行计划、回忆此前谈过的偏好，或在长对话中形成更完整的情绪与人物状态判断。

前后台异步推理的价值在于，把“马上回应”和“认真回答”从同一个串行任务中拆开。人类聊天时也不会每次都沉默十秒后给出一段完整结论，而是先用“我想想”“你的意思是……”维持互动，再组织更复杂的回答。

这套架构也存在一个明显风险：前台模型不能为了追求速度而过早承诺。如果前台先说“没问题，我已经安排好了”，后台随后发现时间冲突，用户体验反而会比稍慢但一致的回答更差。因此，前后台之间需要共享任务状态，并区分“确认收到”“暂定结论”和“已经完成”三种不同语义。

Shizuku AI 暂未完整披露前后台模型的参数规模、路由策略以及冲突解决机制。对开发者而言，这些信息比单纯的 80ms 数字更关键，因为它们决定了模型在网络抖动、高并发和长任务场景下是否仍能保持一致人格与可靠状态。

一次生成三类输出，目标不只是说话

Shizuku-Duplex 支持音频、文本和动作三类输出。音频是用户直接听到的语音，文本可承载模型的内部独白或语义计划，动作则用于驱动虚拟角色的表情、姿态和行为。

模型独白是模型在说出声音之前或同时形成的文本化语义计划。它可以帮助系统区分“模型正在思考什么”和“模型最终对用户说什么”，但官方目前没有说明这些独白是否向用户可见、是否会长期保存，以及是否经过单独的安全过滤。

动作输出是 Shizuku-Duplex 面向 AI 角色场景的重要差异。普通语音助手只需返回声音，但虚拟角色还需要在合适时机点头、移开视线、表现犹豫，或者让嘴型和语音节奏同步；如果这些动作由独立系统事后推断，往往会出现表情慢半拍的问题。

三种输出共享同一时间节拍，可以让语言与角色行为更紧密地对齐。例如模型说“让我想一下”时，动作流可以同步触发停顿和视线变化，文本独白则继续规划后续回答，而音频流暂时只生成短促的承接语。

这种多流输出也会显著提高部署难度。开发团队不仅要控制音频延迟，还要处理动作播放器、角色渲染、文本状态和后台任务之间的时间同步；任何一条流发生阻塞，都可能让角色出现“嘴在说上一句、表情已经进入下一句”的割裂感。

每 5 分钟压缩上下文，为长期在线付出信息损耗

Shizuku-Duplex 会每 5 分钟进行一次上下文压缩，以限制持续对话带来的上下文膨胀。上下文压缩是把较长的历史对话提炼为更短的摘要、状态或记忆表示，从而降低后续推理的计算量。

五分钟一次的固定节奏说明 Shizuku AI 正在为长时间在线场景做工程取舍。若模型以 80ms 为一帧，5 分钟理论上会经过约 3750 个交互帧；这些帧还可能同时包含用户音频、助手音频、文本独白和动作状态，不能无限原样保留。

上下文压缩的代价是细节可能丢失。用户十分钟前随口提到“不要把这件事告诉同事”，如果压缩摘要只保留了事件本身而遗漏保密要求，后续行为就可能出错；对于 AI 伴侣而言，遗忘称呼、边界和情绪触发点也会直接破坏关系连续性。

真正可用的长期记忆需要把短期上下文、人物状态和可检索记忆分开管理。五分钟压缩可以解决运行成本问题，却不自动等于模型拥有稳定记忆，更不代表它能够准确区分临时情绪、长期偏好和用户明确要求删除的信息。

日语自然度第一，但评测透明度仍然不够

Shizuku AI 表示，Shizuku-Duplex 在 6 个参测模型中取得最高的日语对话自然性，响应质量则仅次于 OpenAI 的 GPT-Live。这个结果说明它的优势更偏向日语互动节奏与表达自然度，而不是所有维度上的综合领先。

目前公开信息尚不足以复现这项比较。官方没有在此次简要披露中完整列出 6 个模型的全部名称、测试样本规模、评审者构成、评分区间和统计显著性，因此“自然性第一”更适合被视作厂商评测结果，而不是已经被独立验证的行业排名。

日语全双工对话确实比把英语模型直接迁移过来更复杂。日语谓语经常出现在句尾，主语也可能省略，模型若在句子尚未结束时过早形成结论，更容易误判语义；与此同时，“ええ”“そうですね”等附和表达出现频率较高，系统还必须判断它们是简单反馈还是用户准备接管话轮。

下面的对比仅基于当前已公开信息，不代表同一测试环境下的完整跑分：

| 模型或方案 | 核心定位 | 交互方式 | 已公开延迟或帧率 | 日语表现 | 当前局限 | |---|---|---|---|---|---| | Shizuku-Duplex | 日语 AI 角色与伴侣 | 全双工，前后台异步推理 | 80ms/帧，约 12.5Hz | 厂商评测中自然性位列 6 个模型第一，响应质量第二 | 参数量、价格、部署方式和完整评测集尚未公开 | | GPT-Live | 通用实时智能对话 | 全双工实时交互 | 本次资料未给出可直接对比数字 | 厂商评测中响应质量第一 | 与 Shizuku-Duplex 的测试方法尚未完整公开 | | Moshi | 开放研究与端到端语音对话 | 持续建模用户流和助手流 | 理论延迟约 200ms，音频时间粒度约 80ms | 并非专门针对日语 AI 伴侣优化 | 模型能力、日语自然度与商业系统仍需分别评估 | | ASR＋LLM＋TTS 级联系统 | 客服、助手和既有应用改造 | 多数为轮流说话，可额外加入打断检测 | 延迟由识别、推理和合成叠加 | 可替换日语 ASR 与音色组件 | 链路较长，情绪、停顿和抢话信息容易损失 |

这张表也说明，80ms 帧率不能直接与其他产品公布的端到端延迟混为一谈。前者描述模型多久更新一次状态，后者描述用户声音进入系统后，多久能听到有意义的回应，两者是不同指标。

AI 伴侣比客服更需要全双工，也更需要边界

Shizuku-Duplex 最合适的落地场景是需要维持“在场感”的虚拟角色。游戏 NPC、桌面陪伴角色、直播虚拟人和情绪陪伴应用都需要频繁使用短反馈，而不是每次都生成结构完整的长回答。

全双工并不意味着模型应该频繁抢话。客服场景通常要求系统避免打断用户，陪伴场景则可能允许更自然的重叠发言；真正重要的是模型能否识别场景规范，而不是单纯证明自己具备插话能力。

始终倾听也会把隐私问题从功能选项变成产品核心。持续开启麦克风意味着系统可能接收到旁人对话、环境声音和用户并未打算提交的信息，产品需要清楚说明音频何时上传、保存多久、是否用于训练，以及用户能否一键暂停和删除历史。

模型主动表达“自身感受”同样需要谨慎设计。它可以提升角色一致性和互动吸引力，但也可能让用户误以为模型拥有真实情绪，甚至通过内疚、依赖或排他性表达影响用户决策；对于面向未成年人的产品，这类风险尤其不能只靠一句免责声明解决。

Shizuku-Duplex 的方向是对的，但还不是可交付结论

Shizuku-Duplex 的技术路线比单纯降低语音合成延迟更有价值，因为它把话轮管理、异步推理、长期上下文和角色动作放在了同一套实时系统中。对于 AI 伴侣而言，这些能力比回答一次知识问题的跑分更接近真实产品壁垒。

Shizuku-Duplex 目前仍缺少决定开发者是否采用的关键信息。官方尚未明确公开模型参数规模、权重开放计划、商业价格、并发能力、硬件需求、端到端延迟分布以及多语言支持范围，也没有给出可供第三方复现的完整评测材料。

这次发布更像是一份清晰的技术路线声明，而不是成熟平台的正式交付。80ms 交互帧证明模型能够以较细粒度观察对话，前后台异步架构则回答了“即时回应与深度推理如何兼得”的问题；但它最终能否超过 GPT-Live 或现有端到端语音模型，还要看真实噪声、长时间运行、频繁打断和高并发条件下的表现。

日语语音 AI 的竞争重点正在从“能不能听懂并说出来”，转向“什么时候说、什么时候停、怎样维持关系”。Shizuku-Duplex 把这个变化讲得很明确：下一代 AI 伴侣不只是一个带声音的大模型，而是一套持续运行、并行思考并管理互动节奏的实时系统。

参考来源

• IT之家：Shizuku AI 公布全双工模型 Shizuku-Duplex——整理了模型发布时间、80ms 交互帧、前后台架构、上下文压缩和日语评测结果。
• 知乎：全双工口语对话系统综述——介绍全双工语音模型的多流架构、话轮状态、音频帧率及 Moshi 等方案的技术背景。