豆包实时模型API全量上线

火山引擎正式开放 SeedRealtime 1.0 API,将音频、视频、时序理解与语音表达统一进端到端模型。它真正有价值的地方不是“视频通话”,而是让开发者开始构建能持续观察、主动介入的实时 AI。
火山引擎在 11 月 19 日正式全量上线豆包实时音视频通话模型 SeedRealtime 1.0 API,开发者由此可以把豆包 App 已经落地的“边看、边听、边说”能力接入自己的应用。
**SeedRealtime 1.0 是字节跳动 Seed 团队开发的原生音视频全双工模型,它把声音、画面、时间顺序、对话决策与语音表达放进同一个端到端模型中处理。**这次更新的重点不是模型首次亮相,而是它从豆包 App 内部能力变成了可供外部开发者使用的 API 服务。
今年 8 月 5 日,SeedRealtime 已在豆包 App 全量上线,用户可以通过“打电话”进入实时视频通话。三个多月后,火山引擎才把 API 推向全量可用阶段。这个时间差说明,字节先用自家亿级用户产品验证交互稳定性,再把底层能力做成云服务,而不是发布模型的同时就让开发者承担早期工程风险。

端到端不是少接几个模块,而是改变模型做决定的方式
**传统实时语音系统本质上是一条由多个模型组成的流水线。**用户开口后,系统先判断声音是否开始或结束,再把语音转成文字,交给语言模型或视觉模型推理,最后把回答文字合成为声音。
这条流水线通常包含以下组件:
- **VAD(语音活动检测)是判断用户何时开始说话、何时停止说话的模块。**它负责切分对话轮次,但容易把停顿误判为发言结束,也可能被背景人声触发。
- **ASR(自动语音识别)是把语音转换成文字的技术。**语气、重音、笑声以及环境中的非语言声音,在转写过程中可能被压缩或直接丢失。
- **VLM(视觉语言模型)是联合理解图像或视频与语言内容的模型。**它可以回答画面相关问题,但未必持续理解视频中的动作先后关系。
- **TTS(语音合成)是把生成文本转换为声音的技术。**如果上游语言模型没有保留情绪和节奏信息,最终声音即使自然,也可能与现场语境脱节。
**级联系统最大的麻烦不是任何一个组件不够强,而是每个组件都只看见现场的一部分。**ASR 可能不知道用户正指着哪个物体,视觉模型可能不知道一句话中的重音,TTS 则只能拿到已经生成好的文本。每个环节还会积累等待时间,最终出现用户已经说完、AI 却迟迟不回答,或者用户尚未说完就被 AI 抢话的情况。
SeedRealtime 1.0 采用另一种处理逻辑:模型持续接收音频和视频流,在同一个推理过程中完成感知、理解、轮次判断、回应决策与语音表达。它不是先“听写”再“答题”,而是像一个始终在场的参与者,一边观察环境,一边判断现在应该说话、保持沉默还是等待更多信息。
| 对比维度 | SeedRealtime 1.0 端到端方案 | 传统 ASR+VLM/LLM+TTS 级联方案 | |---|---|---| | 输入处理 | 持续联合处理声音、画面与时序 | 音频、画面通常由不同模块处理 | | 轮次判断 | 模型根据多模态上下文决定何时回应 | 通常依赖外部 VAD 和固定规则 | | 信息保留 | 语气、手势、画面变化可共同参与决策 | 模块转换过程中可能损失非文本信息 | | 主动交互 | 可根据环境变化主动提醒 | 通常需要用户明确发问或规则触发 | | 工程控制 | 行为更统一,但内部决策更难拆解 | 各模块可独立替换、调试与监控 | | 延迟来源 | 主要来自连续多模态推理和传输 | 多模块串联产生逐层等待 | | 适用场景 | 实时陪伴、现场辅助、视频导览、操作指导 | 客服、转写、固定问答等边界明确的任务 |
**端到端架构并不意味着级联系统会立刻退出市场。**对需要审计转写结果、替换特定语音引擎、严格控制每一步输出的企业来说,模块化方案仍然更容易调试和治理;SeedRealtime 更适合交互自然度比流程可拆解性更重要的场景。
“主动开口”比实时语音更值得关注
**SeedRealtime 1.0 的关键变化是把主动交互变成模型能力,而不只是应用层设置的定时提醒。**模型可以持续观察场景,在目标出现、设备状态变化或任务节点到来时主动说话,不要求用户每一步都先提问。
在官方展示的咖啡制作场景中,用户把整颗咖啡豆倒进萃取手柄后,模型能够根据画面判断操作有误,并主动提醒咖啡豆需要先研磨。完成萃取后,它还可以根据咖啡油脂和出液情况,建议缩短萃取时间。这个过程的价值不在于模型知道咖啡知识,而在于它知道错误发生在什么时候,并能在错误继续扩大之前开口。
**持续视觉跟踪让 SeedRealtime 可以处理传统问答模型容易丢失的时序指代。**当用户一边移动镜头一边说“这个怎么弄”时,模型需要结合当前画面、手势方向以及此前动作,判断“这个”到底指咖啡机旋钮、萃取手柄还是旁边的磨豆机。单独截取一张图片再提问,很难完整保留这种上下文。
在学习场景中,模型可以持续监控用户的翻页过程,看到指定章节时主动提醒,并读取学习率、动量、权重衰减等训练配置。与普通视觉问答相比,这种应用不要求用户每翻一页就拍照上传,也不需要提前知道目标内容会在哪一秒出现。
在多人聚餐或协作场景中,模型还需要同时解决人物身份、声音来源和上下文归属问题。SeedRealtime 可以结合画面中的人物位置与语音,区分不同发言者并记住各自需求,再据此生成旅行方案。它真正要处理的不是“多人脸识别”这一项孤立任务,而是某句话由谁说、指向谁、与此前哪段讨论有关。
全双工的难点是知道什么时候闭嘴
**全双工交互是用户和 AI 可以同时发送与接收信息、随时插话或中止对方的实时对话方式。**它与对讲机式的一问一答不同:模型说话时仍要继续听,也要判断用户的一声“等等”是在打断它,还是在和旁人交流。
SeedRealtime 不再完全依赖外部 VAD 划分轮次,而是根据声音、画面和上下文共同判断对话状态。机场广播、旁人聊天、餐厅噪声都可能包含清晰的人声,但出现人声不等于用户正在向 AI 发问。模型如果每次都回应,实时助手很快就会变成现场最吵的参与者。
**字节此前披露的端到端人工评测显示,SeedRealtime 相比传统级联系统将音视频对话中的节奏问题减少约 50%。**这些问题包括用户话未说完便被抢断、用户结束发言后回应迟缓,以及背景噪声或旁人闲聊导致的误触发。不过,官方目前没有同步公布这项评测的样本数量、场景分布和具体评分标准,因此“减少约一半”更适合用来观察改进方向,不能直接等同于跨模型基准测试成绩。
**自然的实时对话依赖的不是单一首字延迟指标,而是一整套时机判断。**即使模型能在数百毫秒内发出声音,如果它频繁抢话,体验仍然会比响应稍慢但懂得停顿的系统更差。SeedRealtime 把节奏控制放进端到端模型,是正确的方向,但开发者仍需要在真实网络、方言、多人环境和长时间会话中验证稳定性。
API 全量上线,真正打开的是应用入口
**API 全量上线意味着 SeedRealtime 1.0 不再只服务豆包 App,而可以成为教育、硬件、导览和企业应用的底层交互能力。**这会让一批过去需要自行拼接实时通信、语音识别、视觉理解和语音合成的团队减少集成工作量。
最直接的应用并不是给所有聊天产品增加视频按钮,而是放进必须持续观察现场的业务流程:
- **设备操作辅助。**模型观察仪器面板和用户动作,在装配顺序、按钮状态或安全条件异常时立即提示。
- **跨语言导览。**模型同时理解现场物体、导游或服务员的讲话,并结合镜头内容进行翻译和解释。
- **实时学习陪练。**模型跟踪书本、白板或实验过程,在关键步骤出现时补充说明,而不是等学生组织完整问题。
- **无障碍辅助。**模型可以持续描述环境变化、识别提示信息,并用语音帮助视障用户理解现场。
- **远程售后与巡检。**模型观察设备状态并收集语音描述,为人工坐席提供实时判断,或者在低风险步骤中直接指导用户。
**SeedRealtime 最有潜力的产品形态不是“更会聊天的数字人”,而是具备视觉上下文的现场副驾驶。**数字人强调的是形象与表达,现场副驾驶强调的是持续感知、正确时机和任务结果。后者更难,但也更容易形成付费价值。
价格、延迟和调用限制仍是关键信息缺口
**截至 11 月 19 日公开报道所披露的信息,SeedRealtime 1.0 的核心商业参数仍不完整。**外部开发者在评估是否迁移现有方案时,不能只看演示效果,还需要知道连续视频输入究竟按时长、Token、音视频用量还是会话并发计费。
| 开发者关心的项目 | 当前公开信息状态 | |---|---| | API 服务状态 | 已于 2026 年 11 月 19 日全量上线 | | 官方模型名称 | SeedRealtime 1.0 | | 定价方式与单价 | 参考报道未披露 | | 精确端到端延迟 | 参考报道未披露毫秒数据 | | 上下文或单次会话时长 | 参考报道未披露 | | 音频采样率与视频帧率限制 | 参考报道未披露 | | 并发额度与速率限制 | 参考报道未披露 | | 数据留存和企业合规选项 | 参考报道未披露 | | 官方公开模型权重 | 未公布,属于闭源服务 |
**连续多模态推理的成本通常显著高于纯文本或短语音请求。**摄像头即使不以原始帧率上传,也会持续产生视觉信息;音频则要求稳定的低延迟传输。模型还必须在用户没有提问时持续感知环境,这意味着“没有输出”并不等于“没有推理成本”。
网络条件同样会影响实际体验。视频上行抖动、移动网络切换、蓝牙耳机延迟和回声消除都可能破坏端到端模型的节奏判断。云端模型本身只解决了认知层问题,实时通信链路、设备采集与前端交互仍然需要开发者投入工程资源。
**主动交互还带来了比普通聊天更敏感的隐私边界。**一个持续观察摄像头和麦克风的模型,可能接触到旁人面孔、家庭环境、屏幕信息和无意说出的内容。开发者需要明确展示采集状态,提供一键暂停、敏感区域遮挡和会话删除能力,不能因为模型“需要持续感知”就默认获得无限制环境权限。
这次上线的意义:实时 AI 开始从功能变成平台
**SeedRealtime 1.0 API 的价值不在于证明 AI 可以视频通话,而在于把连续多模态交互变成了开发者能够直接采用的平台能力。**过去,能做出实时音视频演示不难,难的是把它放进多人、噪声、弱网和长会话环境中稳定运行;豆包 App 三个多月的规模化使用,为 API 商业化提供了一层产品验证。
这套模型目前最明显的优势,是原生联合处理音频、视频与时间关系,并把“是否应该开口”纳入模型决策。它最明显的短板,则是外部可核验指标不足:没有公开精确时延、定价、并发能力和系统化基准,开发者暂时无法判断它相较自建级联系统究竟能节省多少成本。
**对开发者而言,现阶段最合理的策略不是立刻替换全部语音链路,而是先选择一个需要持续视觉上下文的窄场景进行验证。**如果业务只是电话客服、语音转写或固定知识问答,成熟的级联系统可能仍然更便宜、更可控;如果业务要求模型观察操作过程、识别目标出现并主动介入,SeedRealtime 1.0 才真正体现出架构优势。
从“用户问一句,AI 答一句”,到“AI 一直看着现场,在恰当的时候协助”,中间隔着的不只是一个视频输入接口,而是一整套对时间、对象和交流节奏的理解。SeedRealtime 1.0 API 全量上线,意味着字节已经把这套能力从消费端产品推向开发者市场;它能否成为实时 AI 的基础设施,下一步要看价格、稳定性以及真实业务留存,而不是演示视频有多流畅。
参考来源
- IT之家:豆包实时音视频通话模型 1.0 API 全量上线——报道火山引擎于 2026 年 11 月 19 日上线 SeedRealtime 1.0 API,并介绍音视频联合理解、主动表达及典型应用场景。
- 凤凰网相关报道的 IT之家首发信息索引——用于交叉核对模型名称、端到端架构及“边看、边听、边说”等官方披露内容。



