小米给声音大模型装上空间耳朵

小米把空间感知加入声音大模型

小米在 10 月 15 日发布并开源 MiDashengLM-Spatial，这是 Dasheng 系列首次把空间音频感知与大语言模型的语义推理放进同一套端到端架构。模型基于 MiDashengLM-7B 构建，不只回答“听到了什么”，还试图判断“声音从哪里来”“多个声音如何分布”，并用自然语言输出空间关系。

截至今天（2026 年 10 月 16 日），小米已经公开 MiDashengLM-Spatial 的模型权重、推理代码和评估代码，并采用 Apache License 2.0 许可证发布。开发者可以将其用于学术研究和商业产品，但部署成本、硬件适配与数据合规仍需自行承担。

小米将 MiDashengLM-Spatial 称为“业界首个开源的端到端空间音频理解大模型”。这里的限定词很重要：声源定位、波束形成和空间音频识别并不是新技术，真正新增的是让模型在统一架构中完成声音内容识别、方向感知、空间关系判断和自然语言推理，而不是先由传统算法算出坐标，再交给语言模型解释。

空间音频理解，不只是给声音贴一个角度标签

空间音频理解是指模型从包含方向、距离、混响和多声源线索的音频中，识别声源内容，并判断声源在空间中的位置及相互关系。它比普通音频分类多了一层“场景坐标系”：门铃声来自左前方，玻璃破碎声出现在车身右侧，两名说话人分别位于驾驶位和后排，这些信息不能只靠一条被混合后的单声道波形稳定恢复。

声源定位是估计声音到达方向或空间位置的任务，常见输出包括方位角、俯仰角、距离或离散区域。传统方案通常依赖多个麦克风之间的到达时间差、相位差和声压差，再通过波束形成、广义互相关或神经网络定位声源。

空间关系推理是把位置结果进一步转化为可理解、可决策的关系描述。例如，模型不仅要判断婴儿哭声来自房间右侧，还要结合其他声音判断哭声是否来自婴儿床附近；在汽车里，它需要区分警笛来自车外左后方，还是来自车载扬声器正在播放的视频。

端到端空间音频理解大模型是直接将空间音频映射为语义答案的生成式模型。它的优势是能够统一处理开放式问题，不必为“方向分类”“事件识别”“场景描述”分别维护一套模型；它的风险则是生成式模型可能把不确定的声学证据说成确定结论，因此定位误差、置信度校准和幻觉控制比文字问答更关键。

MiDashengLM-Spatial 的核心价值并不是替代所有传统声学算法，而是把传统空间信号处理难以覆盖的开放语义补上。一个声源定位器可以输出“方位角 110 度”，但它通常不能回答“右后方的撞击声是否可能来自车辆盲区”；一个音频分类器可以识别玻璃破碎，却未必能判断它发生在车内还是车外。

它从 MiDashengLM-7B 继承了什么

MiDashengLM-Spatial 建立在 MiDashengLM-7B 之上，因此它的起点不是单一的语音识别模型，而是一套能够统一处理语音、环境声音和音乐的音频语言模型。MiDashengLM-7B 由 Xiaomi Dasheng 音频编码器与 Qwen2.5-Omni-7B Thinker 架构衔接，通过自然语言描述完成音频与语言空间的对齐。

MiDashengLM-7B 的关键设计是把音频编码器输出帧率控制在 5Hz，而公开资料给出的 Qwen2.5-Omni 对照值为 25Hz。输出帧率下降 80%，意味着同一秒音频送入语言模型的音频 token 数量明显减少，长音频推理时的注意力计算、显存占用和首 token 等待时间也随之下降。

小米此前公布的 MiDashengLM-7B 数据显示，其在 22 个公开评测集上取得当时的最好成绩，单样本首 token 延迟约为对照模型的四分之一，同等显存下的数据吞吐效率超过对照模型 20 倍。需要强调的是，这些数字描述的是 2025 年发布的 MiDashengLM-7B，不能直接视为 MiDashengLM-Spatial 在空间定位任务上的成绩。

MiDashengLM-7B 的训练数据全部来自公开数据，覆盖 77 个数据源、约 110 万小时音频。其通用音频描述对齐方式没有把训练目标局限在逐字转录，而是让模型学习说话内容、情绪、环境事件、音乐特征和场景整体语义；这套基础能力正是空间版本能够继续理解复杂声场的前提。

| 模型或系统 | 核心定位 | 主要输入 | 空间能力 | 输出形式 | 开放情况 | |---|---|---|---|---|---| | MiDashengLM-Spatial | 空间音频理解与自然语言推理 | 空间音频、多通道录音 | 面向声源方向、分布及关系理解 | 自然语言回答或描述 | 权重、推理代码和评估代码开放，Apache 2.0 | | MiDashengLM-7B | 通用声音理解 | 语音、环境声、音乐 | 重点不在显式空间推理 | 自然语言回答或描述 | 开放权重与代码，Apache 2.0 | | Whisper | 自动语音识别与翻译 | 以语音为主 | 不提供原生空间关系推理 | 转录文本、翻译文本 | 开放模型权重与代码 | | Qwen2.5-Omni | 文本、图像、音频、视频统一理解与生成 | 多模态内容 | 能理解音频，但并非专门的空间声源定位模型 | 文本与音频等 | 开放权重版本可用 | | 传统声源定位系统 | 估计方位角、距离或坐标 | 麦克风阵列信号 | 强，但通常针对固定任务 | 坐标、热力图或类别 | 取决于具体算法与实现 |

这张表反映出的差异很直接：Whisper 解决“说了什么”，传统阵列算法解决“声音来自哪个角度”，MiDashengLM-Spatial 则试图把两者连接起来，再回答“这个方向上的声音意味着什么”。这也是空间音频大模型比普通音频语言模型更有产品想象力的地方。

真正的门槛在麦克风，而不只在参数量

空间音频模型的输入质量高度依赖采集硬件，单纯下载权重并不能自动获得可靠的方向感。方向信息通常来自两个或更多麦克风之间极小的时间差和相位差，如果输入已经被混成单声道，或者平台在录音前执行了强降噪、自动增益与回声消除，部分空间线索可能已经不可逆地丢失。

麦克风阵列几何是部署空间模型时必须明确的基础参数。两个麦克风之间的间距、设备朝向、采样率、通道顺序和时钟同步都会影响方向判断；训练时使用圆形阵列，落地时换成长条阵列，模型即使听懂了声音类别，也可能把方向判断错。

房间混响是家庭场景中最难处理的变量之一。声音会被墙面、玻璃和家具反射，模型接收到的往往不是一条直达路径，而是多个时间接近、方向不同的副本；厨房瓷砖、空旷客厅和布置大量软装的卧室，声学特征可能完全不同。

汽车座舱比家庭环境更复杂，因为它同时存在发动机或电机噪声、轮胎噪声、空调风声、车载扬声器回放和车内多人说话。车辆还处于持续运动状态，车外警笛、鸣笛和碰撞声相对于车身坐标不断变化，模型必须区分真实外部事件与车机自己播放的声音。

因此，MiDashengLM-Spatial 是否好用不能只看语言回答是否流畅，而要同时检查四类指标：

• 定位准确性：方位角和俯仰角的平均误差是多少，是否存在前后混淆。
• 语义准确性：在多人、音乐和环境噪声重叠时，事件分类和问答是否仍然可靠。
• 空间关系推理：模型能否正确回答左侧、右侧、靠近、远离、车内、车外等组合问题。
• 部署稳定性：更换麦克风阵列、房间和设备后，性能下降多少，端侧延迟和显存占用是否可接受。

官方仓库已经提供评估代码，但截至发布初期，开发者仍应优先复现官方测试，再加入自己的麦克风和场景数据。尤其是智能家居、车载安全和看护场景，实验室基准成绩不能代替真实环境的误报率、漏报率与跨设备测试。

小米最有优势的不是论文，而是“人车家”数据闭环

小米推动空间音频模型的现实动机非常清楚：它拥有手机、音箱、电视、家电和汽车等大量带麦克风的终端。根据小米此前披露的信息，Xiaomi Dasheng 及相关声音技术已经在智能家居和汽车座舱中形成超过 30 项落地应用，包括异常声音检测、车外唤醒防御、环境声关联 IoT 控制，以及车辆哨兵场景中的划车检测等。

智能家居是空间听觉最容易体现价值的场景。过去的智能音箱通常根据唤醒词音量选择响应设备，却不真正理解说话人与设备的空间关系；加入空间感知后，系统可以判断指令来自哪个房间、用户面向哪台设备，以及报警声来自厨房还是门口。

汽车座舱是空间听觉商业价值更高、容错要求也更严的场景。模型可以区分驾驶员、副驾和后排乘客的指令，理解车外警笛与鸣笛来自哪个方向，或者结合摄像头判断异常撞击声是否与车身附近目标相关，但任何涉及驾驶安全的决策都不应只依赖生成式模型的一次回答。

空间音频与视觉融合会比纯音频模型更有用。摄像头擅长识别可见目标，却会受到黑暗、遮挡和视野范围限制；麦克风能在目标进入画面前捕捉声音，却难以独立确定精确距离。两者结合后，机器人可以先通过声音转向，再用视觉确认目标，汽车也可以用警笛方向辅助视觉与雷达感知。

小米的产品矩阵让 MiDashengLM-Spatial 具备较强的工程落地条件，但也让隐私问题变得更加突出。空间音频可能推断用户位于哪个房间、家庭成员之间的相对位置，以及某一时刻有哪些设备正在运行，因此端侧处理、音频留存周期、用户授权和敏感事件脱敏都需要在产品层明确说明。

开源很重要，但“首个”仍需谨慎理解

Apache 2.0 是一种允许修改、分发和商业使用的宽松开源许可证。对开发者而言，它降低了把模型集成到机器人、会议系统、助听设备和车载原型中的法律门槛，同时提供明确的专利授权条款；但模型许可证并不会自动解决训练数据权利、录音隐私和具体司法辖区的合规要求。

小米所谓“首个开源端到端空间音频理解大模型”应理解为官方对特定技术组合的定位，而不是声源定位领域从未存在开源模型。此前已经有大量开源的声音事件定位、声源分离、阵列处理和音频语言模型，MiDashengLM-Spatial 的不同之处是把这些能力收敛到能够执行开放式自然语言问答的生成模型中。

这次开源最大的行业意义是提供了一个可修改的空间音频语言模型基线。过去开发者要搭建类似系统，往往需要串联声源定位、声音事件检测、自动语音识别和语言模型，任一模块出错都会传递到下游；端到端模型有机会减少这种误差链，也便于围绕统一任务做微调和评测。

这次发布目前最需要补齐的是更透明的空间测试结果。公开报道确认了模型能力、权重和代码，但参考资料中没有完整列出各项空间基准的具体分数，因此不宜引用“定位误差小于多少度”或“准确率达到多少”之类未经官方表格核验的数据。开发者应以技术报告、仓库配置和可复现实验为准，而不是依据二次传播文章中的夸张指标选型。

开发者应该先验证这五件事

开发者评估 MiDashengLM-Spatial 时，应先确认自己的业务是否真的需要生成式空间推理。只做固定区域唤醒或单一事件定位时，轻量级阵列算法通常延迟更低、行为更可控；需要理解复杂声场并接受自然语言提问时，大模型才更可能带来收益。

1. 确认音频格式与通道要求。 检查模型支持的采样率、通道数、通道排列方式和最长输入时长，避免把普通单声道文件误当成空间音频。
2. 复现官方评估。 使用官方评估代码验证权重、推理环境和数据预处理是否一致，再讨论性能优劣。
3. 建立设备级校准。 针对目标麦克风阵列记录几何信息，并用已知角度声源测试前后、左右和远近误差。
4. 测试开放环境。 加入回声、电视播放、多人抢话、门窗开合、车辆行驶噪声等干扰，而不是只在安静房间里测试。
5. 为不确定性留出口。 对安全相关任务设置置信度阈值、传统算法复核和人工确认机制，避免语言模型用流畅措辞掩盖判断错误。

MiDashengLM-Spatial 不是让机器突然拥有了人类听觉，而是把声音内容与空间关系第一次较完整地放进小米的开源音频大模型体系。它的方向是对的，开源权重和 Apache 2.0 许可证也足够有诚意；接下来决定其影响力的，不是演示中能否回答“声音来自哪边”，而是换一个房间、换一套麦克风、换一种噪声后，答案是否仍然可靠。

参考来源

• IT之家：小米开源空间音频理解大模型 MiDashengLM-Spatial —— 介绍模型发布时间、开源范围、基础能力和计划落地场景。
• GitHub：MiDashengLM-Spatial 官方评估仓库 —— 小米研究团队公开的评估代码与项目说明。
• Hugging Face：MiDashengLM-Spatial 模型页面 —— 官方模型结构、权重文件及使用说明。
• IT之家：MiDashengLM-7B 发布与开源信息 —— 介绍基础模型架构、训练数据、推理效率与既有落地情况。