AI 快讯微软用USB4拼出桌面AI集群
行业快讯

微软用USB4拼出桌面AI集群

2026-11-20T10:08:46.622Z
微软用USB4拼出桌面AI集群

微软推出USB4 RDMA开发者预览,让多台Windows 11电脑共享内存与GPU算力,三台迷你电脑已能运行2350亿参数Qwen3模型。

微软把多台Windows 11电脑连成了一台“大电脑”

微软正在把普通PC上的USB4接口,变成一条为分布式AI推理准备的低延迟互连通道。

11月19日,微软发布RDMA over USB4开发者预览方案:两台或更多符合要求的Windows 11电脑通过USB4线缆直接连接后,可以拆分并共同运行同一个AI模型,叠加各台设备的统一内存容量、内存带宽和GPU算力,不需要额外购买专用RDMA网卡,也不需要配置数据中心交换机。该功能将在Windows Insider实验通道的未来版本中开放,目前相关NetworkDirect组件与基于llama.cpp的测试代码已经公开。(techcommunity.microsoft.com)

**RDMA over USB4是微软在Windows 11中实现的一种跨电脑直接内存访问机制。**它允许一台电脑直接读写另一台电脑预先授权的内存区域,绕过传统网络协议栈中的多次数据复制、操作系统调度和CPU处理,从而降低通信延迟与CPU占用。

这项技术最直接的价值,不是让三台电脑分别处理三个请求,而是让三台电脑共同装下一个原本任何单机都装不下的模型。

三台Windows 11迷你电脑通过USB4线缆组成全互连本地AI推理集群的示意图

2350亿参数模型,三台迷你电脑就能跑

微软展示的AMD测试平台由三台迷你电脑组成,每台搭载AMD Ryzen AI Max+ 395处理器、Radeon 8060S集成显卡和128GB统一内存,三台设备合计拥有384GB内存。

三台电脑通过40Gbps USB4组成全互连网络,运行4位量化的Qwen3-235B-A22B模型。微软实验室测得的解码速度约为18.5 tokens/s;AMD在自己的测试环境中测得21.98 tokens/s,提示词处理速度达到117.98 tokens/s。测试上下文长度为1600 tokens,生成长度为2048 tokens。(techcommunity.microsoft.com)

**Qwen3-235B-A22B是一个总参数量约2350亿、每次推理激活约220亿参数的混合专家模型。**MoE架构意味着模型不需要在生成每个token时计算全部2350亿参数,但完整权重仍然需要被加载到内存中,因此单机内存容量依旧是本地部署的主要门槛。

Q4_K_M量化后的Qwen3-235B-A22B通常需要超过100GB内存,再加上KV Cache、运行时缓存和图形内存预留,一台64GB或96GB电脑很难稳定运行。128GB统一内存设备理论上可以勉强容纳部分版本,但长上下文、并行请求和系统内存占用都会迅速挤压空间。

三台128GB设备的意义因此不只是“跑得更快”,而是把可用内存上限从单机128GB扩展到了接近384GB,让更高精度的权重、更长上下文和更大的模型成为可能。

英特尔提供的测试结果则更强调速度。四台各配备64GB内存的Core Ultra Series 3电脑,通过Thunderbolt 4兼容的USB4链路组成集群,运行GPT-OSS-120B时,在约1000 tokens上下文下达到54.2 tokens/s。

| 测试平台 | 模型 | 设备数量 | 单机内存 | 总内存 | 上下文 | 首token时间 | 解码速度 | | --- | --- | ---: | ---: | ---: | ---: | ---: | ---: | | AMD Ryzen AI Max+ 395 | Qwen3-235B-A22B Q4_K_M | 3台 | 128GB | 384GB | 1600 | 未公布 | 18.5至21.98 tokens/s | | Intel Core Ultra Series 3 | GPT-OSS-120B | 3台 | 64GB | 192GB | 1K | 1.1秒 | 49.4 tokens/s | | Intel Core Ultra Series 3 | GPT-OSS-120B | 4台 | 64GB | 256GB | 1K | 1.2秒 | 54.2 tokens/s | | Intel Core Ultra Series 3 | GPT-OSS-120B | 3台 | 64GB | 192GB | 2K | 2.9秒 | 49.4 tokens/s | | Intel Core Ultra Series 3 | GPT-OSS-120B | 4台 | 64GB | 256GB | 2K | 3.2秒 | 51.7 tokens/s |

第四台电脑带来的速度提升并不线性。在1K上下文下,设备数量从三台增加到四台,解码速度从49.4 tokens/s提升至54.2 tokens/s,增幅约9.7%;首token时间反而从1.1秒增加至1.2秒。

这个结果揭示了多机推理的基本规律:增加设备可以扩充内存和计算资源,但也会增加同步、数据交换和任务调度成本。USB4 RDMA首先解决的是“模型能不能装下”,其次才是“能不能随机器数量线性加速”。

真正重要的是28至50微秒延迟

USB4 RDMA的关键指标不是40Gbps,而是小数据包往返延迟降低到了28至50微秒。

微软的测试显示,在同一条USB4链路上,RDMA的小消息往返延迟只有传统以太网UDP方式的约四分之一,相当于降低约75%。40Gbps与80Gbps USB4链路的小消息延迟处于相近水平,而80Gbps链路可以提供两倍的理论带宽,更适合长上下文提示词等数据传输量较大的场景。(techcommunity.microsoft.com)

**张量并行是一种把同一层神经网络计算拆分到多块计算设备上的并行方法。**模型生成每个token时,各节点往往需要多次交换中间张量;如果一次跨机通信需要几百微秒甚至几毫秒,GPU就会频繁停下来等待其他节点,最终出现“显卡很多,速度却上不去”的情况。

传统家庭网络即使升级到10GbE,也不一定适合细粒度张量并行。带宽决定一次能搬多少数据,延迟决定每次通信要等多久;大模型逐token解码包含大量尺寸不大但频率很高的同步操作,因此低延迟往往比峰值带宽更重要。

微软的做法相当于绕过Windows常规网络栈,直接利用USB4主机路由器的DMA Ring搬运数据。应用仍然通过Windows已有的NetworkDirect接口访问RDMA,不必针对USB4重新设计一套通信API。对推理框架来说,它看到的是一条标准RDMA路径,而不是一根消费级USB-C线缆。

这种兼容设计比跑分本身更重要。只要llama.cpp之外的推理框架接入NetworkDirect,USB4 RDMA就有机会成为Windows本地AI集群的一层通用基础设施,而不只是微软演示环境里的专用功能。

它与NVIDIA PAIR不是同一条路线

微软USB4 RDMA与NVIDIA PAIR看起来都在“连接多台电脑”,但两者解决的是完全不同的问题。

**NVIDIA PAIR是一个把多台本地电脑组织成推理节点池的请求路由器。**PAIR会根据节点是否拥有目标模型、推理引擎是否运行以及当前负载,把每个独立请求分配给其中一台电脑,但不会合并显存,也不会把同一个模型拆到多台机器上。(github.com)

微软USB4 RDMA则运行在更底层。它允许同一个模型跨设备分片,使多台电脑的内存和GPU共同服务于同一个推理请求。

| 方案 | 核心定位 | 单个模型跨机分片 | 合并可用内存 | 主要连接方式 | 更适合的场景 | | --- | --- | --- | --- | --- | --- | | 微软USB4 RDMA | 分布式模型计算与内存互连 | 支持 | 支持逻辑叠加 | USB4直接连接 | 单机装不下的大模型 | | NVIDIA PAIR | 多节点请求路由 | 不支持 | 不支持 | 局域网 | 多用户、多智能体并发请求 | | exo | 消费设备分布式推理框架 | 支持 | 支持模型分片 | 局域网、Thunderbolt等 | 混合设备实验和家庭集群 | | 普通Ollama多实例 | 各机器独立运行模型 | 不支持 | 不支持 | 局域网 | 简单负载分摊 |

PAIR像餐厅的领位员:一个新请求到来后,它选择一位空闲厨师完成整道菜。微软USB4 RDMA更像让几位厨师共同完成同一道复杂菜品,每个人只处理其中一部分,因此他们之间必须高频、低延迟地交换半成品。

两种技术并非互斥。未来一个本地AI系统完全可以在底层用USB4 RDMA把三台电脑组合成一个大型推理节点,再由PAIR在多个大型节点之间调度独立请求。前者扩大单个节点能运行的模型上限,后者提高整个集群的并发利用率。

现在还远没有到“插线即用”

USB4 RDMA目前仍然是面向开发者的实验性预览,不适合直接部署在主力工作电脑上。

微软要求所有节点安装相同的Windows Insider实验版本、预览驱动和NetworkDirect Provider,并手动启用测试签名。测试签名模式需要在固件中关闭Secure Boot,这会降低系统的安全基线;微软也明确建议使用专门的测试设备,而不是日常办公电脑。(techcommunity.microsoft.com)

连接拓扑同样是现实限制。微软要求节点之间采用全互连直连,不建议使用菊花链,因为中间节点转发会明显降低性能。

全互连意味着每台电脑都必须直接连接其余所有电脑:N台电脑需要N×(N-1)/2根线,每台电脑需要N-1个可用USB4接口。三台电脑需要3根线和每台2个接口;四台电脑需要6根线和每台3个接口;五台电脑则需要10根线和每台4个接口。

这会迅速碰到迷你电脑和笔记本的接口数量上限。微软目前测试的AMD集群最多为三台,英特尔集群最多为四台,很大程度上就是因为消费级设备很少配备三个以上可用于主机互连的高速USB4接口。

当前传输层也没有自动重试机制。一旦NetworkDirect连接中断,应用需要自己重新建立连接;防火墙配置、静态IPv4地址、独立子网、内存缓冲区对齐和推理框架构建,仍然需要开发者手动处理。

换句话说,这不是把两台笔记本用Type-C线连起来,Windows就自动多出一倍内存。它更接近一个利用消费级接口搭建的小型HPC实验环境,只是硬件采购门槛比传统InfiniBand或专用RDMA以太网低得多。

微软想卖的不是线,而是Windows本地AI平台

USB4 RDMA真正服务的是微软2026年持续强化的“混合智能”战略。

微软希望Windows根据任务成本、隐私要求、响应速度和硬件能力,在本地模型与云端模型之间动态选择。本地推理可以减少按token计算的云端成本,也能让企业数据、代码仓库和个人文件留在设备内部;云端模型则继续处理能力要求更高或本地硬件无法承担的任务。

单台AI PC的局限一直很明确。64GB统一内存足以运行不少30B至70B量化模型,却很难容纳120B、235B级模型以及长上下文缓存;128GB设备已经进入高端工作站价位,但仍会受到单机内存容量和带宽限制。

USB4 RDMA给出的答案不是制造一台拥有512GB统一内存的昂贵电脑,而是允许用户按需求增加节点。开发者可以先买一台128GB迷你电脑,模型规模增长后再增加第二台或第三台,形成类似存储扩容的“搭积木”路径。

这种路线对AMD Ryzen AI Max一类大容量统一内存平台尤其有利。相比传统独立显卡,统一内存设备可以把大部分系统内存分配给GPU使用,单机容量更大;相比服务器GPU,它们的采购成本、体积、噪声和功耗又更接近桌面电脑。

但微软暂时没有证明这种方案在经济性上一定优于一台高端工作站。三台128GB迷你电脑的总成本、待机功耗、线缆复杂度和维护成本都不低,18.5至21.98 tokens/s也只是“可交互”,并非数据中心级吞吐。

这套方案当前最有吸引力的用户,是已经拥有多台高内存AI PC的开发团队、需要处理敏感数据的研究机构,以及希望测试超大开源模型但不愿部署服务器网络的实验室。对普通个人用户而言,一台大内存设备运行更小、更高效的模型,仍然是简单且划算的选择。

Windows正在补上消费级分布式AI的底层缺口

微软这次发布最值得关注的地方,是它把数据中心才常见的RDMA能力下放到了Windows 11和USB4。

过去,消费级多机推理主要依赖社区框架自行处理TCP通信、模型分片和设备发现。框架既要负责模型计算,也要对抗操作系统网络栈带来的延迟,最终性能和稳定性高度依赖具体硬件与网络环境。

微软现在把高速传输能力放进Windows USB4驱动与NetworkDirect体系,相当于为上层框架提供了一条统一的低延迟路径。如果后续Windows ML、llama.cpp以及更多推理引擎正式接入,开发者就不需要为每一种AMD、Intel或NVIDIA设备重新实现跨机通信。

短期来看,USB4 RDMA仍然是一项设置复杂、拓扑受限的开发者实验。长期来看,它可能让“买第二台电脑扩充AI内存”变成真实可用的产品逻辑,而不再只是开源社区里的极客项目。

微软没有把USB4变成魔法,也没有消除分布式推理的同步成本。但它确实把组建本地大模型集群的硬件门槛,从专业网卡和交换机降低到几台Windows 11电脑与几根USB4线缆。

如果未来正式版能够恢复Secure Boot、简化网络配置、支持交换式或更灵活的拓扑,并由主流推理框架原生接入,那么Windows PC可能会获得一个苹果生态目前并不具备的差异化能力:单台机器不够用时,不必整机淘汰,而是再接入一台。

参考来源

相关推荐

查看全部