AI 快讯阿里清华出手:扩散模型推理只要几步,ICML杰出论文实至名归
开发心得

阿里清华出手:扩散模型推理只要几步,ICML杰出论文实至名归

2026-07-06T14:13:52.045Z

阿里巴巴与清华联合提出的极简扩散推理方案 ICML 2026 拿下杰出论文奖,将扩散模型的采样步数压到个位数,同时几乎不掉画质。这套方法的价值在于——它把扩散模型部署门槛狠狠往下拽了一截。

刚刚落幕的 ICML 2026 公布杰出论文名单,阿里巴巴和清华朱军团队合作的那篇扩散推理加速工作赫然在列。这不是一篇追求 SOTA 数字堆砌的论文,反倒像一记回马枪——用最朴素的思路,把扩散模型推理速度纪录又往前推了一大截。

对做过图像/视频生成部署的工程师来说,这个消息值得停下来看两眼。扩散模型跑得慢,是一个老问题,但也是一个越来越致命的问题。当 Sora 类视频模型、Flux 一代代 T2I 模型不断把参数量往上顶,推理成本已经成了商业化最难啃的骨头。

扩散模型的“慢”,到底慢在哪

先把背景补齐。一个标准的扩散模型,从纯高斯噪声出发,一步步“去噪”出清晰图像,通常要走 50 到 100 步。相比 GAN、VAE 这类一次前向就出结果的生成模型,扩散模型天然就贵 50 到 100 倍。

过去几年学术圈围绕“怎么把步数打下来”做了大量工作,路线大致三条:

  • ODE/SDE 求解器优化:朱军团队自己的 DPM-Solver 就是代表,把 ODE 结构信息榨干,10-15 步内出高质量图
  • 蒸馏路线:Consistency Model、Progressive Distillation,把多步教师蒸成少步学生,甚至一步生成
  • 训练时改造:Rectified Flow 直接改训练目标,让轨迹变直,采样时步数自然可以少

每条路线都有代价。求解器优化的天花板在数学结构本身,压到 10 步以下画质会明显崩;蒸馏的问题是要额外训练,且学生模型对提示词的响应能力经常打折;Rectified Flow 得从头改训练,历史模型盘活不了。

这次“极简方案”做对了什么

阿里 + 清华这篇工作的取巧之处,在于它把复杂度往下砍,而不是往上加。论文没有引入新的网络分支、没有堆叠额外的对齐 loss、也不需要在多阶段蒸馏之间跳来跳去。核心思路可以粗暴地概括成一句话:重新审视扩散采样过程中的冗余,把该合并的合并、该跳过的跳过,用最小的数学改动换最大的加速比

从量子位披露的信息看,这套方案的关键特点有几个:

  1. 免训练或极低成本微调:可以直接插在已有的预训练模型上,不需要重训基座。这一点对工业界特别友好——你手里那个花了几百万训出来的 SD/Flux/DiT 模型,不用推倒重来
  2. 对采样步数的极致压缩:在保持 FID 等指标基本无损的前提下,把有效步数压到了此前方法难以触及的区间
  3. 架构不敏感:U-Net 系、DiT 系都能用

说实话,看到“极简”两个字我本来是持怀疑态度的。扩散模型这几年被各路人马卷了一遍又一遍,能剩下的低垂果实理应不多。但这篇工作能拿 ICML 杰出论文,评委的判断标准通常就一条:方法要够干净、够本质、够可复现。近两年 ICML 的杰出论文越来越倾向奖励“把复杂问题讲简单”的工作,这次也不例外。

跟 DPM-Solver、一致性模型比,优势在哪

横向对比一下更直观。

| 方案 | 是否需训练 | 典型步数 | 通用性 | |------|-----------|---------|--------| | DDIM | 否 | 50 | 高 | | DPM-Solver++ | 否 | 10-20 | 高 | | Consistency Model | 需蒸馏 | 1-4 | 中 | | LCM/LCM-LoRA | 需蒸馏 | 4-8 | 中 | | Rectified Flow | 需重训 | 1-4 | 低 | | 本文方案 | 否/轻量 | 个位数 | 高 |

注意最后一行的组合——免训练 + 个位数步数 + 通用性高,这个位置此前基本是空的。一致性模型能做到少步,但代价是蒸馏;DPM-Solver 免训练,但压到个位数就开始掉画质。这次的工作相当于把两个曲线的甜蜜点捏到一起了。

对做推理服务的团队来说,这意味着什么?意味着不用维护一堆 LoRA 或蒸馏权重,也不用担心用户切换不同基座时加速方案失效。一份采样器代码,走天下

从工程角度,能带来什么

把学术指标换算成工程收益,大致是这么一笔账:

  • 单张 T2I 出图:50 步降到 5 步左右,A100 上从 2-3 秒压到 300-500ms 量级,交互体感质变
  • 视频生成:视频模型的采样步数瓶颈更痛,如果同样的加速比能迁移过去,Sora 类模型的商业化门槛会显著下降
  • 端侧部署:步数压缩直接减少了显存-算子的往返次数,对移动端/边缘设备友好
  • 成本:以 API 计价的服务商,推理成本几乎可以直接除以 10

有意思的是,朱军团队一直在扩散模型效率这条线上耕耘。从 Analytic-DPM 到 DPM-Solver 再到 U-ViT,几乎每一步都精准踩在行业需求爆发的前夜。这次和阿里的合作,某种意义上是学术洞察与工程规模的一次咬合——阿里有大量真实的推理负载数据,能反向指导算法在哪个步数区间下功夫最划算。

不同采样方法生成效果对比

落地节奏与生态影响

从过往经验看,这类方法开源之后,社区吸收速度会非常快。DPM-Solver 当年从论文到进 diffusers 库、再到被 Stable Diffusion WebUI 集成,前后不到三个月。这次的方案如果保持类似的开源节奏,预计年内就会看到它出现在主流推理框架的采样器列表里。

对开发者来说,几个可以提前思考的点:

  • 现有 Pipeline 迁移成本:如果方案确实是 sampler 层面的替换,那 diffusers 用户改一行 scheduler 就能吃到红利
  • 和 TensorRT / ONNX 编译优化的叠加:算法层的步数压缩和编译层的算子融合是正交的,两者叠加大概能拿到 20-30 倍的端到端加速
  • 对上层产品的影响:AI 绘画类产品的“实时预览”会变得真正实时,而不是现在这种半吊子的渐进式刷新

值得多说一句的是模型分发格局。加速方案越通用,模型本身的护城河就越薄——如果任何一个开源基座都能被廉价加速到 5 步以内,那么“谁家 API 更快”这件事的技术壁垒会迅速消融,剩下的竞争维度就是模型质量本身、以及聚合调度的效率。

这也是为什么最近一段时间,我们看到越来越多的开发者转向多模型聚合的调用方式。OpenAI Hub 这类平台把 GPT、Claude、Gemini、DeepSeek、Qwen 一堆模型放在同一个 OpenAI 兼容接口后面,一个 Key 打通国内直连,正好卡在这个趋势的节点上——当底层推理越来越快、越来越便宜,选型的自由度反而成了更稀缺的东西。

一点判断

扩散模型的“慢”问题,从 2020 年 DDPM 提出至今被反复攻关,每一次“重大突破”后大家都以为快到头了,然后总有新工作再往前推一步。这次的极简方案能拿 ICML 杰出论文,说明评审圈也认可:这不是一次微调式的改进,而是一次范式级的简化

但我不认为这是终点。真正的终点应该是——扩散模型在推理成本上追平甚至反超 GAN、追平自回归模型的单 token 成本。到那时候,视频生成才真正具备普及的物质基础。

从这次的工作往后看半年到一年,值得盯的几个方向:

  • 这套极简思路能不能自然扩展到视频扩散(时间维度上的冗余可能更多)
  • 和 Flow Matching 类新范式的结合
  • 在多模态统一模型(如 Transfusion、Show-o 这类混合架构)里的适配

对于每天都在跟推理成本较劲的团队来说,这篇论文值得完整读一遍。有时候,让代码库变短几行,比让 GPU 数量加一倍更让人开心。

参考来源

相关推荐

查看全部

联系我们

我们通常在工作时间快速响应

扫码添加微信

专属客服:Hub 助手

微信号: