扩散模型为什么会赢下推理：破除内存墙与并行生成范式

核心内容

Stefano Ermon 讨论扩散模型在 AI 推理中的前景，关注其与既有生成方式的比较。标题的胜出判断不作为本站验证结论。

介绍依据 · 发布标题 · 完整内容待核读

编辑导览，依据原始来源 ↗，整理于 2026-10-06。介绍只说明标题中的讨论议题，不据此判断讲者结论。

当前大语言模型主流的自回归从左至右逐 Token 生成在推理阶段本质上是强内存带宽受限的，无法充分利用 GPU 强大的并行算力；扩散模型在推理阶段将去噪计算转化为类似训练时的大规模多 Token 并行负载，能够在通用 GPU 上以算法和软件层面的创新实现匹敌专用硬件的极低延迟与吞吐翻倍，终将在实时推理领域赢下自回归模型。

原话

2逐字核对过；核对了说话人和位置

自回归模型在推理端本质上依然是完全串行的：计算只能从左至右逐个 Token 推进；在生成前 9 个词之前，你绝不可能提前生成第 10 个词。这种工作负载与 GPU 的并行硬件架构极其不匹配，受到极其严重的内存带宽限制。

auto reggressive models are still sequential uh the computation is one left to right one token at a time. You cannot generate the 10th token until you've generated everything that comes before it. That kind of workload is um does not map well to GPUs. that kind of workload is extremely memory bound.

自动字幕 · 已核对Stefano Ermon▶ 00:08:43 #学习范式与路线 #算力与芯片

语境：Stefano Ermon 指出自回归 Transformer 在推理时代的核心死穴：串行生成导致大量时间浪费在内存层级搬运权重上，算力利用率低下。

支持 → all-in-satya-nadella-20260915

你把绝大部分时间都浪费在了在内存层级结构中搬运模型权重上，实际执行的算术运算少之又少，这是自回归模型的根本痼疾。正如当年 Transformer 在训练端用并行计算取代了 RNN 一样，在推理端取代自回归串行架构的终极形态正是基于扩散的生成模型。

spending most of your time moving around weights across the memory hierarchy and you're doing very little arithmetic and that's a fundamental problem of auto reggressive models. And so what's the equivalent if you think RNN's transformers auto reggressive models the equivalent at inference time is a diffusion based is a diffusion model

自动字幕 · 已核对Stefano Ermon▶ 00:09:16 #学习范式与路线 #算力与芯片

语境：Stefano Ermon 梳理生成架构历史演进：类比 2017 年 Transformer 并行化训练淘汰 RNN，推理端必须走向多 Token 协同去噪的扩散范式以解锁单位算力智力上限。

支持 → no-priors-stefano-ermon-20260918