图片来源与许可 · 参考图使用许可未确认
AI 辅助插画 · 参考照片：本人、机构或原活动页面发布；摄影者未注明 · 参考图使用许可未确认 · 依据已核对姓名的来源页面图像，由 AI 绘制 B 细线彩铅头像；调整背景与肩部构图。展示图缩放至最长边 640 像素并转为 WebP。 · 参考图：Stefano Ermon | King Center on Global Development — Stefano Ermon
公开发言
3原话逐字核对过；转述不加引号自回归模型在推理端本质上依然是完全串行的：计算只能从左至右逐个 Token 推进；在生成前 9 个词之前，你绝不可能提前生成第 10 个词。这种工作负载与 GPU 的并行硬件架构极其不匹配，受到极其严重的内存带宽限制。
auto reggressive models are still sequential uh the computation is one left to right one token at a time. You cannot generate the 10th token until you've generated everything that comes before it. That kind of workload is um does not map well to GPUs. that kind of workload is extremely memory bound.
语境：Stefano Ermon 指出自回归 Transformer 在推理时代的核心死穴：串行生成导致大量时间浪费在内存层级搬运权重上，算力利用率低下。
你把绝大部分时间都浪费在了在内存层级结构中搬运模型权重上，实际执行的算术运算少之又少，这是自回归模型的根本痼疾。正如当年 Transformer 在训练端用并行计算取代了 RNN 一样，在推理端取代自回归串行架构的终极形态正是基于扩散的生成模型。
spending most of your time moving around weights across the memory hierarchy and you're doing very little arithmetic and that's a fundamental problem of auto reggressive models. And so what's the equivalent if you think RNN's transformers auto reggressive models the equivalent at inference time is a diffusion based is a diffusion model
语境：Stefano Ermon 梳理生成架构历史演进：类比 2017 年 Transformer 并行化训练淘汰 RNN，推理端必须走向多 Token 协同去噪的扩散范式以解锁单位算力智力上限。
原生并行的扩散大模型能够直接在软件算法层消除内存墙，在标准英伟达通用 GPU 集群上跑出媲美晶圆级专用芯片的实时交互超低延迟，从而以远低于定制硬件的成本打破语音和实时 Agent 部署瓶颈。
语境：Stefano Ermon 展示 Inception 研发成果：基于扩散的 Mercury 模型在通用硬件上直接实现了等效于 Cerebras 专用算力芯片的极速生成，极具产业普及优势。