话语场
Alex Zhang · AI 辅助插画

MIT · 博士生

Alex Zhang

访谈出场 1 场 · 原话 2 条

图片来源与许可 · 参考图使用许可未确认

AI 辅助插画 · 参考照片:用户提供的节目图片;原图创作者未注明 · 参考图使用许可未确认 · 依据用户提供的人物参考图,使用 AI 绘制 B 细线彩铅头像;保留短发、面部特征、笑容与深蓝衣领,移除显示器、桌面、手部、标题文字等,改为米白纸底。非原始照片,使用许可未确认。展示图缩放至最长边 640 像素并转为 WebP。 · 参考图:Recursive Language Models — Alex Zhang, MIT PhD(用户提供参考图)

图片声明与更换、撤下联系

公开发言

3原话逐字核对过;转述不加引号
递归语言模型

我们所认为的语言模型——也就是我们向其发起查询的那个东西——未来很可能实际上是一个蜂群、一个脚手架,或者某种扩展性极佳的奇特外周框架设计,只不过用户根本感知不到底层细节。

what we think of as a language model like the thing that we query might actually be like a swarm or like a scaffold or like some weird harness design that scales very well, but the user just doesn't see it.

语境:Alex Zhang 预判大模型形态演变:单一 Transformer 前向传播终将被底层多智能体递归与抽象脚手架取代,对外则维持统一的模型接口封装。

支持 → latent-space-thariq-shihipar-20260929

支持 → the-every-sam-altman-20260930

递归语言模型

我这篇博文想要表达的核心是:我们应当重新思考外周框架(Harness)的角色,因为框架实际上能极大地提升模型的泛化能力以及有效利用的数据量。而且这种特性绝不仅限于递归语言模型。

what I'm trying to get at with this whole blog post is just that like we should rethink what the role of the harness is because harnesses can actually greatly increase the generalization capability of your model and the amount of data that it's given. And this is not exclusive to RLMs.

语境:反思社区对通用框架的轻视:优秀的外周脚手架引入强归纳偏置,能用小规模环境数据实现向更长、更难任务的递归归纳泛化。

质疑 → sequoia-sutton-20260818

递归语言模型

当前多智能体蜂群与自主探索机制存在极其严重的算力空转浪费:绝大部分蜂群分枝所探索的路径完全无效,实质上只是在大规模消耗 Token 算力,缺乏有效的剪枝与紧凑化设计。

语境:Alex Zhang 比较紧凑化压缩与递归调用的能效比:盲目堆叠蜂群智能体大多沦为算力损耗,唯有具备严格归纳偏置与验证器的架构才能实现真正高效的递归扩展。

支持 → dwarkesh-podcast-ajeya-cotra-20260901

支持 → latent-space-thariq-shihipar-20260929

出场

1