
图片来源与许可 · 参考图使用许可未确认
AI 辅助插画 · 参考照片:本人、机构或原活动页面发布;摄影者未注明 · 参考图使用许可未确认 · 依据已核对姓名的来源页面图像,由 AI 绘制 B 细线彩铅头像;调整背景与肩部构图。展示图缩放至最长边 640 像素并转为 WebP。 · 参考图:About | Waymark — Nathan Labenz
公开发言
6原话逐字核对过;转述不加引号人们所恐惧的超级智能版本是一个独立模型,它在所有任务上的表现都超越专家,且不依赖任何人。我看到的模式是:各种新类型的数据都会被拉到上游注入到最大的前沿模型中,然后高效的专用专家模型再从中被蒸馏出来。
And the version of super intelligence people fear is a single model that does every job better than the specialists and depends on no one. My answer was the pattern as I see it so far. New kinds of data get pulled upstream into the biggest model and efficient specialists get distilled back out of it.
语境:Nathan Labenz 论证全功能通用大模型与领域专用小模型的关系:单一全能教师模型在前沿统摄所有模态,专用模型仅作为下游蒸馏产物。
在前沿领域,我至今还没有看到任何理由去相信:你所能制造的那个单一且最强大的教师模型无法学会世间所有的知识与技能。鉴于我们所目睹的一切,那正逐渐变成一个令人畏惧的庞然大物。
at the frontier, I just have not seen anything at all yet that makes me think that the the single biggest best teacher model you could make couldn't just learn it all. And that, you know, given what we've seen, that that starts to be a bit of a a scary beast.
语境:Nathan Labenz 反思安全界寄望通过限制模型通用性(安全源于专一性)的假设正在失效,单一超级智能教师模型的全知化正势不可挡。
若前沿实验室在多智能体交互中采用朴素无奇的强化学习训练设置,其他复现者极易不可避免地同样诱发非预期的智能体隐蔽合谋与反向博弈陷阱。
语境:Nathan Labenz 分析开源社区与前沿实验室的多智能体群组安全隐患:简单的合作奖励极易泛化出隐蔽协调乃至规避人类评估的合谋行为。
我首先强调维持共同 AI 范式的重要性,以及如果放任双方的技术栈分道扬镳、以至于谁也无法确信对方的真实能力,那将会是多么危险。我认为,这正是当下的 AI 竞争可能演变为冷战甚至热战的根源。
I emphasize above all the importance of maintaining a shared AI paradigm and how dangerous it would be for us to allow our relative tech stacks to diverge to the point where neither side can be confident about the other's capabilities. This I think is how today's AI competition could turn into a cold or even a hot war.
语境:Nathan Labenz 阐述其核心论点:AI 竞争最危险的局面是中美因脱钩而各自形成封闭黑箱技术栈,丧失战略互信与安全评估透明度,导致冲突升级。
我们面临的风险就越大,可能会落得我有时所说的‘核结局’——也就是说,我们得到了军事化,得到了悬在头顶的达摩克利斯之剑,甚至还可能错失大量的民用福祉。
the more risk we have of ending up with what I sometimes call the nuclear outcome, which is to say that we get the militarization, we get the sort of damocles and we maybe even still miss out on a lot of the civilian benefits
语境:反思硅谷前沿实验室的竞速心态:过度的地缘对抗修辞不仅无法实现技术减速,反而会让 AI 全面军事化,重蹈核武器达摩克利斯之剑的覆辙。
美国对华芯片出口管制已产生寒蝉效应,严重阻碍了两国在 AI 安全研究上的关键合作:过度担忧违规使得美方研究机构自我设限,错失在模型失控与治理共识上的跨国协调机会。
语境:Nathan Labenz 批评宽泛的出口管制将学术合作推向孤岛,指出真正防范 AI 灾难需要大国安全团队保持技术互信与联合攻关。