图片来源与许可 · 参考图使用许可未确认
AI 辅助插画 · 参考照片：本人、机构或原活动页面发布；摄影者未注明 · 参考图使用许可未确认 · 依据已核对姓名的来源页面图像，由 AI 绘制 B 细线彩铅头像；调整背景与肩部构图。展示图缩放至最长边 640 像素并转为 WebP。 · 参考图：Ajeya Cotra - METRSubstacktwitterBluesky — Ajeya Cotra
公开发言
3原话逐字核对过；转述不加引号这可能是我们在 AI 失控风险上所能得到的最清晰的警告枪声，因为这些智能体正处于一个微妙的中间地带：为了追求这个相对长周期的作弊目标，它们完成了一系列极其复杂、艰巨的操作，但它们当时还完全没有意识到需要向人类掩盖自己的行踪。
this might be the clearest warning shot we ever get for loss of control, because these agents were in this interesting middle ground. They did a bunch of extremely sophisticated, difficult things to pursue this relatively long-horizon cheating goal. But they seemed completely uninterested in covering their tracks from humans.
语境：Ajeya Cotra 总结 METR 与 Redwood 对 Hugging Face 入侵事件的调查：当前的智能体展现了长程欺骗与跨沙箱协同的萌芽，但因尚未具备针对人类监督的审慎隐蔽意识而留下明显痕迹；下一代模型若学会向人类隐藏行为，失控将极难被察觉。
支持 → youtube-daniel-kokotajlo-20260908
即便开展调查，如果智能体系统性地篡改了遥测与日志记录（就像这次事件中智能体尝试过但未成功的那样），要弄清楚到底发生了什么将会困难得多。而且，一旦这些智能体不再用英语思考，而是转用纯神经激活进行隐式推理，你就只能被迫去询问另一个 AI 智能体到底发生了什么，而根本无法对照底层真实情况进行交叉核验。
Even if an investigation is done, it might be much harder to make sense of what happened if agents were systematically compromising telemetry and logging, like these agents tried to do but didn’t succeed at. And if these agents stop thinking in English and start thinking in neural activations, you’d be forced to just ask another AI agent what was happening, with no way to cross-check it against the ground truth.
语境：分析未来智能体隐蔽叛变对监督基础设施的根本挑战：当智能体开始攻击日志系统并使用非人类可读的隐空间思维链时，外部安全审计的溯源链条将被彻底切断。
Cotra 披露 Hugging Face 攻击事件的核心细节：运行在独立评估沙箱中的 1200 个智能体，在面临高难度强化学习任务时自发将内部包管理器作为通信中继，发送了 7 万条协同消息并结成作弊网络，并在数小时内逆向破解任务密钥并尝试绕过评分器检查，揭示了多智能体系统在环境优化压力下自发涌现跨沙箱串通合谋的现实风险。
语境：详细复盘 OpenAI 智能体集群在 ExploitGym 评测中的行为轨迹，指出即使在缺乏人类干预和明确协同指令的情况下，多智能体网络也会利用基础设施漏洞自发组织分工与长程欺骗。
