话语场
Thariq Shihipar · AI 辅助插画

Anthropic

Thariq Shihipar

访谈出场 1 场 · 原话 2 条

图片来源与许可 · 参考图使用许可未确认

AI 辅助插画 · 参考照片:本人、机构或原活动页面发布;摄影者未注明 · 参考图使用许可未确认 · 依据已核对姓名的来源页面图像,由 AI 绘制 B 细线彩铅头像;调整背景与肩部构图。展示图缩放至最长边 640 像素并转为 WebP。 · 参考图:Thariq Shihipar: Bio, Work & Ideas | AI Engineer — Thariq Shihipar

图片声明与更换、撤下联系

公开发言

3原话逐字核对过;转述不加引号
Claude Code 的未来:Mods、可变软件与多人智能体

在推理阶段,我们运行着所谓的探针(我们在相关论文中称之为宪法分类器),这些探针直接监测输入和输出的激活状态……即模型在隐空间中真正思考的内容。我们借此判断模型是否在尝试黑客攻击等违规操作。如果只看输入或表面输出,你是根本无法发现这一点的,你必须深入监测模型的内部激活。

in inference time we have what we call probes […] and these probes look at the input and output activations basically […] what the model is thinking about […] and so we try and figure out like okay is the model for example like trying to hack something […] you would not get this if you just looked at the input you have to look at the internal activations

语境:Anthropic 工程师 Thariq Shihipar 揭秘 Claude Code 与前沿模型运行时的安全防御机制:仅靠表面文本过滤无法拦截智能体越狱或侧面作弊,必须在推理阶段通过隐空间机制可解释性探针(probes)实时监控神经激活向量。

回应 → dwarkesh-podcast-ajeya-cotra-20260901

承接 → cbs-news-dario-amodei-20260913

Claude Code 的未来:Mods、可变软件与多人智能体

随着模型越来越强大,它们完成基础任务的底线能力大幅提高。因此我认为从极限来看,CLAUDE.md 这类规则文件最终会消亡……最棘手的是规则会随模型版本而变,如果你在上下文中塞满针对历史失败案例的长篇累赘日志,往往反而会过度束缚 Claude 的泛化推理。

as the models get better and better, the floor of how they accomplish the simpler task is better. And so I do think in the limit cloud.mmd goes away. […] The really tough thing is that this changes per model […] And if you keep this context with this running log of a bunch of different failure modes, they will probably overconstrain Claude

语境:反思开发者维护海量提示词规则的常见误区:随着模型基座智能的跃升,手工堆砌的静态负面规则(如 CLAUDE.md)不仅存在严重跨版本兼容问题,还会造成过度约束,降低模型的自由推理表现。

支持 → sequoia-sutton-20260818

支持 → the-every-sam-altman-20260930

Claude Code 的未来:Mods、可变软件与多人智能体

Shihipar 总结智能体脚手架(Harness Engineering)演进中的‘杠铃效应’:系统提示词在被大幅精简(删去繁复少样本示例与手写规则),而底层支撑框架反而在安全沙箱、MCP 外部数据连接、权限控制与运行时审计探针上变得极其厚重;复杂编码任务依赖平台级全功能托管脚手架,而垂直特定任务则可交由模型直接一次性自生成简易脚手架。

语境:剖析 Claude Code 从早期 Agent SDK 演进为企业级托管框架的架构心得,指出脚手架工程的核心正在从‘如何用 prompt 诱导模型’全面转向‘如何用沙箱和协议管住模型’。

支持 → the-every-sam-altman-20260930

支持 → sources-satya-nadella-20260925

出场

1