能力与路线 · Interpretability & measurement
理解与测量
模型内部在发生什么，能力和不确定性怎么测
访谈 5 场 · 文献 0 篇 · 访谈话语 1 条 · 已核读摘录 0 条
这个话题下的话语
1原话逐字核对过；转述不加引号在推理阶段，我们运行着所谓的探针（我们在相关论文中称之为宪法分类器），这些探针直接监测输入和输出的激活状态……即模型在隐空间中真正思考的内容。我们借此判断模型是否在尝试黑客攻击等违规操作。如果只看输入或表面输出，你是根本无法发现这一点的，你必须深入监测模型的内部激活。
in inference time we have what we call probes […] and these probes look at the input and output activations basically […] what the model is thinking about […] and so we try and figure out like okay is the model for example like trying to hack something […] you would not get this if you just looked at the input you have to look at the internal activations
语境：Anthropic 工程师 Thariq Shihipar 揭秘 Claude Code 与前沿模型运行时的安全防御机制：仅靠表面文本过滤无法拦截智能体越狱或侧面作弊，必须在推理阶段通过隐空间机制可解释性探针（probes）实时监控神经激活向量。
