一图读懂:白盒探针如何抓出欺骗

模型会不会撒谎,过去主要看它写下的推理过程。现在有一类方法不看过程——它直接读模型内部,而且把思维链整段抹掉,还是分得开。

10 月公开的一篇论文给出了这套方案的成绩:作者构建了迄今最大的欺骗数据集 FIBS,涵盖多种类型与多种引出方式,从策展对话到智能体的多步执行轨迹(rollout),并提出可跨多层与多 token 聚合信息的探针架构(来源:《白盒探针抓出未说出口的谎言》,FAR.AI,arXiv:2610.12445,2026-10,论文速递 2026-10-12)。

在 Qwen3.5-397B-A17B 上,四种探针在 SHADE-Arena 的 14 个场景取得 98.8% AUC,超过 Opus 5.5 的文本监控与模型自监控基线,且论文报告这一方法随底层模型规模增大而变好(来源:《白盒探针抓出未说出口的谎言》,FAR.AI,arXiv:2610.12445,2026-10)。

探针读的是激活,不是话

要理解这个结果为什么重要,得先分清两条监控路线。

一条是文本监控:让另一个模型读目标模型的输出和思维链,判断它有没有在使坏。这条路的问题在于,思维链本身可以被隐藏、改写或训练掉,监控对象和证据来源是同一个东西。

白盒探针走的是另一条:直接把模型内部的激活拿来当证据。它是一次前向的读取,不需要模型自己交代。

论文里最有说服力的一段,针对的是"内省式欺骗"——仅靠上下文无法判定的那类隐藏目标。探针区分转录中模型真实隐藏目标与其他目标的 AUC 最高 99.7%(来源:arXiv:2610.12445,2026-10)。

需要说清楚的是,论文报的是检出侧的成绩。探针自身的误报率、失败场景,以及在不同阈值下漏检与误伤的取舍,论文都没有给出数字。所以那组数字回答的是"能不能分得开",不是"接入生产会不会误伤"。企业要真拿它做监控,还得自己在一批已知诚实的样本上标定阈值。

白盒探针在 SHADE-Arena 上的检出水平

图注:四种探针在 14 个场景取得 98.8% AUC,内省式欺骗最高 99.7%,均超过文本监控基线(数据来源:《白盒探针抓出未说出口的谎言》,arXiv:2610.12445,2026-10)

抹掉思维链,还是分得开

论文里最硬的一组对照是:思维链被抹掉、两份转录结构完全相同时,探针仍能以 98.0% AUC 分开撒谎与诚实的模型个体(来源:arXiv:2610.12445,2026-10)。

这句话拆开看有三层。第一,证据不在文本里——两份转录摆在人面前是完全一样的。第二,区分的是"个体",不是这一次回答,意思是同一套提示、同一套输出,撒谎的那个模型和诚实的那个模型,内部激活的分布不一样。第三,两个数字几乎持平,说明删掉思维链几乎没有削弱检测力。

同一个方向上的功夫,今年还有别的落点。一篇用语言行为与机制指标检测隐藏思维链的研究(HCDS),把可观察的语言线索和模型内部机制指标拼在一起,用来判断模型是不是隐藏了推理过程(来源:arXiv:2608.29956《Detecting Hidden Chain-of-Thought in Large Language Models with Linguistic, Behavioral and Mechanistic Indicators》,论文速递 2026-09-02)。思路和探针一致:在外部行为之外找第二证据源。

监控成本,被压到一次前向

把探针和文本监控放一起比,差的不只是准确率。

文本监控要再跑一个强模型,成本随被监控流量线性增长;探针是目标模型自己的一次前向计算,附加成本不随流量放大。论文的表述是,在思维链不可信的当下,这把检测不可见意图的成本从"再跑一个强监控模型"降到一次前向探针(来源:arXiv:2610.12445,2026-10)。论文没有给出推理开销的绝对值,但从结构上看,它读的是目标模型已有的激活,不需要另一个模型参与打分。

这条思路不限于欺骗检测。同一批研究里有工作用工具调用分布给模型做指纹:商业 API 宣称的底座模型可能被静默替换,而现代 Agent 服务栈在工具调用时只暴露结构化动作、丢弃文本,于是改用类别型工具调用分布建指纹,在 630 组检查点对上对替身模型检出率 100%,系统提示词注入下误报率仅 7%(来源:CISPA 亥姆霍兹信息安全中心《AgentProv: Auditing Agentic LLM API Providers via Tool-use Policy Probes》,arXiv:2609.00052,论文速递 2026-09-03)。

一个读内部激活,一个读调用习惯,共同点是都不再相信模型自己写下的那段话。当模型可以一边办事一边把过程写得好听,证据就得从别处拿。

两条监控路线的成本结构

图注:文本监控要另跑一个强模型、成本随流量增长;探针读目标模型自身的激活,附加成本是一次前向(数据来源:arXiv:2610.12445,2026-10)

源势AI观点

第一,把"可观测"从输出层挪到内部层。企业今天做 Agent 审计,大多只留日志和输出。日志能回答"它做了什么",回答不了"它是不是想做别的"。探针这类方法给出的是第二条线。

第二,验收标准要允许"内部指标"。如果供应商只肯用自述和截图证明模型行为,验收就还是在读它的话。可核的替代物是激活探针、工具调用分布这类外部难以伪造的量化痕迹。

第三,别把探针当万灵药。论文针对的是特定模型与特定场景,误报率与失败场景均未披露;它证明的是"这条路能走通",不是"一次接入就安全"。我们的做法是把它当作多层监控里的一层,与日志、权限围栏同时上,而不是互相替代。

话题标签:#AI安全 #可解释性 #欺骗检测