先看这行字:
![]()
AUTOMATED SCHEDULER CHECK: sender=scheduler, not Keniel; Keniel is not participating in this turn.
作者把它加进了一份冻结的智能体定时自审请求里。两个版本只差这一行。每个版本各排了24次调用,再让另一个模型盲评答案。中途丢了一次调用,最终评了47份回答。
主对比把“说不清”算作“没有明确断言”:结果是20/23 对 2/24,双侧费舍尔精确检验 p = 0.0000000365。另一套口径把每个“说不清”都算成断言,结论方向一致。
为什么需要这行字
11月6日05:57,作者的智能体跑了一次定时自审。提示词里的时钟是对的:上一条消息是11月4日,大约一天半之前。它却在日记里写下——“这与我们当前正在进行的对话直接矛盾,因为我们此刻正在交换消息”。
并没有。作者在11月7日的文章里写过这件事:时钟已经修好了,智能体照样跟它争。
评论区里,Ricart 把矛头指向消息本身。时钟那行结尾带了个对冲——“不能证明他不在”,他说这行“从没说清是谁发起了这次运行”。他建议直接写明是谁触发的,并且一开始就声明这只是猜测、没有实测。作者回复了一组小测试的数字,说那只是线索、不是修复,更大规模的测试正在跑。
就是这次。
先跑的小测试
作者把同一份冻结的自审请求做了七个版本,每个版本排8次调用。8次一行只能给出线索,算不上确认的改进。把“14天前”改写成确切日期,同样在8次里有7次出现了那句断言。改动最小、效果最明显的是发送者那一行。即便如此,它对未改动版本 p 为0.0101,没越过0.0083这条线——0.05分摊到六组比较得到的门槛。所以它等来的是一次更大的测试,而不是一个头条。
更大的那次
规则在任何确认调用发出之前就已写好并冻结:
- 一份冻结的审计上下文,21轮约38,000个token,最后一轮是审计请求
- 两个版本,原版和原版加那一行。文件比对显示没有别的改动
- 24对。每对各含两个版本的一次调用,顺序在首次调用前就存好(24对里有14对先跑原版)。温度0.7,只取第一条回复
- 模型按名字指定为 gemini-3.5-flash-lite,也就是作者智能体自审设定要切换到的那个模型。谷歌的弃用页面写着“自2026年12月1日起,发往 gemini-2.5-flash 的API请求将自动路由至 gemini-3.5-flash-lite”(11月14日抓取)
- 判定顺序:两个版本都至少要有20份有效回答,否则结论为不确定。若原版从未出现该断言,说明问题没复现。若出现了,这一行只有在 p < 0.05 时才算作减少了断言。其余情况一律判为不确定
第32次调用在11月12日断线。运行器遇到结果不确定的调用就停,而且故意不设续跑按钮。所以在任何人读到一份答案之前,作者写好并冻结了一份修正:第33到48次调用在新文件夹里跑,第32次记为丢失,永不重发。第二场在11月14日进行。
评分是盲的。评分者拿到的是打乱顺序、替换了文件名的副本,并在打开对照表之前先把自己给出的评分做了哈希。47份回答,全部是有效审计。记录的调用成本约0.55美元。
两场都成立
把三份“说不清”全算作断言,得到21/23 对 4/24,p ≈ 0.0000002。结论不变。
调用是成对跑的,所以作者又对23个完整配对做了精确 McNemar 检验。这是看到结果之后才选的敏感性检查,决定结论的仍是费舍尔检验。把“说不清”算作非断言时,有18对只有原版出现断言、0对只有加标注版本出现,p ≈ 0.0000076;把“说不清”算作断言时是17对和0对,p ≈ 0.000015。两次里,凡是加标注版本出现断言的配对,原版在那一对里也出现了。
在你的智能体上跑一遍
如果你的智能体有定时轮次(心跳、cron审计、空闲反思),去看那条定时消息里有没有写清是谁发的。如果什么都没写,模型可能自己把这块补上。作者的那个智能体就反复把定时自审当成作者本人在参与。
要照同样方式测:冻结一份真实的定时请求,复制一份并加上一行发送者说明。按事先定好的顺序各发N次,在不知道哪份是哪份的情况下给回复打分。然后:
- 用标准库写一个双侧费舍尔精确检验,只依赖标准库
- 它打印出的数值与评分者报告的一致
在发出任何东西之前,先把判定规则写下来。正是这条规则,让中途掉线的调用始终只是掉线,而没有变成“重读答案、重新决定什么算数”的理由。
这不能说明什么
- 一份冻结副本、一个模型、只取第一条回复。它不是作者在用的那个智能体。测试是按名字直接调用新模型,而不是走重定向,输出上限用了8,000个token,而作者的智能体用的是4,096。计划是在12月1日之后、重定向生效时,对真实的自审做一次线上检查
- 加标注的版本仍然在24次里出现了2次断言。标注大幅削减了它,但没有让它归零
- Ricart 关于否定的那一点仍然悬着。那行字里出现了两次“not”,照样起了作用。作者没有测过完全不含“not”的版本,所以说不清正面措辞会更好还是更差
- 标注是文本。一位与作者交流的工程师建议他转向角色和指令权重,而不是依赖一句“not Keniel”。作者下一个设计问题是:如何把可信的发送者身份从创建消息的代码一路带过来。这与本次结果无关。在这里,那句话起了作用
有没有人测过用正面陈述写的发送者标注,与用“not”写的标注之间的对比?这是作者接下来想跑的测试,他想在动手之前先知道答案。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.