网易首页 > 网易号 > 正文 申请入驻

AI改代码你敢放手吗?三道护栏让自愈Agent只改该改的

0
分享至

让AI自动修改测试代码,听起来很美好,但如果没有刹车机制,这辆车迟早要撞墙。Playwright自愈测试Agent的实践者最近分享了一套方案:与其赌AI每次都能改对,不如用三道硬性护栏,把它的权限锁死在"只换定位器"这个范围内。

这个思路的起点很直接——自愈的本质是"让AI改你的代码",而AI改代码这件事,没有刹车的自愈就是灾难。恶意代码执行、误改业务断言、带崩其他用例,这些风险不是假设,而是真实会发生的场景。作者给出的解法不是祈祷AI更聪明,而是从工程层面把风险路径一条条堵死。


第一道护栏:用AST白名单替代永远堵不完的黑名单

传统思路是维护一个危险代码黑名单,但AI生成代码的方式决定了黑名单永远追不上它的花样。作者改用Python的ast模块,把代码解析成语法树,然后只允许特定的语法节点和名称通过。白名单是反过来的思路:不在名单里的语法节点,一律拒绝。这样从语法层面就拦截了不安全代码,而不是事后去识别它。

这套机制的关键在于"默认拒绝"——AI生成的代码必须逐项匹配白名单里的节点类型,任何不在名单里的结构直接打回。相比黑名单的被动防御,白名单把安全边界画在了最前面。

第二道护栏:改动范围校验,只换定位器不碰业务逻辑

AI最容易犯的错不是改错,而是改太多。作者通过对比改动前后的文件,强制要求改动行必须符合定位器特征,同时明确排除assert、def、import这类业务逻辑关键词。行数不变、改动次数受限,这些约束叠加在一起,确保AI只能在"换定位器"这个动作上做文章,碰不到用例结构和业务断言。

这道护栏的本质是给AI画了一个极小的操作窗口。它不需要理解整个测试用例的业务含义,只需要在指定范围内完成替换动作。范围越小,出错的可能性就越低。

第三道护栏:沙箱验证、回归测试与自动回滚闭环

新定位器通过沙箱验证只是第一步,还得跑关联用例做回归测试。如果回归失败,系统通过git自动回滚到改动前的状态;如果改动过多,则转入人工审核流程。"验证→回归→回滚"这条闭环,就是"自愈"和"瞎改"的分界线。

这套闭环把AI的每一次改动都置于可撤销的保障之下。即使AI真的改出了问题,系统也能在几秒内恢复到安全状态,不会让坏代码留在测试套件里持续造成影响。

踩过的三个坑:护栏本身也需要调试

作者在编写护栏的过程中也踩了三个实际坑点。这些坑主要集中在白名单覆盖不全、范围校验误伤正常改动、以及回滚逻辑在特定场景下失效等问题上。这些细节提醒我们,护栏不是写一次就完事的,它需要在实际使用中不断调整和补全。

这套方案的价值在于,它把"AI改代码"这件事从"信任问题"变成了"工程问题"。不需要AI变得绝对可靠,只需要在它出错时,系统能及时发现并恢复。对于正在尝试让AI参与测试维护的团队来说,这三道护栏提供了一个可落地的参考框架。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
年薪300万!33岁前国足队长:我当年加盟广州恒大 就是因为钱多

年薪300万!33岁前国足队长:我当年加盟广州恒大 就是因为钱多

念洲
2026-09-02 09:55:08
悲催!寒窗二十载,上岗仅4天:她的人生,定格在吉隆口岸国门,网友:一辈子都在学习考试,只尝到4天的甜

悲催!寒窗二十载,上岗仅4天:她的人生,定格在吉隆口岸国门,网友:一辈子都在学习考试,只尝到4天的甜

火山詩话
2026-09-02 15:52:13
聚力科创深耕全链 光明乳业稳健笃行高质量发展之路

聚力科创深耕全链 光明乳业稳健笃行高质量发展之路

智谷趋势
2026-09-01 10:45:43
上合峰会期间中方领导人与伊朗总统曾短暂交谈?外交部回应

上合峰会期间中方领导人与伊朗总统曾短暂交谈?外交部回应

澎湃新闻
2026-09-02 15:38:26
核战争打不得,这一点芬兰总统提不提醒都得注意

核战争打不得,这一点芬兰总统提不提醒都得注意

新民周刊
2026-09-02 09:11:51
尼泊尔官员放狠话:中美印三国应对我们进行赔偿!

尼泊尔官员放狠话:中美印三国应对我们进行赔偿!

52赫兹实验室
2026-09-02 15:29:41
被刺死在时代广场的32岁女高管:下班途中遭遇随机袭击,刚结束产假复工,4天前还晒了全家福

被刺死在时代广场的32岁女高管:下班途中遭遇随机袭击,刚结束产假复工,4天前还晒了全家福

澎湃新闻
2026-09-02 18:02:08
乌方称俄罗斯上空非常危险,中方如何应对航班飞行风险?外交部回应

乌方称俄罗斯上空非常危险,中方如何应对航班飞行风险?外交部回应

澎湃新闻
2026-09-02 15:48:26
泰国真是太损了!美军五千官兵在航母上憋了200多天,终于要上岸休整了,结果泰国抢先动手连夜清查,几十名涉非法色情行业的人员被带走

泰国真是太损了!美军五千官兵在航母上憋了200多天,终于要上岸休整了,结果泰国抢先动手连夜清查,几十名涉非法色情行业的人员被带走

扶苏聊历史
2026-09-02 15:26:46
加拿大神秘“漂浮小岛” 突然出现,后又从卫星图像中消失,再次发现已漂到约30公里外的岸边;官方警告:如果真的找到它,千万不要上去

加拿大神秘“漂浮小岛” 突然出现,后又从卫星图像中消失,再次发现已漂到约30公里外的岸边;官方警告:如果真的找到它,千万不要上去

扬子晚报
2026-09-02 14:57:08
揪心!西藏吉隆口岸被抹平,已发现:失联人员被深埋在巨石淤泥下

揪心!西藏吉隆口岸被抹平,已发现:失联人员被深埋在巨石淤泥下

胡侃社会百态
2026-09-02 12:56:20
G20公报流产怪中国,贝森特数出"19比1",但全世界的眼睛不瞎

G20公报流产怪中国,贝森特数出"19比1",但全世界的眼睛不瞎

闻识
2026-09-02 12:38:12
一而再再而三,皇马必须给我们一个交代!

一而再再而三,皇马必须给我们一个交代!

火锅局
2026-09-02 15:26:22
景甜事件炸裂后续!孙宇晨2019年聊天曝光,代孕搞"三权分立"防女方架空,原来是早有预谋?

景甜事件炸裂后续!孙宇晨2019年聊天曝光,代孕搞"三权分立"防女方架空,原来是早有预谋?

可达鸭面面观
2026-09-02 18:32:18
海上漂了272天的美国水兵登陆了:“林肯”号停靠泰国5天,芭堤雅“整肃”中期待

海上漂了272天的美国水兵登陆了:“林肯”号停靠泰国5天,芭堤雅“整肃”中期待

红星新闻
2026-09-02 16:34:22
账面328亿美元!孙宇晨公开资产估值表引热议,网友:大部分其实都不能变现

账面328亿美元!孙宇晨公开资产估值表引热议,网友:大部分其实都不能变现

火山詩话
2026-09-02 17:12:20
陷入“批量解约应届生”风波,星宇股份董事长周晓萍回应

陷入“批量解约应届生”风波,星宇股份董事长周晓萍回应

南方都市报
2026-09-02 13:44:15
孔绍逊履新代省长!多个省级政府领导班子有调整

孔绍逊履新代省长!多个省级政府领导班子有调整

上观新闻
2026-09-02 13:22:40
6年还76万,本金只还17万!苏州一断供者哭诉:房子没了,首付93万没了,还倒欠银行98万

6年还76万,本金只还17万!苏州一断供者哭诉:房子没了,首付93万没了,还倒欠银行98万

火山詩话
2026-09-01 18:58:37
孙艺珍玄彬一家度假被偶遇,她这裤子真是瞎穿,难怪孔孝真说她土

孙艺珍玄彬一家度假被偶遇,她这裤子真是瞎穿,难怪孔孝真说她土

八怪娱
2026-09-02 16:04:34
2026-09-02 19:28:49
字节漫游指南
字节漫游指南
有态度网友ytd
194文章数 111关注度
往期回顾 全部

科技要闻

凌晨最强模型上新,Claude Fable 5.1发布

头条要闻

海上漂了272天的美国水兵登陆芭堤雅:不得参与性交易

头条要闻

海上漂了272天的美国水兵登陆芭堤雅:不得参与性交易

体育要闻

一次有奖问答,让他成为欧冠主帅

娱乐要闻

香港武打影星陈观泰离世,终年80岁

财经要闻

北京首钢园数采中心停运,“百万小时”产能目标的账还算得过来吗?

汽车要闻

10万级的满配B级车 试驾2027款比亚迪海豹06

态度原创

家居
健康
房产
艺术
教育

家居要闻

2026建博会(广州) 公装联探展交流活动

越吃越爆痘?医生讲清7大真相

房产要闻

新四代住宅 新样板间开放丨以艺术之名 赴一场迭代之约

艺术要闻

273米,10亿!深圳最多“外号”的摩天楼,正式运营!

教育要闻

学额上限增至50% 香港高校非本地生申请量普遍上升

无障碍浏览 进入关怀版