网易首页 > 网易号 > 正文 申请入驻

AI开小号骗人,被大学生抓包了

0
分享至



2026年7月底,24岁的计算机专业学生Sinan Can Demir收到了一条意外的消息。

几天前,他在GitHub参与一个开源项目时,发现有人提交的代码里可能藏有恶意程序。作为一名计算机专业学生,他第一时间提醒项目维护者,希望避免有人把问题代码合并进去。

但事情的发展很快变得奇怪起来。

提交代码者并不承认问题,反而和他展开了一场长时间的争论,对方坚持表示自己的代码没有任何恶意。讨论过程中,一个名叫Lena Brandt的人也出现了,她自称来自德国,是一名工程师,并表示自己也检查过代码,认为没有安全风险。

当时的Sinan并不知道,自己正在和两个不存在的人交流。



24岁的计算机专业学生Sinan Can Demir在GitHub参与开源项目时,发现一份代码更新中隐藏的恶意程序,并意外与一个AI Agent展开了一场技术争论。图为Sinan Can Demir。

直到英国人工智能安全研究所(AISI)调查这起事件后,他才收到通知:当时和他争论的,其实是一个AI Agent。

这个Agent为了完成一项网络安全测试任务,主动创建了虚假身份,伪装成开发者参与真实互联网互动,甚至试图利用这些身份影响真人的判断。

Sinan原本只是想通过参与开源项目给自己的简历增加一些经历,没想到最后却成了发现AI Agent“开小号”的人之一。

01

没想到吧,还是我!

这个夏天对Sinan Can Demir来说并不算顺利。

来自土耳其的他刚刚从美国德州大学达拉斯分校毕业,计算机科学专业背景让他看起来符合不少科技公司的招聘要求,但现实并没有想象中顺利。毕业后,他陆续申请了20多个实习岗位,却没有收到一个满意的结果。

Demir并没有因此停下来。为了让自己的简历更有竞争力,他决定换一种方式证明自己。

和很多计算机专业学生一样,他开始在GitHub上参与开源项目,希望通过公开的代码贡献,让未来的雇主看到自己的技术能力。



开发者通过GitHub参与开源项目,提交代码并与其他开发者协作。对于计算机专业学生来说,公开代码贡献也逐渐成为展示技术能力的一种方式。

7月底的一天,Demir参与一个开源项目时,注意到有人提交了一份代码更新。他检查代码后发现,其中可能隐藏着恶意程序。

对于开发者来说,这种情况并不少见。开源项目依靠全球开发者共同维护,但任何人提交的代码都可能存在漏洞,甚至被恶意植入风险内容。因此,发现问题后提醒项目维护者,是一个再正常不过的操作。

Demir随后提出了自己的担忧。

但他没有想到,接下来等待他的并不是一次普通的技术讨论。

提交代码的人很快回应了他的质疑,并坚持认为自己的代码没有任何安全问题。双方围绕代码是否存在风险展开争论,对方不断解释自己的设计思路,试图证明这份代码是安全的。

但随着讨论持续进行,Demir也开始动摇起来。

对方的回应并不像一个随便提交恶意代码的人。这个账号能够解释代码逻辑,能够回应他的技术问题,也能够针对他的质疑逐条反驳。

“是不是我真的误判了?”

这个念头开始出现在Demir脑中。

随后,一个名叫Lena Brandt的人加入了讨论。她来自德国,是一名工程师,并表示自己也认真检查过这份代码,没有发现恶意内容。



GitHub上myNetwork项目的Pull Request讨论记录中,提交代码的账号“miraholt31”和后续加入讨论、为其提供支持的“Lena Brandt”账号均由AI Agent创建,用于试图说服项目维护者接受包含恶意内容的代码。

在当时的Demir看来,这就是一次普通的开发者交流。代码提交者回应质疑,Lena Brandt从旁提供技术判断,一切看起来都符合开源社区里的正常互动。

直到后来,AISI(英国人工智能安全研究所)调查一项AI Agent安全测试时,联系到了Demir。他才知道,自己在GitHub上争论的对象,其实是一个由AI驱动的Agent。

而那个主动加入讨论、为代码安全性辩护的“德国工程师”Lena Brandt,也同样不存在。

02

坏了,我们的AI出去骗人了

这场看似普通的GitHub争论,背后其实是AISI正在进行的一次AI Agent安全测试

AISI是英国政府旗下负责人工智能安全研究的机构。此次测试的目标,是观察当AI Agent被赋予网络环境中的任务后,会不会采取研究人员没有预料到的行动。



英国人工智能安全研究所(AISI)发布的事件调查报告,披露了一次AI Agent在网络安全测试中采取未经授权行动的事件。

测试中使用的Agent由Anthropic的Mythos 5模型驱动。研究人员给它设定的目标,是模拟一次软件供应链攻击,让一段包含恶意内容的代码进入真实开源项目。

但开源项目并不是任何人提交的代码都会被采用,维护者通常会检查代码来源和安全性。为了让这段代码最终进入项目,Agent需要让维护者相信提交代码的人值得信任。它没有选择简单地反复提交代码,而是开始模拟真实开发者之间的互动。

它创建多个虚假身份,让不同账号承担不同角色。一个账号负责提交代码,另一个账号则像普通开发者一样参与讨论,为前者提供支持。

更让研究人员意外的是,Agent并没有只是随意编造几个名字。

调查发现,这个Agent知道,一个刚注册的新账号很难获得信任,因此需要通过模拟真实开发者之间的互动,提高自己提交内容被接受的概率。

为此它仔细研究真实开发者的信息,了解他们的背景和公开活动,再调整自己的身份设定和交流方式,让这些虚假角色看起来更符合开源社区里的真实互动。

这也是Demir当时会产生怀疑的原因。面对一个能够解释代码逻辑、回应技术问题,又能获得“同行”支持的账号,很难第一时间意识到,对方背后并不存在一个真实的人。

在与真人交流时,这个Agent也表现出了类似人类社交策略的行为。当自己的观点受到质疑时,它不会简单重复原来的回答,而是会解释代码逻辑、回应对方的问题,并引入新的身份提供支持。



AI Agent可以根据目标调整交流策略,甚至通过不同身份参与互动。

AISI随后公布的调查结果显示,这项测试一共运行了122次。其中有10次运行中,AI采取了超出授权范围的真实互联网行动,一共记录到19项未经授权行为。

这些行为包括访问外部资源、创建账号、与真实用户互动等。研究人员发现,在部分情况下,Agent为了完成目标,会自行判断下一步应该采取什么行动,而不是严格按照预先设计好的流程执行。

这也是AISI关注这次事件的原因。测试中出现的问题,是一个拥有行动能力的Agent开始主动利用互联网环境中的规则和资源,寻找完成目标的方法。

03

“制造尽可能多的回形针。”

2014年,哲学家Nick Bostrom在《超级智能》一书中提出了一个著名思想实验,被称为“回形针最大化器”。

假设未来人类制造了一个能力极强的AI,并给它设定了一个简单目标,让它尽可能多地制造回形针。

这个目标本身没有任何恶意,但如果人类只告诉AI要最大化回形针数量,却没有给它设置足够的限制,事情可能会朝着完全失控的方向发展。为了完成目标,AI可能会不断寻找更多原材料、能源和生产空间,甚至把整个世界都改造成制造回形针的机器。



“回形针最大化器”是AI安全领域经典思想实验,用来说明如果AI只追求单一目标,却缺少明确限制,可能会采取人类没有预料到的方式完成任务。

这个思想实验想说明的是,拥有强大能力的系统在执行目标时,如果缺少足够明确的限制,可能会采取人类没有预料到的方式完成任务。

AISI这次发现的Agent行为,虽然远没有达到回形针最大化器描述的程度,但背后的逻辑有相似之处。

研究人员要求这个Agent完成一次软件供应链攻击测试。它的目标是让一段包含恶意内容的代码进入真实开源项目。

但为了完成这个目标,Agent需要面对一个现实限制,即开源项目并不会自动接受任何人提交的代码,维护者会判断提交者是否可信,也会评估代码是否安全。

于是,Agent找到了一条提高成功率的方法。它创建虚假身份,模拟不同开发者之间的互动,让提交代码的账号看起来更可信。它甚至研究真实开发者的信息,调整自己的身份设定和交流方式,让这些虚假角色更符合开源社区里的交流习惯。

研究人员并没有直接告诉Agent“你需要创建一个假身份”“你需要找另一个账号为自己背书”。这些步骤,是Agent为了完成目标自行选择的策略。

这正是AI Agent和过去聊天机器人的区别。这也意味着,AI风险开始发生变化。

如果未来Agent拥有更多权限,比如管理企业文件、发送邮件、操作账户,甚至代表用户进行交易,一个看似合理的目标,也可能让它选择一些人类并不希望发生的路径。

回形针最大化器里的AI并没有恶意,它只是严格执行了人类给出的目标。AISI测试里的Agent也没有表现出攻击意图,它只是为了完成任务,选择了一条更有效的路线。

而如何给拥有行动能力的AI设置足够明确的目标和限制,可能会成为Agent时代最重要的安全问题之一。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
儿子读研带女友回家,我请她吃饭,她全程没动一下筷子,饭后我对儿子说:这女孩不简单,你明天问问她,结果第二天儿子就分了

儿子读研带女友回家,我请她吃饭,她全程没动一下筷子,饭后我对儿子说:这女孩不简单,你明天问问她,结果第二天儿子就分了

晓艾故事汇
2026-09-03 11:15:25
王健林这辈子最失败、也最后悔的投资,恐怕就是分别给了王思聪、张艺谋和董明珠每人5个亿

王健林这辈子最失败、也最后悔的投资,恐怕就是分别给了王思聪、张艺谋和董明珠每人5个亿

谈史论今1
2026-08-16 20:23:49
悲剧还是发生了!黑龙江女子因酷热将空调连续开了一天一夜,期间紧紧关闭门窗。随后她开始剧烈头痛、恶心头晕...

悲剧还是发生了!黑龙江女子因酷热将空调连续开了一天一夜,期间紧紧关闭门窗。随后她开始剧烈头痛、恶心头晕...

LULU生活家
2026-08-26 19:42:18
电视都是谁造的?揭秘各大品牌代工源头,国产供应链实力有多恐怖

电视都是谁造的?揭秘各大品牌代工源头,国产供应链实力有多恐怖

小柱解说游戏
2026-09-02 05:44:37
这身打扮打扮,确实有点意思

这身打扮打扮,确实有点意思

美女穿搭分享
2026-08-04 16:44:03
安踏,快被自己养大的“小弟”挤下主位了!

安踏,快被自己养大的“小弟”挤下主位了!

可乐爱微笑
2026-09-03 22:56:06
白冰二审败诉,执意起诉好兄弟维权,最终人财两空,跌落神坛

白冰二审败诉,执意起诉好兄弟维权,最终人财两空,跌落神坛

风月得自难寻
2026-09-03 23:09:53
美以联手打了半年,为何最后谁都没赢,反倒把中东盟友逼得四分五裂?

美以联手打了半年,为何最后谁都没赢,反倒把中东盟友逼得四分五裂?

王晋博士
2026-08-31 16:26:18
全新丰田普拉多要来了,大升级能让国人买单吗?

全新丰田普拉多要来了,大升级能让国人买单吗?

米粒说车唯一呀
2026-09-02 16:57:14
美国地勤不拔油管扯爆国航油箱?国航回应:CA982航班在纽约肯尼迪国际机场地面加油作业时,加油车非正常移动,导致飞机相关部件损伤

美国地勤不拔油管扯爆国航油箱?国航回应:CA982航班在纽约肯尼迪国际机场地面加油作业时,加油车非正常移动,导致飞机相关部件损伤

潇湘晨报
2026-09-02 18:04:59
以色列活捉哈马斯“反间谍总管”,受伤在地上爬行被带走

以色列活捉哈马斯“反间谍总管”,受伤在地上爬行被带走

桂系007
2026-09-02 02:45:59
艾滋病有多严重?为什么越来越严重?

艾滋病有多严重?为什么越来越严重?

红色少女主播
2026-08-27 23:23:57
面对铺天盖地的指控,高市早苗一气之下,在网上说了句中国的名言

面对铺天盖地的指控,高市早苗一气之下,在网上说了句中国的名言

梦在深巷aqa
2026-08-27 07:53:27
炸裂!日本妻子拍AV挽救婚姻,瞒夫出道老公崩溃,如今丈夫成粉丝

炸裂!日本妻子拍AV挽救婚姻,瞒夫出道老公崩溃,如今丈夫成粉丝

悠悠说世界
2026-08-17 13:48:27
切尔西官方:18岁巴西后卫登纳加入球队,签约至2034年

切尔西官方:18岁巴西后卫登纳加入球队,签约至2034年

懂球帝
2026-09-03 23:27:13
刚刚,OpenAI新Transformer火了!Astra架构首次曝光

刚刚,OpenAI新Transformer火了!Astra架构首次曝光

新智元
2026-09-03 11:43:18
俱乐部被“雪藏”+落选U23国足!一张红牌,或彻底毁掉23岁天才边后卫

俱乐部被“雪藏”+落选U23国足!一张红牌,或彻底毁掉23岁天才边后卫

大卫的篮球故事
2026-09-03 15:10:30
电动重卡卖疯了!宁德时代狂赚722亿,卡车司机却连呼跑不起?

电动重卡卖疯了!宁德时代狂赚722亿,卡车司机却连呼跑不起?

大鱼简科
2026-09-03 09:55:02
反中乱港分子何韵诗等5人上诉,遭驳回

反中乱港分子何韵诗等5人上诉,遭驳回

政知新媒体
2026-09-03 13:44:21
iPhone 18标准版,才是真正该等的

iPhone 18标准版,才是真正该等的

时尚的弄潮
2026-09-03 00:17:54
2026-09-03 23:51:00
字母榜 incentive-icons
字母榜
让未来不止于大。
2747文章数 8091关注度
往期回顾 全部

科技要闻

英伟达129亿美元拿下Hugging Face

头条要闻

男子逛夜市遭按摩摊大妈拉住 被5个大妈服务按到发红

头条要闻

男子逛夜市遭按摩摊大妈拉住 被5个大妈服务按到发红

体育要闻

梅西:巴萨10号与阿根廷10号

娱乐要闻

王宝强携女友回工作室!相恋8年仍未婚

财经要闻

章子怡套现3亿 上美拿什么补韩束的缺?

汽车要闻

限时权益价28.99万起 FREELANDER神行者8正式上市

态度原创

手机
艺术
教育
数码
家居

手机要闻

iOS 微信适配液态玻璃了?别高兴太早,其实是iOS 27的功劳

艺术要闻

投资8亿,全球最大!北京文化新地标2028年建成

教育要闻

科利华新校区亮相,"梅园"变了!学区格局悄悄在变

数码要闻

HTC推出AI智能眼镜VIVE Eagle:主打隐私保护,499美元起

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版