网易首页 > 网易号 > 正文 申请入驻

蚂蚁集团连续开源两款AI安全模型,覆盖智能体与多模态安全场景

0
分享至

7月13日,蚂蚁AI安全实验室宣布开源智能体安全护栏SingGuard-NSFA,并同步披露多模态安全护栏SingGuard的详细信息。两款模型分别面向“自主执行的智能体”和“多模态交互的大模型”两大前沿场景,标志着蚂蚁在AI安全领域进一步完善系统化布局。

随着AI从内容生成迈向自主执行,安全问题正从模型输出扩展到行为控制、权限管理和系统治理。智能体开始自主调用工具、运行代码、规划任务,模型也逐渐具备理解图像、文本等多模态信息的能力,AI系统的能力边界不断拓展,也带来了新的安全挑战。

过去一年,提示词注入、权限滥用、恶意代码执行、数据泄露等安全事件持续出现。从Amazon Q提示词投毒、Microsoft Copilot数据泄露,到开源智能体OpenClaw暴露出的提示词注入风险,都表明智能体自主性越强,安全风险的放大效应越明显。2025年12月,OWASP发布《智能体应用安全十大风险》,系统梳理智能体特有安全威胁;2026年5月,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,首次从国家层面对智能体安全治理提出明确要求。

在这一背景下,蚂蚁AI安全实验室此次开源两款安全模型,旨在为大模型和智能体提供更加完善的底层安全能力。

SingGuard-NSFA:为智能体操作装上“实时刹车”

随着智能体从“回答问题”逐步走向“自主办事”,AI开始调用工具、执行代码、编排多步任务,安全风险已经不仅停留在内容层面,而更多体现在行为层面。提示词注入、敏感信息窃取、恶意代码执行、资源耗尽、权限滥用等问题,传统内容审核体系难以有效覆盖。

针对这一痛点,蚂蚁AI安全实验室推出SingGuard-NSFA,在智能体执行动作之前完成实时安全检测,从请求拦截和响应兜底两端构建行为安全防护体系。

SingGuard-NSFA基于CIA(保密性、完整性、可用性)原则,结合OWASP等国际安全指南,将智能体风险细分为7大类、28个中类和185个具体场景,并建立覆盖133种语言、近10万条样本的智能体安全评测体系。

在技术实现上,SingGuard-NSFA兼顾了安全审计和实时防护两种需求。它提供两种工作模式:一种模式可以逐条生成详细的风险分析报告,方便事后审查和合规记录;另一种模式则能在50毫秒左右完成单次风险判定,适合线上高并发场景下的实时拦截。并提供0.8B、2B、4B、9B四种模型规模,满足不同部署需求。



多项公开评测显示,SingGuard-NSFA在智能体输入、输出安全检测中均取得领先表现。其中,0.8B模型即可达到8B模型性能水平,新增风险类别时仅需训练轻量模块,无需重新训练整个模型,可进一步提升现有安全护栏的检测能力。

SingGuard:多模态内容安全的“全能守门员”

与智能体操作安全并行的另一条防线,是多模态交互场景下的内容安全。今年6月,Anthropic发布旗舰模型Claude Fable 5,数日内即被研究者用Unicode字符和西里尔字母替换敏感词绕过了安全护栏——模型能还原原意,分类器却视其为陌生拼写,系统提示词因此被套出。这表明,模型越能读懂变形文字、图片和跨模态信息,传统关键词识别式的护栏就越力不从心。

SingGuard正是为此设计的多模态安全护栏。它面向文本、图片及跨模态内容建立统一安全判断框架,可识别攻击者将恶意动作隐藏在文字、图片等不同模态中的复杂攻击。同时支持运行时动态加载自然语言安全规则,无需重新训练模型即可完成规则更新,更适用于规则持续演进、业务流量较大的生产环境。

在推理机制上,SingGuard采用“快慢结合”模式:先快速完成初步判断,只有面对复杂场景时才启动进一步推理,在保证效率的同时提升检测准确率。



在覆盖文本查询、文本回复、图像、多模态和多语言的6大类评测中,SingGuard在35个数据集及评测切分上的平均F1均为最高。其对比对象涵盖Llama Guard 3、谷歌ShieldGemma、GPT-5.1、Gemini3-Pro等业内最具代表性的主流护栏,SingGuard均实现全面领先。

中国信通院人工智能研究所安全治理部副主任呼娜英表示,随着大模型从内容生成迈向自主执行,AI安全正从内容审核延伸至行为管控和系统治理,成为智能体规模化应用的重要基础能力。蚂蚁AI安全实验室已针对开源智能体框架OpenClaw开展专项安全审计,并于今年4月联合清华大学开源智能体安全防御插件ClawAegis,为自主智能体提供覆盖全生命周期的安全防护能力。此次SingGuard-NSFA与SingGuard多模态安全护栏相继开源,是蚂蚁集团持续推进AI安全技术研发和开放生态建设的重要实践。

这些安全技术的研发与开源,建立在蚂蚁集团二十余年的安全技术积累之上。依托在支付安全、数据安全、隐私保护和风险治理等领域的长期实践,蚂蚁持续完善AI安全体系,相关能力已应用于蚂蚁阿福、AI版支付宝“阿宝”、支付宝“AI付”等业务场景。

与此同时,蚂蚁集团持续参与AI安全标准和治理体系建设,参与IIFAA《终端智能体可信互联技术规范》制定,牵头ITU国际标准《终端智能体可信互联技术规范》立项,并发布智能体安全可信互连协议ASL,持续推动AI安全能力从技术创新走向产业实践。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
花坛藏尸案凶手杨某根自曝杀人原因:维护家庭稳定,常被陈某芬言语侮辱

花坛藏尸案凶手杨某根自曝杀人原因:维护家庭稳定,常被陈某芬言语侮辱

拍案社会
2026-11-11 12:48:22
杭州13岁女孩腹痛腹胀整整一年被忽视,送医确诊“癌王”,已全身多处转移,错失手术机会;医生:爱吃泡面、烧烤,年轻人发病率30年翻一番

杭州13岁女孩腹痛腹胀整整一年被忽视,送医确诊“癌王”,已全身多处转移,错失手术机会;医生:爱吃泡面、烧烤,年轻人发病率30年翻一番

三湘都市报
2026-11-11 20:50:24
顾客吃自助餐用行李箱藏25瓶饮品,被餐厅AI监控当场抓包,工作人员:第一次见行李箱打包的

顾客吃自助餐用行李箱藏25瓶饮品,被餐厅AI监控当场抓包,工作人员:第一次见行李箱打包的

潇湘晨报
2026-11-10 17:15:30
日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

磊子讲史
2026-11-11 17:22:17
泽连斯基:若乌放弃顿巴斯,普京将在1年、2年或5年后卷土重来

泽连斯基:若乌放弃顿巴斯,普京将在1年、2年或5年后卷土重来

军情观察家
2026-11-11 22:35:04
中青赛决赛激烈冲突!申花球员殴打球童,看台数十人斗殴,球迷被爆头

中青赛决赛激烈冲突!申花球员殴打球童,看台数十人斗殴,球迷被爆头

奥拜尔
2026-11-11 21:52:02
仅4.9英寸,这可能是今年最有意思的阔折叠手机了

仅4.9英寸,这可能是今年最有意思的阔折叠手机了

刘奔跑
2026-11-11 17:33:11
中国首富张一鸣建议公司员工,不要住在城乡结合部,应该全部住在北京市区,哪怕房子小点,省下的时间可以健身读书看电影!

中国首富张一鸣建议公司员工,不要住在城乡结合部,应该全部住在北京市区,哪怕房子小点,省下的时间可以健身读书看电影!

财经要参
2026-11-09 12:00:05
沉默45年,中国终于迎来第二轮“严打”!目标改变总体战正式打响

沉默45年,中国终于迎来第二轮“严打”!目标改变总体战正式打响

闻识
2026-05-04 08:59:03
演都不演?高叶获金鸡影后不到3小时,荒唐事发生,还不止一件

演都不演?高叶获金鸡影后不到3小时,荒唐事发生,还不止一件

观察鉴娱
2026-11-11 09:48:48
恩怨局!布朗早早4犯用力过猛 塔图姆赢数据+比赛:主动打招呼显格局

恩怨局!布朗早早4犯用力过猛 塔图姆赢数据+比赛:主动打招呼显格局

颜小白的篮球梦
2026-11-11 11:30:16
私家车年检彻底取消?公安部明确答复,车主不用再白跑冤枉路

私家车年检彻底取消?公安部明确答复,车主不用再白跑冤枉路

三农老历
2026-11-11 03:49:47
两人已拍拖多年,早被监听发现,事发后黄仁勋很果断,黄乐很聪明

两人已拍拖多年,早被监听发现,事发后黄仁勋很果断,黄乐很聪明

赶集的山姑娘
2026-11-10 20:30:57
希拉里长相普通、个头不高,可就是这个不起眼的女人对丈夫克林顿的事业一路推波助澜,她到底凭什么

希拉里长相普通、个头不高,可就是这个不起眼的女人对丈夫克林顿的事业一路推波助澜,她到底凭什么

磊子讲史
2026-11-11 17:55:02
“对很多家庭来说,一边要照顾老人、一边要照料孩子,压力实实在在” ,国家发改委出手,140亿民生大礼包来了

“对很多家庭来说,一边要照顾老人、一边要照料孩子,压力实实在在” ,国家发改委出手,140亿民生大礼包来了

21世纪经济报道
2026-11-11 00:38:20
‍台民调专家:台北输、新北输,嘉义输、彰化输,新竹县也输,国民党六都只能守台中桃园,国民党准备找战犯

‍台民调专家:台北输、新北输,嘉义输、彰化输,新竹县也输,国民党六都只能守台中桃园,国民党准备找战犯

林杰论事
2026-11-11 00:37:45
拼多多新规11月13日起实施!标注送货上门,包裹禁止私自放代收点

拼多多新规11月13日起实施!标注送货上门,包裹禁止私自放代收点

花漾夜雨飘雪
2026-11-10 10:05:52
笑不活了!苏州乘客飞机延误办改签,告诉空姐江浙沪几座机场都行,空姐一问目的地,他沉默三十秒才说:苏州

笑不活了!苏州乘客飞机延误办改签,告诉空姐江浙沪几座机场都行,空姐一问目的地,他沉默三十秒才说:苏州

王老师你还好吗
2026-11-06 14:39:40
40岁马蓉近况曝光!与王宝强离婚已经8年,如今被传在澳洲超市打工

40岁马蓉近况曝光!与王宝强离婚已经8年,如今被传在澳洲超市打工

代军哥哥谈娱乐
2026-11-11 10:21:11
佩洛西:就剩三周或两周的时间,不建议将史蒂文斯逐出众议院民主党党团

佩洛西:就剩三周或两周的时间,不建议将史蒂文斯逐出众议院民主党党团

阿尔卑斯瞭望
2026-11-11 19:04:53
2026-11-11 23:39:00
我看App
我看App
App体验分享与交流平台
465文章数 178关注度
往期回顾 全部

科技要闻

平头哥拟独立IPO,分拆后仍是阿里子公司

头条要闻

国家级射击教练涉走私武器 家属:配件组成不了一支枪

头条要闻

国家级射击教练涉走私武器 家属:配件组成不了一支枪

体育要闻

西部狂飙!湖刺勇集体暴走 连胜到何时?

娱乐要闻

阿嬷导演一句话,说得人心里发热

财经要闻

陈志武:AI陪伴未来可能让中国人更晚结婚

汽车要闻

座舱换大屏/增激光雷达 瑞虎9猎鹰700版限时价17.29万

态度原创

艺术
手机
健康
房产
公开课

艺术要闻

15幅 山水滋美——2026风景油画展 入选作品一

手机要闻

荣耀Magic9系列累计销量突破50万台,后续新机蓄势待发

情绪真能让健康人"伤心至死"?

房产要闻

4.1亿起拍!停了7年,亚龙湾终于要卖地了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版