网易首页 > 网易号 > 正文 申请入驻

2026年十大关键AI安全控制措施:从深度可视到持续验证

0
分享至

摘要:为保障人工智能(AI)及智能代理体(Agent)的安全使用,必备的控制措施包括深度可见性、强身份认证以及AI感知的数据防泄漏。

能提升生产力的AI和智能代理体技术的到来无疑是一件好事。但要充分利用AI,必须从一开始就认真对待安全和治理。



首先,对AI使用情况的可见性是一个巨大挑战。每个组织都必须清楚知道哪些AI工具正在被使用和滥用?哪些代理体正在运行?又有哪些MCP服务器可能连接到内部系统?

其次,诸如强身份认证、AI感知的数据防泄漏和持续的AI红队测试等也是非常关键的AI安全控制措施。

以下是CRN整理的2026年10项关键AI安全控制措施的详细信息,以供大家参考,确保生成式AI驱动工具和AI代理体的安全使用。

1. 深度可见性

在AI方面,资产清单的可见性至关重要。因此,2026年大多数组织的 foundational AI安全控制将围绕获取所有AI使用情况的全面可见性展开。无论是监督已批准的AI SaaS平台和代理体的使用,还是检测员工使用未经批准的“影子AI”工具。

深度可见性需要能够实时看到正在发生的事情,而非事后。这种可见性应涵盖正在使用的AI工具、使用者以及被访问的数据。此外,组织还需要了解AI工具如何与内部系统交互。

2. 经批准的AI工具

对许多组织而言,提供一份经批准过的AI工具清单,或者直接向员工部署工具,将是实现生成式AI和代理体安全使用的关键部分。这对于尽可能杜绝影子AI至关重要,并且与提升AI可见性相辅相成。提供经批准的AI工具向员工传递了一个信号——在满足组织安全和治理需求的前提下,使用AI是受到鼓励的。

3. 强身份认证与访问控制

要真正实现能提升生产力的生成式AI和代理体使用,身份和访问方面的考虑应至关重要。关键控制措施包括:对访问系统和数据的每个AI工具或代理体进行强身份认证(即使在初始认证后也需持续授权和验证),以及诸如即时访问等最小权限访问控制。

利用由AI驱动的行为分析,对于检测异常的身份和访问活动也非常重要。总而言之,组织必须将AI代理体视为与人类身份同等重要,对其进行与员工相同的资产清单管理和治理。

4. 治理与策略执行

为AI使用建立强有力的治理和策略执行是显而易见的必要措施。设定AI使用的参与规则要求组织考虑广泛的变量。治理和策略实施可能需要涵盖谁可以使用AI工具,谁可以使用哪些工具,可以访问什么数据,如何利用输出结果。

AI代理体的引入带来了进一步的挑战:为确保代理体不偏离预期目标,在代理体之上增加一个额外的执行层将至关重要。这正是可见性作为基础要求发挥作用的地方,必须要知道智能代理体解决方案本身实际在计划和执行什么,如何理解在该代理体工作流程中实际生成的正确输出是什么。

5. AI感知数据防泄漏

AI感知的数据分类和数据防泄漏(DLP),需要能够实时应用于提示词、上传内容、输出结果以及代理体间的数据交互。同时,与传统方法不同,AI感知的DLP利用上下文分析来理解用户和代理体的意图,然后可以根据组织策略,在敏感数据暴露之前进行拦截或编辑。

6. 持续AI红队测试

生成式AI和代理体模型的动态、持续演进特性给测试过程带来了巨大的复杂性。如果没有自动化,从财务或运营角度来看,持续进行AI测试对大多数组织来说是不可能的。聘请一家大型公司持续进行AI红队测试可能需要花费数百万美元。

然而,使用AI本身的新工具“将尽可能有效且持续地进行这项工作”。这些新的AI驱动工具可以探测诸如提示注入、数据暴露和未经授权的代理体行为等漏洞,即使模型更新和代理体获得新能力,也能持续运行测试。

7. 供应链安全

AI供应链安全,它侧重于评估和管理由AI模型提供商、开源软件和第三方数据源引入的风险。例如,第三方模型中的漏洞或被投毒的训练数据,即使组织已采取所有正确步骤保护自己的内部模型,也可能导致巨大的安全风险。

因此,组织应考虑将AI安全控制扩展到自身环境之外,例如通过进行供应商风险评估和追踪AI模型的来源。对第三方组件的变更或新出现的威胁进行持续监控,是大多数组织需要采取的另一个重要步骤。最终目标是,对AI模型和代理体框架应用与传统软件系统同样严格的安全级别。

8. AI风险监控

对于许多新的AI系统,随着模型的使用,其性能和行为很可能会发生变化,它可能会随着时间的推移变得更好或更差,AI风险监控对于识别性能随时间下降的情况最为重要。可能出现的主要风险包括幻觉、模型漂移、偏见或违反策略等。部署对AI系统的持续监控可以在早期阶段发现此类问题,最终使团队能够在风险升级之前进行干预。

9. 持续验证

正如AI风险监控评估AI模型随时间的行为变化一样,对AI安全控制措施本身进行持续验证也同等重要。随着AI模型、代理体和数据源的变化,组织已实施的AI安全控制措施可能不再像以前那样有效。持续验证侧重于通过一致的测试来验证AI安全控制措施,如身份执行、数据保护和治理等是否仍在按预期正常运行。此类流程适合自动化,自动化可以快速检测策略漂移、错误配置和其他问题。

10. AI安全培训

最后一项,组织需要考虑AI风险中的人为因素。如果组织不确保其团队接受有关AI工具的安全使用、常见风险和相关公司政策的培训,那么先进的AI安全控制措施可能会迅速变得无效。许多员工在使用AI和代理体时仍然不太谨慎,因此必须培训他们,让他们了解如何使用AI工具,并给他们一份AI使用政策。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
郑刚再锤罗永浩晒2429万转账单:个人给锤子的救命钱,至今未还

郑刚再锤罗永浩晒2429万转账单:个人给锤子的救命钱,至今未还

柴狗夫斯基
2026-10-23 11:00:22
乒坛迎来重大洗牌!WTT新负责人正式上任,刘国梁回归再添悬念

乒坛迎来重大洗牌!WTT新负责人正式上任,刘国梁回归再添悬念

云上乌托邦
2026-10-23 20:15:04
江西省农业厅副厅长曹爱珍:仅5年从教师晋升副县长,耀眼明星终落马

江西省农业厅副厅长曹爱珍:仅5年从教师晋升副县长,耀眼明星终落马

十为先生
2026-09-11 14:18:51
“爷爷黄毛,奶奶满背!”一家五口火了,网友:孩子小学毕业就算高学历!

“爷爷黄毛,奶奶满背!”一家五口火了,网友:孩子小学毕业就算高学历!

林林先生
2026-09-12 12:25:03
黄远通主动交代问题,曾在中山任职多年

黄远通主动交代问题,曾在中山任职多年

南方都市报
2026-10-23 21:22:07
记者:视频显示,铁人客战海牛时更衣室里堆着厚厚的现金

记者:视频显示,铁人客战海牛时更衣室里堆着厚厚的现金

懂球帝
2026-10-23 08:55:06
亚马逊PS5游戏提前开抢:20美元拿下最终幻想7重生

亚马逊PS5游戏提前开抢:20美元拿下最终幻想7重生

影视情报室
2026-10-23 00:06:10
卖淫女从良嫁给小7岁男友,嫌卖饮料不赚钱,婚后竟拉着丈夫干回老本行!

卖淫女从良嫁给小7岁男友,嫌卖饮料不赚钱,婚后竟拉着丈夫干回老本行!

一丝不苟的法律人
2026-10-23 11:46:03
黄牛彻底输了,iPhone Duo 国行开售,店内居然有现货!

黄牛彻底输了,iPhone Duo 国行开售,店内居然有现货!

XCiOS俱乐部
2026-10-23 09:48:28
北京西站去大兴机场别再傻跑草桥!17元高铁直达太香了

北京西站去大兴机场别再傻跑草桥!17元高铁直达太香了

苗苗情感说
2026-10-24 03:17:18
广东省人民政府最新人事任免

广东省人民政府最新人事任免

南方都市报
2026-10-23 16:43:25
雷霆逆转掘金SGA连续20+场次终结,约基奇穆雷30投7中合取19分

雷霆逆转掘金SGA连续20+场次终结,约基奇穆雷30投7中合取19分

湖人崛起
2026-10-23 12:19:53
宝马把2027款X5改得面目全非,这是变好了吗?

宝马把2027款X5改得面目全非,这是变好了吗?

灰度测试中
2026-10-23 03:11:51
库珀狂轰40+17!辽宁104-93力克四川,一战打出六个不争事实!

库珀狂轰40+17!辽宁104-93力克四川,一战打出六个不争事实!

田先生篮球
2026-10-23 22:06:29
把集体拆散、把国企搞垮、把人心搞乱,算不得本事。

把集体拆散、把国企搞垮、把人心搞乱,算不得本事。

江启
2026-10-23 04:41:37
被传上午被免职,下午被带走,登 24 年春晚却忽然消失的黄宏今咋样

被传上午被免职,下午被带走,登 24 年春晚却忽然消失的黄宏今咋样

星娱叨叨社
2026-10-08 14:52:34
黄克诚转移时,发现警卫员始终走在最前面,他想起侦察员一句提醒

黄克诚转移时,发现警卫员始终走在最前面,他想起侦察员一句提醒

史源观点
2026-10-22 19:35:33
墙倒众人推!这一次,落荒而逃的白鹿,终为自负买单

墙倒众人推!这一次,落荒而逃的白鹿,终为自负买单

北海史记
2026-10-21 12:54:17
看了一半,才发现主角是反派,难怪金庸的这本书冷门到几乎没人看

看了一半,才发现主角是反派,难怪金庸的这本书冷门到几乎没人看

耳东文史
2026-10-21 00:00:58
涉嫌诈骗,“浙大创业第一人”被抓!曾和阿里妈妈、百度并称“网站联盟三巨头”

涉嫌诈骗,“浙大创业第一人”被抓!曾和阿里妈妈、百度并称“网站联盟三巨头”

深蓝财经
2026-10-23 09:41:25
2026-10-24 07:56:49
安全419 incentive-icons
安全419
中国网络安全产业资讯媒体
1379文章数 206关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

女子收酒店停车弹窗误会丈夫开房 丈夫开视频:在喂鸡

头条要闻

女子收酒店停车弹窗误会丈夫开房 丈夫开视频:在喂鸡

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

设计换新/智舱升级 2027款博越限时价7.89万起

态度原创

旅游
房产
教育
公开课
军事航空

旅游要闻

金秋万里山河如画

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

教育要闻

五年级重难点:分数加减法,不会做的孩子大有人在

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

泽连斯基:星链及星盾速度限制仍未解除

无障碍浏览 进入关怀版