网易首页 > 网易号 > 正文 申请入驻

2026年十大关键AI安全控制措施:从深度可视到持续验证

0
分享至

摘要:为保障人工智能(AI)及智能代理体(Agent)的安全使用,必备的控制措施包括深度可见性、强身份认证以及AI感知的数据防泄漏。

能提升生产力的AI和智能代理体技术的到来无疑是一件好事。但要充分利用AI,必须从一开始就认真对待安全和治理。



首先,对AI使用情况的可见性是一个巨大挑战。每个组织都必须清楚知道哪些AI工具正在被使用和滥用?哪些代理体正在运行?又有哪些MCP服务器可能连接到内部系统?

其次,诸如强身份认证、AI感知的数据防泄漏和持续的AI红队测试等也是非常关键的AI安全控制措施。

以下是CRN整理的2026年10项关键AI安全控制措施的详细信息,以供大家参考,确保生成式AI驱动工具和AI代理体的安全使用。

1. 深度可见性

在AI方面,资产清单的可见性至关重要。因此,2026年大多数组织的 foundational AI安全控制将围绕获取所有AI使用情况的全面可见性展开。无论是监督已批准的AI SaaS平台和代理体的使用,还是检测员工使用未经批准的“影子AI”工具。

深度可见性需要能够实时看到正在发生的事情,而非事后。这种可见性应涵盖正在使用的AI工具、使用者以及被访问的数据。此外,组织还需要了解AI工具如何与内部系统交互。

2. 经批准的AI工具

对许多组织而言,提供一份经批准过的AI工具清单,或者直接向员工部署工具,将是实现生成式AI和代理体安全使用的关键部分。这对于尽可能杜绝影子AI至关重要,并且与提升AI可见性相辅相成。提供经批准的AI工具向员工传递了一个信号——在满足组织安全和治理需求的前提下,使用AI是受到鼓励的。

3. 强身份认证与访问控制

要真正实现能提升生产力的生成式AI和代理体使用,身份和访问方面的考虑应至关重要。关键控制措施包括:对访问系统和数据的每个AI工具或代理体进行强身份认证(即使在初始认证后也需持续授权和验证),以及诸如即时访问等最小权限访问控制。

利用由AI驱动的行为分析,对于检测异常的身份和访问活动也非常重要。总而言之,组织必须将AI代理体视为与人类身份同等重要,对其进行与员工相同的资产清单管理和治理。

4. 治理与策略执行

为AI使用建立强有力的治理和策略执行是显而易见的必要措施。设定AI使用的参与规则要求组织考虑广泛的变量。治理和策略实施可能需要涵盖谁可以使用AI工具,谁可以使用哪些工具,可以访问什么数据,如何利用输出结果。

AI代理体的引入带来了进一步的挑战:为确保代理体不偏离预期目标,在代理体之上增加一个额外的执行层将至关重要。这正是可见性作为基础要求发挥作用的地方,必须要知道智能代理体解决方案本身实际在计划和执行什么,如何理解在该代理体工作流程中实际生成的正确输出是什么。

5. AI感知数据防泄漏

AI感知的数据分类和数据防泄漏(DLP),需要能够实时应用于提示词、上传内容、输出结果以及代理体间的数据交互。同时,与传统方法不同,AI感知的DLP利用上下文分析来理解用户和代理体的意图,然后可以根据组织策略,在敏感数据暴露之前进行拦截或编辑。

6. 持续AI红队测试

生成式AI和代理体模型的动态、持续演进特性给测试过程带来了巨大的复杂性。如果没有自动化,从财务或运营角度来看,持续进行AI测试对大多数组织来说是不可能的。聘请一家大型公司持续进行AI红队测试可能需要花费数百万美元。

然而,使用AI本身的新工具“将尽可能有效且持续地进行这项工作”。这些新的AI驱动工具可以探测诸如提示注入、数据暴露和未经授权的代理体行为等漏洞,即使模型更新和代理体获得新能力,也能持续运行测试。

7. 供应链安全

AI供应链安全,它侧重于评估和管理由AI模型提供商、开源软件和第三方数据源引入的风险。例如,第三方模型中的漏洞或被投毒的训练数据,即使组织已采取所有正确步骤保护自己的内部模型,也可能导致巨大的安全风险。

因此,组织应考虑将AI安全控制扩展到自身环境之外,例如通过进行供应商风险评估和追踪AI模型的来源。对第三方组件的变更或新出现的威胁进行持续监控,是大多数组织需要采取的另一个重要步骤。最终目标是,对AI模型和代理体框架应用与传统软件系统同样严格的安全级别。

8. AI风险监控

对于许多新的AI系统,随着模型的使用,其性能和行为很可能会发生变化,它可能会随着时间的推移变得更好或更差,AI风险监控对于识别性能随时间下降的情况最为重要。可能出现的主要风险包括幻觉、模型漂移、偏见或违反策略等。部署对AI系统的持续监控可以在早期阶段发现此类问题,最终使团队能够在风险升级之前进行干预。

9. 持续验证

正如AI风险监控评估AI模型随时间的行为变化一样,对AI安全控制措施本身进行持续验证也同等重要。随着AI模型、代理体和数据源的变化,组织已实施的AI安全控制措施可能不再像以前那样有效。持续验证侧重于通过一致的测试来验证AI安全控制措施,如身份执行、数据保护和治理等是否仍在按预期正常运行。此类流程适合自动化,自动化可以快速检测策略漂移、错误配置和其他问题。

10. AI安全培训

最后一项,组织需要考虑AI风险中的人为因素。如果组织不确保其团队接受有关AI工具的安全使用、常见风险和相关公司政策的培训,那么先进的AI安全控制措施可能会迅速变得无效。许多员工在使用AI和代理体时仍然不太谨慎,因此必须培训他们,让他们了解如何使用AI工具,并给他们一份AI使用政策。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
贾乃亮李小璐罕见同框,合体为甜馨庆祝14岁生日,放下隔阂只为女儿

贾乃亮李小璐罕见同框,合体为甜馨庆祝14岁生日,放下隔阂只为女儿

娱站
2026-10-24 02:26:39
看了长征后的伟人照,再看《伟大的长征》,谁还在喷于和伟不像的,那就真是当代博古李德了

看了长征后的伟人照,再看《伟大的长征》,谁还在喷于和伟不像的,那就真是当代博古李德了

娱乐故事
2026-10-22 19:20:49
日乒奥运冠军伊藤美诚:虽然退出日本国家队,但与退役不能划等号

日乒奥运冠军伊藤美诚:虽然退出日本国家队,但与退役不能划等号

全言作品
2026-10-20 20:01:55
太前卫了!学生情侣约定开房一人一次承担房费,男方多次清算订房记录,女生哭诉经济压力大,聊天记录流出

太前卫了!学生情侣约定开房一人一次承担房费,男方多次清算订房记录,女生哭诉经济压力大,聊天记录流出

火山詩话
2026-10-19 07:59:53
触目惊心!卧底亲历者讲述:被骗进电诈园区的女性,一般只有两种结局

触目惊心!卧底亲历者讲述:被骗进电诈园区的女性,一般只有两种结局

秋风妃
2026-10-23 23:04:23
日乒亚锦赛折将!户上隼辅退4项比赛,松岛/张本合体打破拆对传闻

日乒亚锦赛折将!户上隼辅退4项比赛,松岛/张本合体打破拆对传闻

排球黄金眼
2026-10-21 00:27:54
声明压不住大火:比声明更快的那团火,烧出了什么

声明压不住大火:比声明更快的那团火,烧出了什么

迷世书童
2026-10-22 22:11:22
金价将重现历史?要有心理准备,金价可能重演2015年历史

金价将重现历史?要有心理准备,金价可能重演2015年历史

混沌录
2026-07-31 23:00:51
白宫称俄乌同意在奥列什基暂时停火

白宫称俄乌同意在奥列什基暂时停火

新华社
2026-10-23 21:28:55
曝光!理想首款轿车i7要来了,李想发文默认

曝光!理想首款轿车i7要来了,李想发文默认

大厂财经社
2026-10-23 22:17:17
别等失去了才后悔。 厦门小伙暗恋高一班主任多年,大学毕业后果断追娶回家,祝有情人终成眷属

别等失去了才后悔。 厦门小伙暗恋高一班主任多年,大学毕业后果断追娶回家,祝有情人终成眷属

捣蛋窝
2026-10-03 09:50:51
咱们脚踩的地底下到底埋过多少老祖宗?按历史数据算中国历史上大概出生过280亿人,这么多先人的坟头都去哪了呢?

咱们脚踩的地底下到底埋过多少老祖宗?按历史数据算中国历史上大概出生过280亿人,这么多先人的坟头都去哪了呢?

唠叨说历史
2026-10-23 17:15:59
世道变了,养老规则颠倒,江浙沪多地,已经掀起大范围反向养老

世道变了,养老规则颠倒,江浙沪多地,已经掀起大范围反向养老

童童聊娱乐啊
2026-10-18 15:27:25
7年,从意丁到欧冠,科莫凭什么完成逆袭?

7年,从意丁到欧冠,科莫凭什么完成逆袭?

西哇体育
2026-10-23 14:46:23
3-1进决赛冲冠!中国男乒21岁新星崛起:双打死磕松岛辉空张本美和

3-1进决赛冲冠!中国男乒21岁新星崛起:双打死磕松岛辉空张本美和

李喜林篮球绝杀
2026-10-23 17:44:29
乌克兰“愿放弃25%领土”?泽连斯基表态,能留75%领土就和谈,但25%乌领土,恐填不饱俄罗斯

乌克兰“愿放弃25%领土”?泽连斯基表态,能留75%领土就和谈,但25%乌领土,恐填不饱俄罗斯

蓝星杂谈
2026-10-22 20:36:54
兵败如山倒?加油站现状或已证明,油车可能真的越来越没活路了

兵败如山倒?加油站现状或已证明,油车可能真的越来越没活路了

铭记历史呀
2026-10-23 00:54:27
临沂企业控诉交警大队欠租百万,为逃避债务直接将涉案主体撤销了

临沂企业控诉交警大队欠租百万,为逃避债务直接将涉案主体撤销了

中闻世界
2026-10-23 17:12:54
谈判桌下捅刀子,内部人递地图:伊朗用12天血亏,替我们台海试了一遍错

谈判桌下捅刀子,内部人递地图:伊朗用12天血亏,替我们台海试了一遍错

浯江孤舟
2026-10-20 09:44:15
长辈什么行为会让你感到窒息?网友:早上说了不吃饭,非得准点喊

长辈什么行为会让你感到窒息?网友:早上说了不吃饭,非得准点喊

夜深爱杂谈
2026-10-23 21:13:40
2026-10-24 06:59:00
安全419 incentive-icons
安全419
中国网络安全产业资讯媒体
1379文章数 206关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

美国稀土大项目黄了 稀土产业遭遇重大挫折

头条要闻

美国稀土大项目黄了 稀土产业遭遇重大挫折

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

设计换新/智舱升级 2027款博越限时价7.89万起

态度原创

亲子
健康
房产
公开课
军事航空

亲子要闻

萌娃跳舞#刚刚学的低着头不好意思跳舞《》

痘痘能根治吗?皮肤科医生说实话

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美国或于明年开始扩建格陵兰岛军事设施

无障碍浏览 进入关怀版