给差评就被电话骚扰、行车轨迹遭泄露、租客信息被窃取……越界的爬虫正在围猎各类数据

图片来源：摄图网

本文为《方圆》杂志原创稿件

未经授权，禁止转载

企业付费数据短时间内被“偷空”

用户在直播间停留几秒

便接到推销电话

消费者匿名留差评却被电话骚扰

……

很多人以为这是数据或个人信息泄露

实际上这些糟心事背后

还藏着同一只黑手——

越界的网络爬虫

网络爬虫，又称为网络蜘蛛或网络机器人，是互联网时代一项普遍运用的网络信息搜集技术，最早应用于搜索引擎领域，是搜索引擎获取数据来源的支撑性技术之一，可用于新闻汇聚、价格对比、信息聚合等场景。一个出色的网络爬虫工具能够处理大量的数据，大大节省人类在该类工作上所花费的时间。网络爬虫作为数据抓取的实践工具，构成了互联网开放和信息资源共享理念的基石。

依照技术中立性原则，网络爬虫本身并无法律层面上的合法违法之分，但如果有人滥用这种技术，让网络爬虫非法爬取数据，就可能会损害数据安全和隐私，影响公正有序的数字经济秩序。

一边是网络爬虫高效应用于数字经济各种场景，一边却是有人利用网络爬虫疯狂“偷数据”，而技术和司法对于“爬虫越界”行为也在持续地防范和打击，这场看不见的攻防战愈演愈烈。爬取数据的红线在哪儿？反爬机制到底防住了多少？AI时代又该怎么守住数据安全？

何为“爬虫越界”？

图片来源：摄图网

“‘爬虫越界’是指利用网络爬虫爬取数据突破法律、行政法规以及行业公认的商业道德所设定的合理边界，对他人合法权益、网络系统安全或数字经济秩序造成侵害或者显著危险的行为。”北京大学法学院研究员、博士生导师江溯表示，“爬虫越界”这一概念并非对网络爬虫这种技术的全盘否定，“越界”与否的关键不在于是否使用了该技术，而在于使用该技术的过程中是否逾越了法律所保护的权益边界。他进一步指出：“判断爬虫是否越界的核心标准，在于其是否遵守了Robots协议、是否突破平台或系统的身份认证权限。”

但这并不意味着所有“爬虫越界”行为都必然构成犯罪。“刑法对‘爬虫越界’的规制应该秉持较为谦抑的立场。即便满足侵入并获取数据的形式要件，也要通过实质违法性的判断来守好入罪的边界。”中国政法大学刑事司法学院网络法学研究所教授、博士生导师郭旨龙解释道，“比如爬取方单纯造成了被爬取方的竞争利益损失，但爬取规模较小或服务器承载能力较强而几乎不可能对服务器与数据安全造成威胁的场合，通过反不正当竞争法等前置法所提供的行政或民事责任框架足以处理行为侵害。”

那么，网络爬虫爬取公开数据是否一律无罪？江溯明确表示并非如此。“这里的核心误区在于将‘公开’等同于‘放弃一切法律保护’。从法理上看，‘公开’只是意味着数据持有人放弃了对数据内容的排他性秘密持有状态，但并不意味着放弃了所有合法权益。”

江溯认为，判断爬取公开数据行为是否违法甚至犯罪，需要从三个维度综合评判。首先是数据的实质属性，若公开数据涉及个人信息或企业商业秘密，当爬虫大规模收集并用于商业营销等行为，可能超出合理范围，构成侵权甚至犯罪；其次是技术保护措施，若行为人通过破解加密、逆向工程等手段规避平台的技术限制进行批量抓取，即使数据本身公开，其手段的不正当性也足以使整体行为违法；最后是爬取后数据的使用方式，将公开数据原样搬运以“实质性替代”原平台服务，构成不正当竞争。因此，爬取公开数据的安全性并不取决于数据是否“公开”这一静态标签，而取决于爬取手段、目的和后果所构成的整体行为模式是否符合法律所认可的数据利用规则。

“爬虫越界”围猎之下无完卵

图片来源：摄图网

在现实生活中，“爬虫越界”的核心目的是窃取数据，但其引发的连锁反应却会对企业生存、公民隐私乃至生命安全带来极大隐患。“爬虫越界”导致的犯罪行为，不仅严重侵蚀了企业的核心商业壁垒，更将普通网民置于电信网络诈骗、恶意骚扰乃至暴力威胁的边缘。

上海市普陀区检察院2025年办理了一起“8亿余条餐饮商超数据被‘爬’走”的案件。据办案检察官朱鹏锦介绍，此案中犯罪分子利用“爬虫”技术非法爬取8亿余条餐饮商超数据以及地图数据，直接造成被害企业服务器与流量成本激增，经核算直接经济损失达5万余元。更关键的是，商家信息、用户点评、地理位置等核心经营资源被窃取，导致企业丧失对核心资源的可控性，潜在商业收益被分流，还面临用户信任受损、品牌声誉下降的长期风险。

在平台秩序破坏方面，上海市闵行区检察院办理的顺风车抢单外挂案较具代表性。犯罪分子破解平台算法，利用爬虫程序批量抓取订单数据并开发抢单程序，向司机售卖使用权限，非法获利140 余万元。办案检察官王小曼介绍，该爬虫程序不仅直接突破了顺风车平台的安全防护体系，严重威胁企业数据与系统安全，还彻底打乱了平台公平派单的机制，严重破坏了正常运营秩序与市场公平竞争环境。同时，犯罪分子还形成“开发—销售—使用”黑色产业链，倒逼平台持续投入高额成本加固防护，大幅增加了企业的安全运营负担。

在个人信息保护领域，“爬虫越界”的危害更为直接。江苏省南通市海门区检察院办理了一起直播间 “暴力获客” 案，办案检察官张彬告诉《方圆》记者：“此案中，犯罪分子将短视频直播间变为黑产‘猎场’，利用爬虫程序爬取大量公民个人信息数据，甚至为电信网络诈骗、裸聊敲诈等违法犯罪引流，直接侵害公民个人隐私与财产安全，形成长期、扩散性安全风险。”

更为严重的是，“爬虫越界”引发的危害已从数据泄露传导至威胁人身安全。江苏省徐州市曾发生一起由公民停车数据非法泄露引发的恶性极端案件。男子黎某与前妻张某离婚后心存怨恨，一直伺机报复，于是联系上“私家侦探”。“私家侦探”通过非法爬取停车平台系统数据的韩某，得到了张某的行车轨迹。掌握张某车辆位置后，黎某蹲守并将其挟持到车内，挥刀相向。经鉴定，张某右肺破裂损伤，构成重伤二级。

由上述检察机关办理的案件来看，“爬虫越界”导致的危害不容小觑。办理过全国首例短视频平台领域网络“爬虫”案的江苏省无锡市梁溪区检察院第三检察部副主任、检察官陶艳华告诉《方圆》记者：“办理涉网络爬虫犯罪案件的重点在于，必须紧扣法律规定，进行全链条审查、多维度印证，既要严厉打击恶意爬取行为，也要为合法数据利用与技术创新保留空间。但在实践中，电子数据固定审查难、技术事实认定难、跨区域取证管辖难，仍是此类案件办理中的突出挑战。”

“爬虫越界”攻防战

图片来源：摄图网

在司法实践中，“爬虫越界”相关犯罪趋势也在不断变化。2025年4月23日，最高人民检察院举行了“以高质效知识产权检察履职服务高水平科技创新”新闻发布会，最高检知识产权检察厅副厅长刘太宗在发布会上表示：“近年来，利用深度链接、网络爬虫、架设游戏私服、电子侵入等新技术手段侵犯知识产权案件不断出现。检察机关充分发挥侦查监督与协作配合、重大疑难案件听取意见等机制作用，加大对新类型犯罪的打击力度。”

而早在2023年12月28日，最高检印发的《检察机关依法惩治侵犯著作权犯罪典型案例》中，就公布了一起利用网络爬虫技术侵犯著作权的案件。2021年8月至2022年4月，柯某某为获取非法利益，在未经著作权人授权的情况下，采用“火车采集器”爬虫软件，从优酷、腾讯、爱奇艺等视频网站采集5万余部电影、电视剧等视听作品网页版播放地址数据，存储在租用的服务器上。柯某某通过技术解析的方式，将存储在服务器的视听作品转载到其个人运营管理的网站及“某某影院”App上，提供给网民免费观看。同时，柯某某承接广告业务，在网民观看“某某影院”App上其存储的免费视听作品时投放开屏广告，以广告展现量计酬收取广告费，非法获利共计35万余元。最终柯某某被以侵犯著作权罪判处有期徒刑三年，缓刑四年，并处罚金40万元。

随着数字经济的发展，除了网络小说、影视剧、原创在线课程等数字版权内容成为不法分子利用网络爬虫爬取的目标之外，个人信息、企业核心数据的价值也日益凸显，成了网络爬虫越界爬取的主要内容。比如，北京市朝阳区法院审理的一起案件中，A公司员工董某某为窃取竞争对手B公司住房经营业务中的客户信息，串通B公司员工姜某某、刘某某，登录B公司业务系统后运行爬虫程序，非法获取系统内收、出房合同，合同中均记载有出租人及承租人的公民个人信息。董某某等人均构成侵犯公民个人信息罪，分别被判处有期徒刑三年六个月至一年七个月不等的刑罚，并被判处罚金。

然而，利用网络爬虫技术实施的犯罪行为，早已不局限于单纯的越界爬取数据。“当前涉及网络爬虫犯罪形态也已升级，从过去利用非法爬虫程序‘自己爬’转向‘卖工具让别人爬’，傻瓜化操作、模块化打包，开发、售卖、使用三方分离，和电信网络诈骗、盗版侵权、个人信息泄露等黑灰产深度绑定。”王小曼向《方圆》记者分析了涉网络爬虫犯罪发展的新动向。

有攻就有防。“面对滥用网络爬虫实施犯罪的行为，目前国内已从技术防御和法律规制层面形成立体反爬虫防线。”郭旨龙向《方圆》记者作了详细的介绍——

从技术防御层面来看，主流生活服务及电商交易平台已经构建起一套包含基础层、进阶层和智能层的“三层反爬矩阵”。“基础层”主要承担基础门槛筛查的任务，包括IP封禁、UA（用户代理）校验、验证码拦截以及设备指纹确认等。“进阶层”则侧重于“查反常操作”，通过对账号行为进行深度分析、人机识别和异常流量清洗，使平台系统不再局限于单纯校验账号与设备，而是进一步判断用户对账号的操作习惯，以此精准排查出是否存在“非法爬虫程序”的介入。“智能层”作为最高级别的防御体系，旨在实现“AI精准抓伪装爬虫”。它依托AI聚类、无监督检测以及大模型威胁识别等前沿技术，专门应对高仿真的高级爬虫。面对这类能够伪装IP、篡改设备信息并刻意模仿人类慢速操作的爬虫，普通防线往往难以拦截，而智能层则能有效识破其伪装。

从法律规制层面来看，我国已构建起行政监管、民事追责、刑事惩戒三位一体的立体化治理体系。行政监管领域，依托网络安全法、数据安全法、个人信息保护法等多项法律文件，筑牢制度底线，明确各类主体数据获取与网络运行的合规要求；民事规制层面，主要通过起诉不正当竞争、著作权侵权等，追究侵权主体的民事责任；刑事惩戒维度，则通过适用非法获取计算机信息系统数据罪、提供侵入计算机信息系统程序工具罪、侵犯公民个人信息罪、侵犯著作权罪等多项罪名，用以打击各类涉数据网络的违法犯罪行为。

AI时代的破局之道

图片来源：摄图网

人工智能技术早已融入我们的生活，从日常出行、线上消费到办公办事，AI时代给人们带来了十足的便利，可与此同时，也出现了新的风险与挑战。

“AI大模型训练需要海量数据，训练爬虫大规模、全量爬取公开数据的合法边界逐渐模糊不清；智能爬虫模拟真人操作，使得网站及平台‘区分合法爬虫与恶意爬虫’这一基础性判断变得异常困难；另一种分布式爬虫节点分散，办理爬虫案件过程中，相关的溯源、归责、管辖等问题都是难题。”江溯表示，AI大模型训练爬虫、智能爬虫与分布式爬虫的兴起，正在从多个维度冲击传统爬虫法律边界，使得既有的“授权访问”“robots协议”“合理使用”等概念面临解释困境，亟须法律规则的更新与完善。

“数据要素市场化同样催生了灰色爬取。”中国政法大学刑事司法学院副教授、博士生导师孙道萃表示，数据交易的火爆，使部分机构以“合规采集”为名，绕开授权批量爬取数据，加工售卖数据产品，游走在法律边缘；商业数据、公共数据、个人信息交叉场景增多，合规要求不断叠加，数据合理利用边界更加模糊。

江溯同时指出：“目前爬虫越界的攻击目标正从传统消费互联网向产业互联网、政务系统、医疗数据平台、车联网等关键领域蔓延。这一趋势意味着爬虫越界行为的危害不再局限于扰乱市场竞争或侵犯个人隐私，而是可能直接威胁产业安全、公共安全乃至国家安全。由此，刑事规制重点必须从‘系统安全’转向‘数据安全与公共安全’并重，从事后打击转向事前预防、事中阻断，从通用规制转向行业专项治理。”

受访专家认为，在当前建设数字中国的大背景下，应当三管齐下，构建“技术共治+协同监管+法治保障”的预防性反爬虫治理体系。

首先，从技术维度上，升级智能反爬。平台用AI从底层搭建新一代防御系统专门对付各类爬虫，实现早发现、早拦截、早溯源，防偷数据、防薅羊毛、防黑产；推行可信爬虫白名单，对合规爬虫开放白名单，限定频率与用途；建立跨平台共享恶意IP、指纹、工具特征，整体防御守护安全。

其次，从监测监管维度上，协同发力全链条打击黑灰产。江溯建议，平台依托大数据、人工智能技术，对互联网爬虫行为进行24小时监测、风险研判、预警处置，及时发现批量、高频、侵入式恶意爬取行为，实现“早发现、早处置、早止损”。孙道萃建议，平台应严格核验运营主体资质，对涉及数据采集、爬虫服务的工具加强安全检测，一旦发现涉嫌非法爬虫、侵犯个人信息的，应该立即下架、留存证据并报告监管部门，协助司法机关办案与公众维权。郭旨龙则建议网信部门、公安机关、市场监管部门、司法机关建立协同机制，常态化开展爬虫乱象排查，对非法工具、黑灰产业链进行专项打击。

最后，从法治维度上，加强法律规制。制定专门的爬虫合规指引或部门规章，通过司法解释厘清“未经授权”的判断标准，推动“行政监管前置”机制，逐步弥合前置行政法与刑法之间的缝隙；强化个人信息、商业数据、关键数据的特殊保护；通过普法提升企业与公众风险认知，形成“正规爬虫受保护，越界爬虫必追责”的共识。

“网络爬虫若被正规使用便是数字经济的发动机，越界滥用则沦为数据黑灰产的作案工具。当前，在AI、大数据、产业数字化浪潮下，风险仍在迭代升级，只有坚持预防为先、技术为基、法治为纲、共治为本，从事后惩戒转向事前预防，构建全链条、立体化、数智化治理体系，才能在保障数据合法流通与技术创新的同时，牢牢守住数据安全、个人信息保护与市场公平竞争底线，让每个公民在这个时代感到安全放心。”孙道萃坦言。

（本文有删减，更多内容请关注《方圆》5月上期）

本文杂志原标题：《互联网“扒手”现形记》

编辑丨黄莎 王丽设计丨刘岩

记者丨方菲

通讯员丨杨莹莹 范曾 姚彦静

点击图片

购买《方圆》杂志

好看的人都点了在看