网络爬虫的刑法应对

付强 李涛

摘 要：网络爬虫作为一种新型的数据处理技术，使用价值与刑事风险兼具。对于网络爬虫的刑事法律应对，应当以网络爬虫附随要素指向的法益为核心，关注网络爬虫的访问权限和获取数据的性质，同时兼顾考察行为人在使用技术过程中的合理注意义务，从而综合判断行为是否涉嫌犯罪以及罪名的适用。

关键词：网络爬虫 授权 非法获取计算机信息系统数据罪 破坏计算机信息系统罪 侵犯公民个人信息罪

一、问题的提出

2019年，随着多家大数据公司因为利用网络爬虫技术非法获取数据被公安机关立案调查，网络爬虫的犯罪边界问题成为互联网业界、法学界关注的热点。在严厉打击网络犯罪的高压态势之下，可以预见到，将会有更多的类似案例出现，以往已经被互联网业界习以为常的技术行为可能需要重新接受道德、社会规范乃至刑事法律的检验。司法机关在办理此类案件过程中，不仅需要破除跨专业学科造成的知识鸿沟，准确理解技术行为的特征，更需要全面审视技术行为的内在价值与必要性，综合判断行为的社会危害性，坚守罪刑法定原则，秉持刑法的謙抑性，慎用刑事制裁手段。结合一起实际案例，笔者拟通过通过数据访问权限、数据性质、合理使用义务三个不同的角度理清网络爬虫的犯罪边界。

（一）基本案情

2016年7月至2017年5月期间，行为人史某在某市家中，通过自行研发的计算机程序访问某市交通管理局车辆管理所（以下简称“车管所”）网上选号系统，批量查询某市车辆号码牌照资源使用情况，同时自建数据库系统对号码牌照资源使用情况予以记录、更新。现有证据可以证实，仅2017年以来，行为人史某利用上述程序共计访问车管所网上选号系统24659793次，获取某市车牌号码数量200多万个，通过在淘宝上出售相关数据库查询权限，获利人民币4万余元。

经查，行为人实施的具体行为：史某通过对网上选号系统进行研究，按照该系统的验证逻辑编写对应的网络爬虫程序，并将其部署在境外服务器上，在设定的时间段内（一般是晚上）访问网上选号系统，批量获取车牌号码使用情况数据。其工作原理如下：第一，自动生成符合车管所网上选号系统校验规则的信息，如身份证号码、姓名等。第二，使用“打码”平台自动应对选号系统的验证码功能。第三，访问车管所选号系统，按照正常选号流程进行号牌预选操作，通过逻辑条件判断号码资源是否被占用，并将相关信息更新至数据库。

（二）分歧意见

在案件办理过程中，司法机关主要产生了两种不同的分歧意见。

第一种意见认为，史某在网络爬虫程序中附加使用“打码”技术，属于未经授权进行访问，构成非法获取计算机信息系统数据罪。

第二种意见认为，在否定第一种意见的基础上，应重点考察史某是否存在滥用网络爬虫的情况，其行为涉嫌破坏计算机信息系统罪，但因证据不足，应对其作存疑不起诉处理。

笔者赞同第二种意见，理由在于：对于网络爬虫犯罪边界的合理区分，应当以网络爬虫附随要素与法益为框架，关注网络爬虫的访问权限和数据性质，兼顾考察行为人的合理注意义务。为明确观点，笔者有必要对网络爬虫的概念、附随要素及其法律属性进行简要的介绍。

二、网络爬虫的概念及法律属性

（一）网络爬虫的概念

网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种可以自动化访问并收集目标计算机信息系统数据的程序，设计初衷是通过计算机技术手段自动为网站编纂索引，并不断更新信息。因为网络爬虫可以高效地实现信息的读取、储存等工作，在搜索引擎应用之外，也往往被用于访问特定网站，依照开发者设计的规则读取、保存特定信息。网络爬虫种类繁多，一般来说，我们可以以部署环境、使用场景对爬虫进行分类。

从部署环境来看，一般将网络爬虫分为服务器爬虫和客户端爬虫两个类型。两者的区别好比制式相同却采用不同口径弹药的自动步枪，实际功能基本一致，但是服务器爬虫可以通过借助服务器端更具优势的计算机信息系统资源——多线程和更大的带宽，在同一时间内访问更多的信息资源。

从使用场景来看，一般将网络爬虫分为通用爬虫、聚焦爬虫两种类型。通用网络爬虫，又称为全站爬虫，它的主要功能是从互联网中搜集网页、采集信息，并下载到本地，形成一个互联网资源的备份镜像。这些备份镜像可以用于为搜索引擎建立索引提供支持，而备份镜像文件的数据量决定着整个引擎系统的可用性，包括信息更新是否及时、涵盖内容是否丰富等，而这正是搜索引擎系统（Baidu、Google、Bing等）的基础。

（二）网络爬虫的附随要素

我国法理学家张文显曾论述，如果精确地解释和确定法律概念的意义， 就能够精确地描述法律现象， 正确地进行法律推理。[1]网络爬虫通常来说有三种基本功能，分别是：访问、下载、解析。访问，是指网络爬虫依据代码设定的逻辑，向计算机信息系统发送访问请求，以期访问数据;下载，是指将目标计算机信息系统储存的数据传输、储存到本地或指定的计算机信息系统中;解析，是指对计算机信息系统数据的内容进行分析、筛选。一般而言，这三种基础性的功能本身并不会对计算机信息系统数据进行增加、删除、修改操作。如果我们将网络爬虫放置于使用场景下进行考察，网络爬虫在共同的基本功能之上同时也受到一些共同的要素影响，我们可以将这些要素理解为网络爬虫的附随要素，具体包括以下内容：

1.网络爬虫是否具有访问数据的权限

网络爬虫程序运行的前提是必须具有明确的访问目标，而访问权限也是网络爬虫面对的第一个门槛。对网络爬虫是否具有访问数据权限的判断等同于危害计算机信息系统及数据安全刑事案件中的违法性判断的核心要素——“未经授权或者超越授权”。

2.网络爬虫获取数据的性质与范围

网络爬虫可以按照编写者的设计，获取特定或不特定的数据。这其中不仅包括了人类可以感知的、具有信息意义的数据资源（如图片、文字、视频等），也可能包括本身应交由计算机信息系统进行解读的非可视性的数据内容 [2]（如CSS数据、网站根目录、数据库文件等）。网站控制者可能会基于计算机信息系统安全、原创性设计、隐私等考虑，拒绝他人获取上述数据。

3.网络爬虫对计算机信息系统流量带宽和计算資源造成的影响

网络爬虫作为一种高效、自动化的计算机信息系统程序，对目标网站的访问频次远远高于一般正常的人类用户，在运行的过程中往往容易对目标网站计算机信息系统资源（一般是指服务器流量带宽和计算资源）造成大量消耗，导致目标网站因缺乏足够的带宽和计算机资源以至于无法响应其他用户的访问请求。

（三）网络爬虫的法律属性

出于对网络爬虫所引发的网络安全与隐私的考虑，1994年，由荷兰工程师Martijn Koster提出了一份行业技术规范，并在此基础之上，逐渐发展出了一套完整的网络爬虫使用技术规范-Robots.txt协议[3]。Robots协议，英文全称Robots Exclusion Protocol，其被设计者储存于网站根目录下的ASCII编码的文本文件，网站站长可以通过代码注明以下信息：该网站是否允许网络爬虫抓取某一类特定的数据。近25年以来“Robots协议由于简单、高效，成为国内外互联网行业内普遍通行、普遍遵守的技术规范”[4]。但Robots协议本身并不具备任何的约束力。至今，在Robots官网上最显著的位置，依然有这样一份声明，其强调了Robots协议并非官方标准，不具备任何强制执行力。在我国，第一个对Robots协议的法律性质作为较为完整论述的见于百度公司VS.奇虎360案，在该案件判决中，法院就Robots协议的法律属性进行了讨论，并做出如下认定：Robots协议是技术规范，并非法律意义上的协议;Robots协议系网站服务商或所有者在自行编写，属于单方宣示;但其同时承认，Robots协议在互联网领域具有通用性，是一份可行的技术标准。[5]

笔者认为，在互联网语境之下，存在着大量类似的技术行为，它们作为企业或用于挖掘商业价值、或用于维护自身权益的工具，已经成为了一种业界通行的商业惯例，进而成为一种特定的社会规范。这种新型的社会规范所伴随的法益“对传统刑法学具有釜底抽薪的效应。”[6]对于新型网络犯罪而言，司法者如果刻意忽视这种社会规范，甚至以个人价值覆盖社会规范，无疑会与实践产生极大的分歧。因此，网络爬虫法律属性的确定，必须需要回到计算机技术领域的视角下回答。

1.访问属性

访问数据就是网络爬虫的本质属性，也是其行为的起点，而因为访问权限的设立，致使网络爬虫存在未经授权或者超越授权访问数据的可能性，在实践中，对“授权”的设计具体可能表现为：访问权限控制存在多种不同的机制。在传统计算机信息传统安全框架下，用户身份认证信息是最经典也是最关键的权限控制方式。同时，也存在其他依附于该机制所构建的补充机制，如对访问请求的IP地址范围进行授权控制;又比如利用机器人协议和验证码机制对访问对象进行授权限制。在网络爬虫的场景下，业内一般将用户身份认证信息之外的措施称之为反爬机制。在实践中，有司法人士在案件论证中将反爬机制引入作为“未经收入或者超越授权”论理的立足点，认为：“被告单位正是伪造了 device_id 绕过了服务器的身份校验，并使用伪造 UA 及 IP 绕过服务器的访问频率限制才实行了对被害单位服务器数据库的访问。被告单位绕过APP客户端与被害单位网站服务器端的身份验证系统，行为性质实际就已经属于非法侵入被害单位的计算机信息系统了”。[7]对此，笔者不能赞同。这种论证的本质偏差在于将反爬机制与前述的用户身份认证信息作等同性理解，这种理解不仅导致刑事规制的不适当扩大，也反应了司法实践人员对技术知识的误解。

我国刑法第285条非法侵入计算机信息系统罪的立法之初，主要针对的是以黑客攻击等手段，突破控制者设立的安全保护措施的不法行为。喻海松法官认为“与计算机信息系统安全相关的数据中最为重要的是用于认证用户身份的身份认证信息（如口令、证书等），此类数据通常是网络安全的第一道防线，也是网络盗窃的最主要对象”。[8]这种结论并非是人为构造概念或者法益，而是对于计算机信息系统安全保护的深刻洞察、总结。我们反观互联网发展的历史，身份认证信息系统无疑是用来保护计算机信息系统和数据安全的最佳形式，它同时兼备了向用户（人类）和计算机信息系统同时进行“授权”声明的特质，不仅符合实际安全需要，而且符合社会规范的形式。正如国外著名的网络法学者Orin S. Kerr论述：“借助用户身份认证系统，网站主体可以在互联网中划分出明确的两个区域，开放空间和非开放空间。”[9]

而针对网络爬虫的反爬机制与用户身份认证信息机制在规制对象上是不同的，这是为了保护不同的法益而发展出的两种完全不同的技术措施。反爬机制的构建并不需要以用户身份认证信息为必备条件，其技术原理是通过对用户的访问IP＼UA＼访问频率等数据进行条件筛选进而屏蔽访问请求。因此不难看出，其技术本身也暗含着一种“授权”，司法人员对这种授权理解为：“不是通过真实的 UA 和 IP 进行的访问，均是无权限的非法访问”。这种理解具有一定违和之处：当一名真实的用户通过VPN访问该网站时，因为使用的不是真实IP，所以形成了无权限的非法访问。甚至于可以得出一种结论，司法人员试图用刑法保护网站对于用户行为的选择权，任何用户一旦违反网站的要求，就会有涉嫌触犯刑法的可能性。这个结论无疑是荒谬的，也难以让人接受。这也正是对刑法285条内涵“授权”理解的过度解读带来的消极结果。而由于司法人员对反爬机制的错误理解，导致其在论证的过程中并未意识到与反爬机制密切相关的法益侵害问题。

2.中性化的程序、工具属性

我国刑法第285条第3款规定了“专门用于侵入、非法控制计算机信息系统的程序、工具”，这实质上是对某类特定技术行为直接予以否定性评价。笔者认为，可以从该条款入手，探讨网络爬虫本身的价值与法律属性。

从罪状来看，“专门”是界定一项技术是否被纳入285条第3款予以规制的核心要素。刑法语意下的“专门”，是指“行为人所提供的程序、工具只能用于实施非法侵入、非法控制计算机信息系统的用途”。[10]立法者在设计该罪名构成要件时，显然考虑认识到涉计算机信息系统类犯罪的客观行为完全可以由中性程序予以实施。通过“专门”二字对行为人研发程序、工具的主观目的进行限定，从而避免了中性程序因为被用于犯罪而被刑事司法全面否定的情况，为中性程序、工具预留出罪路径，兼顾了打击犯罪和保障技术发展的需求。

从实践来看，网络爬虫的诞生有其必然性与合理性。万物互联时代的本质是信息借助计算机信息系统数据为载体，以互联网为脉络，跨实践、地域、文化进行流转，而一旦数据脱离流转，成为一滩“死水”，那计算机信息系统不过是一台大型的“计算器”，互联网也将失去“生命力”，其也必然不会成为现代社会不可或缺的工具。为应对海量数据，自动化处理数据技术的发展成为唯一的解决出路，而网络爬虫应运而生。不难看出，“数据流转”是一个典型的中性化的词语，在互联网语境之下，任何行为均是数据的流转。浏览网页是数据的流转，非法获取计算机信息系统同样是数据的流转。而作为数据流转工具之一的网络爬虫，也只是为实现数据流转所不可缺的一种中性化的工具。

三、网络爬虫的刑法应对

刑法适用的基本原则要求主客观相一致，而技术行为的客观特征决定了司法机关开展刑事规制的切入点。结合本案，笔者将进一步阐述，刑事法律在面对网络爬虫乃至具有相同技术特征的行为时，如何从数据访问权限、数据性质、合理注意义务三个层面进行判断、适用。

（一）数据访问权限的合法性论证

刑法目的之一是保障社会价值，维护社会管理秩序。计算机信息系统数据之所以值得被刑法保护，是因为在互联网社会背景之下，数据往往承载着特定的价值，如对公民而言，公民个人信息类数据具有多重价值，关系到公民的人身安全、隐私、财产安全等;如对企业而言，计算机信息系统数据往往本身就是商业秘密的内容，内涵经济利益;如对国家而言，关键基础设施的地理位置等关系到国防安全等价值，其以电子数据的形式呈现，如GPS标示等，则理应被刑法保护。而法律对上述数据的保护又充分考虑到其流动性的问题，以数据所有者是否“自愿、知情”为依据对数据获取的方式进行违法性判断。如行为人在数据所有者不知情、不自愿的情况下获取了相关数据，其违法性显而易见。《全国人民代表大会常务委员会关于加强网络信息保护的决定》，《网络安全法》等法律规定也对上述判断方式进行明确性规定。

而本案中，车牌号码系车管所基于“自愿、知情”的前提条件下，通过计算机信息系统，允许民众查询的计算机数据，具有公开性（部分外地车管所采用公開宣告而非查询的方式也可以提供“公开性”的例证）的特征，法律本身并没有对公民获取数据的数量、查询的次数进行规定。因此，第一种意见将注意力集中在“打码”技术上，认为通过机器学习、他人代填等非用户自主填写验证码的行为属于未经授权的行为。笔者对该意见不予赞同。有学者曾论述，非法数据访问和非法获取数据两种基本行为方式，分别对应数据支配权限、数据知悉状态两个数据安全的本质特征。[11]一种访问行为任意违反了上述两个特征之一，有可能被评价为非法获取计算机信息系统数据罪。但第一种意见显然错误地理解了技术行为与指向的保护对象。

验证码机制在业界有多种技术标准，以CAPTCHA为例：其全称是计算机和人类的图灵测试（Completely Automated Public Turing test to tell Computers and Humans Apart，简称CAPTCHA），是由谷歌公司研发的、一种较为常见的、并被广泛采用的公共全自动程序，其设计的目的是防止计算机程序自动、批量地访问某一计算机信息系统资源，其本身与网站主体的用户身份认证系统是相互独立的两个系统。用通俗的方式理解：网站用户身份验证系统的构建者是网站主体本身，与网站本身架构所关联，直接影响到网站数据的获取权限;而CAPTCHA的构建者是谷歌公司，其主体程序所依托的是谷歌围绕CAPTCHA所架设的系统。CAPTCHA作为独立的程序，即使通过其认证，亦同时需要正确的用户身份认证信息方可通过用户身份认证系统。

因此，验证码机制不过是另一种反爬机制，其与IP访问限制、UA限制具有同样的技术底色，所指向的保护对象并非是数据的支配状态或知悉状态，因此将违反这两种技术的行为认定为“未经授权或超越授权”并适用刑法285条，实际上是犯了“张冠李戴”的错误。

（二）网络爬虫获取的数据性质影响罪名的适用，非法获取计算机信息系统数据罪与其他罪名可能存在竞合的可能性

尽管笔者并不认为行为人涉嫌非法获取计算机信息系统数据罪，但本案事实涉及到车牌号码数据，这就引发了一个有趣的问题——非法获取计算机信息系统数据罪与侵犯公民个人信息罪在实践中的竞合适用。在当代互联网社会，公民个人信息与计算机信息系统数据有天然的重合性，数据作为信息的载体，势必会导致以其为对象的犯罪竞合。有观点认为，侵犯公民个人信息罪与非法获取计算机信息系统数据罪的适用：“由于只有一个犯罪行为，属于刑法中的想象竞合犯，按照处理一个犯罪形态的规则，应当从一重罪处断。”[12]。笔者对这种观点不予赞同。当范围限定于以电子数据形式保存的公民个人信息，两罪在逻辑上存在着交叉竞合关系，这种竞合是因为在立法时对罪状进行列举造成的法律规范的竞合。两罪之间关系可以从身份认证信息与公民个人信息的关系推衍，在公民个人信息定义中，身份认证信息无疑是作为构成公民个人信息概念的一个子集，将内容单一的身份认证信息作为普通要素，而将构成更加繁复的公民个人信息作为特别要素，区分对待，也正体现两个罪名的立法逻辑，因此非法获取计算机信息系统数据属于普通法，而侵犯公民个人信息属于特殊法。在采用法条竞合的观点之下，可以直接得出上述情况适用侵犯公民个人信息罪的结论。[13]上述论证的逻辑，同样适用于非法获取计算机信息系统数据罪与侵犯商业秘密罪的竟合情况。一般而言，法条竞合优先考虑的适用“特别法优于普通法”原则，但在实践中，有学者对司法实践进行归纳后，发现该罪名成为名副其实的“口袋罪”，[14]其实质上可以用于评价所有非法获取电脑系统数据的行为。因为犯罪构成判断简单、入罪标准较低、不需额外占用司法资源等原因，已经成为了多种犯罪行为的兜底性罪名。

（三）滥用网络爬虫可能构成破坏计算机信息系统罪

正如前文所述，网络爬虫的附随要素之一就是占用计算机信息系统资源（主要是网络带宽和硬件资源）。因此，滥用网络爬虫技术极有可能是导致目标计算机信息系统没有空闲资源响应用户的请求，一般表现为网站、服务不能正常访问。为了维护互联网正常秩序，倡导合理使用数据采集技术，全国网信办于2019年5月28日发布《数据安全管理办法》（征求意见稿），第16条规定：“网站运营者采取自动化手段访问收集网站数据，不妨碍网站正常运行;此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止”。这项条款也被称为“网络爬虫”条款，立法者并未直接否定网络爬虫，而是要求行为人对技术的使用应尽到合理注意义务，避免危害结果发生。正是出于对自身合法权益的维护，网络服务提供商才逐渐研究、发展、使用了验证码等反爬机制。

从滥用网络爬虫的危害结果进行审视，网络爬虫与DDOS攻击行为在技术行为上几乎是一致的，最大区别在于，DDOS系通过发送大量的虚假访问请求，恶意挤占对象的网络带宽资源，从而达到干扰计算机信息系统正常运行的结果，行为人主观罪过形式为故意;而网络爬虫在使用的过程中，可能因为行为人主观上的故意或者过失，导致上述结果的出现。因此，我们不能在出现了计算机信息系统被干扰的情况下，仅通过访问请求的真实性去认定犯罪，而同时应该结合对行为人主观层面的考察。司法机关可以通过以下要素判断行为人是否进到了合理注意义务，以区别其主观上究竟是故意还是过失：

第一，行为人是否在研发、使用网络爬虫程序之前，主动收集风险信息，合理研发、设计网络爬虫程序，确保网络爬虫之中立性。具体而言，司法机关应核实行为人是否曾主动了解过被访问计算机信息系统的性质（是否属于“三大领域”）、访问权限、被访问数据的性质、被访问计算机信息系统架构等信息。行为人是否在技术可行性的基础上，曾开展过合法性论证。

第二，行为人在使用网络爬虫的过程中，是否持续性地对网络爬虫的运行状态进行监控、修正，保持網络爬虫工具在合法、合理的范围内运行。在实践中，行为人对网络爬虫的使用并非是一个静止的样态，而是一个动态的、不断优化的过程。行为人在实施的过程中，必然涉及到对网络爬虫进行优化，而这种优化的实质内容是在网络爬虫的效率和对目标计算机信息系统的影响程度之间进行平衡、取舍，可以从客观上反应行为人的主观认知和意志，从而帮助司法机关进一步明确行为人的主观构成要件。

就本案而言，涉案程序自2017年以来共计访问24659793次，属于高频访问行为。但高频访问只是文义上的描述，应关注高频访问行为是否造成了刑法上的危害结果。在此类案件中，一般危害结果表现为对目标计算机信息系统流量带宽的占用是否达到了网站所能承受的上限，严重影响了其他用户的使用。但侦查机关在取证过程中，未能提取车管所网站储存的行为人访问数据，未对访问行为的流量与网站对车管流量进行对比，不能证实车管所网站在行为人使用网络爬虫的时间段内出现不能正常访问的情况（包括不能访问的持续时间），因此导致无法认定其行为符合破坏计算机信息系统罪的入罪标准。同时，检察机关注意到，行为人将网络爬虫设定的时间为凌晨，此段时间内网站访问人数较少，说明行为人有意避免网络爬虫影响到目标计算机信息系统的正常运转，其主观罪过形式可能系过失而非故意。因此，综合全案证据情况考虑，检察机关采取了第二种意见，作存疑不起诉处理。

注释：

[1]参见张文显：《法哲学范畴研究》，中国政法大学出版社2001年版，第69页。

[2]参见非可视性并不等于非可获得。一般而言，非可视性数据主要是指计算机信息系统程序在正常使用过程中需要处理的某类数据，这类数据并不直接体现为用户在前端网页上可以阅读的内容。比如网页的CSS样式、数据库、API接口等。

[3]国内一般翻译为机器人协议、爬虫协议。

[4]李慧敏、孙佳亮：《论爬虫抓取数据行为的法律边界》，《电子知识产权》2018年第12期。

[5]参见中国裁判文书网某市第一中级人民法院（2013）一中民初字第2668号刑事判决书。

[6]孙道萃：《网络刑法知识转型与立法回应》，《现代法学》2017年第1期。

[7]游涛、计莉卉：《使用网络爬虫获取数据行为的刑事责任认定》，《法律适用》2019年第10期。

[8]喻海松：
《〈关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释〉的理解与适用》，《人民司法》2011年第19期。

[9]Orin S. Kerr， Norms of Computer Trespass， 116 Colum. L. Rev. 1143， 1161 （2016）。

[10]参见全国人大常委会法制工作委员会刑法室：《中华人民共和国刑法条文说明、立法理由及相关规定》，北京大学出版社2009年版，第592页。

[11]参见于志刚、李源粒：《大数据时代数据犯罪的类型化与制裁思路》，《政治与法律》2016年第9期。

[12]喻海松：《网络犯罪二十讲》，法律出版社2018年版，第234页。

[13]参见陈兴良：《走向教义的刑法学》，北京大学出版社2018年版，第347页。

[14]参见杨志琼：《非法获取计算机信息系统数据罪“口袋化”的实证分析及其处理路径》，《法学评论》2018年第6期。