出品 | CDA數(shù)據(jù)分析師

在當(dāng)下大數(shù)據(jù)時(shí)代，數(shù)據(jù)具有非常大的價(jià)值，許多企業(yè)都需要使用它，無(wú)論是以商用形式還是非商用形式。而Web抓取是最常見的數(shù)據(jù)獲取方式之一，Web抓取使用漫游器自動(dòng)訪問(wèn)和收集公共可用的數(shù)據(jù)。

許多網(wǎng)站和服務(wù)出于數(shù)據(jù)安全及利益的考慮，會(huì)禁止在其ToS中進(jìn)行數(shù)據(jù)抓取，網(wǎng)頁(yè)抓取的合法性目前仍然是一個(gè)灰色地帶，然而到目前為止，全國(guó)各個(gè)國(guó)家關(guān)于數(shù)據(jù)爬取的法律條文都不太一致，強(qiáng)制實(shí)施程度也大不相同，因此進(jìn)行數(shù)據(jù)抓取業(yè)務(wù)需要保持警惕，并應(yīng)該根據(jù)過(guò)往一些法律案件判斷其合法性。

這就是為什么我們有必要討論一些對(duì)當(dāng)前Web數(shù)據(jù)抓取條例起到開創(chuàng)性作用的案例，讓我們回顧一下有關(guān)當(dāng)前Web數(shù)據(jù)抓取比較典型的三大法律案件。

案例一：Craigslist vs 3Taps

Craigslist和3Taps之間的案例為數(shù)據(jù)爬取的合法性以及企業(yè)拒絕訪問(wèn)公開數(shù)據(jù)的權(quán)利設(shè)置了許多先例。它涉及以下三個(gè)公司：Craigslist，3Taps和PadMapper。

Craigslist是一個(gè)網(wǎng)站和平臺(tái)，允許用戶發(fā)布各種不同類別的分類廣告。用戶可以在Craigslist上做任何廣告，其用戶量也非常大。Craiglist使用的關(guān)鍵內(nèi)容之一是找到住房以及備用房間。

PadMapper是一家匯總房屋廣告并允許用戶搜索其附近可用房屋的公司。為了實(shí)現(xiàn)此目的，PadMapper需要從各種不同的來(lái)源中抓取數(shù)據(jù)，Craigslist是PadMapper抓取數(shù)據(jù)的眾多站點(diǎn)之一。在2012年，PadMapper使用Craigslist生成的地圖可以顯示可用房間的位置。3Taps也是另一項(xiàng)業(yè)務(wù)，作為日常操作的一部分，它也在抓取Craigslist的數(shù)據(jù)，這其中涉及到了從公開可用的數(shù)據(jù)集中收集大量數(shù)據(jù)。

PadMapper和3Taps都在他們從Craigslist收集到的數(shù)據(jù)中獲得利益，盡管這種方式是間接的。但是，已抓取的數(shù)據(jù)是公開可用的，并且Craigslist并未嘗試限制對(duì)數(shù)據(jù)的訪問(wèn)。Craigslist的創(chuàng)始人Craig Newmark曾經(jīng)寫了一篇文章，哀嘆其服務(wù)的存在使Craigslists自己的資源非常緊張，并指出：“我們只考慮消耗大量寬帶的服務(wù)”。2012年6月，Craigslist向PadMapper發(fā)送了一封停止訪問(wèn)信，要求他們之后不能再?gòu)脑摼W(wǎng)站抓取有關(guān)房地產(chǎn)列表的數(shù)據(jù)。

Craigslist阻止了PadMapper和3Taps這兩家公司的IP地址訪問(wèn)該網(wǎng)站，從而有效地切斷了他們對(duì)Craigslists數(shù)據(jù)的訪問(wèn)及獲取。Craigslists認(rèn)為此操作是對(duì)數(shù)據(jù)的訪問(wèn)的進(jìn)行了限制，換句話說(shuō)，他們采取的立場(chǎng)是，在阻止這些企業(yè)的IP地址之后，應(yīng)將他們對(duì)原本可以公開獲得的數(shù)據(jù)的訪問(wèn)視為已受到密碼保護(hù)。

根據(jù)《計(jì)算機(jī)欺詐和濫用法》，未經(jīng)授權(quán)訪問(wèn)數(shù)據(jù)是非法的，而訪問(wèn)公開數(shù)據(jù)不是非法的，因此此案的重點(diǎn)是Craigslist是否可以使用該行為來(lái)防止個(gè)人用戶訪問(wèn)其他公開數(shù)據(jù)。對(duì)于整個(gè)數(shù)據(jù)抓取行業(yè)，這是一個(gè)重要的問(wèn)題。2012年，該行業(yè)還處于一個(gè)相對(duì)較早的階段，在過(guò)去的七年中，它的發(fā)展無(wú)疑已經(jīng)相當(dāng)可觀。

3Taps使用代理服務(wù)繞過(guò)了IP地址，從而繼續(xù)抓取Craigslist網(wǎng)站上的數(shù)據(jù)。PadMapper然后也開始通過(guò)3Taps間接訪問(wèn)Craigslist上的數(shù)據(jù)。然后，Craigslist便對(duì)這兩家公司的違法行為進(jìn)行起訴。他們聲稱其違反了CFAA，并且侵犯了Craigslist的版權(quán)。3Taps方面則并不認(rèn)為它違反了CFAA，因?yàn)橄嚓P(guān)數(shù)據(jù)是公開可用的，這意味著每個(gè)人都是法律上的授權(quán)用戶。同時(shí)，他們聲稱，實(shí)施模糊的訪問(wèn)限制可能會(huì)帶來(lái)一些負(fù)面影響，這可能給其他濫用其任意撤銷數(shù)據(jù)訪問(wèn)能力的企業(yè)打開了大門。

法院站在Craigslist的立場(chǎng)上，根據(jù)CFAA確認(rèn)，知識(shí)產(chǎn)權(quán)的封鎖，停止和終止都可以單獨(dú)視為充分的撤銷訪問(wèn)通知。最后，該案在庭外和解，Craigslist收到了100萬(wàn)美元，這筆款項(xiàng)捐贈(zèng)給了電子前沿基金會(huì)（Electronic Frontier Foundation），他們對(duì)Craigslist此案提供了很大的幫助。

這種情況提供的先例是，如果網(wǎng)站阻止了您的IP地址，如果繼續(xù)通過(guò)代理或VPN訪問(wèn)其服務(wù)器，根據(jù)CFAA則可能會(huì)被視為違反法規(guī)行為，并被歸類為未經(jīng)授權(quán)的數(shù)據(jù)訪問(wèn)。顯然，這對(duì)于許多刮板企業(yè)來(lái)說(shuō)是站不住腳的。

案例二：LinkedIn vs HiQ

LinkedIn與hiQ Labs（硅谷的數(shù)據(jù)抓取公司，與3Taps公司性質(zhì)類似）之間的爭(zhēng)執(zhí)與上述情況相呼應(yīng)。爭(zhēng)議本質(zhì)上非常相似，圍繞的是LinkedIn是否可以阻止創(chuàng)業(yè)公司訪問(wèn)LinkedIn上公開可用的數(shù)據(jù)。

就像Craigslist一樣，LinkedIn向hiQ發(fā)送了一封終止通知函，要求他們立即停止從LinkedIn服務(wù)器上抓取數(shù)據(jù)。他們還聲稱，該抓取行為違反了CFAA和《數(shù)字千年版權(quán)法案》。

HiQ對(duì)此作出了回應(yīng)，對(duì)LinkedIn提起了自己的訴訟，要求法院在判決他們與LinkedIn之間的案件時(shí)提供禁制令。法院批準(zhǔn)了該禁令，直到案件確定為止，LinkedIn被迫允許hiQ公司對(duì)他們的服務(wù)器進(jìn)行訪問(wèn)。

LinkedIn對(duì)該禁令提出上訴失敗，此案仍在審理中。

該案尚未得到判決，但是法院沒(méi)有簡(jiǎn)單地將案件歸因于Craigslist Vs 3Taps案，這表明法律制度認(rèn)識(shí)到情況已經(jīng)發(fā)生了變化。今天的數(shù)據(jù)抓取現(xiàn)象與七年前已經(jīng)有很大的不同。

案例三：瑞安航空 vs PR航空

歐洲法院對(duì)此案進(jìn)行了辯論，但與上述兩種情況相同。PR Aviation通過(guò)訪問(wèn)Ryanair的服務(wù)器以獲取數(shù)據(jù)，使用戶能夠?qū)Σ煌暮桨鄡r(jià)格進(jìn)行比較。與美國(guó)法院不同，EUCJ迅速做出了判決。瑞安航空認(rèn)為，PR Aviation的行為是違反服務(wù)條款的行為，也是侵犯版權(quán)的行為。

該案的焦點(diǎn)在于瑞安航空是否可以限制對(duì)其公開數(shù)據(jù)庫(kù)的訪問(wèn)，或者是否將被數(shù)據(jù)庫(kù)指令覆蓋。法院裁定，公開數(shù)據(jù)庫(kù)的所有者確實(shí)有權(quán)施加自己數(shù)據(jù)的訪問(wèn)限制。國(guó)家法院將對(duì)TOS的執(zhí)行提起訴訟，并決定該指令是否涵蓋數(shù)據(jù)庫(kù)。這意味著在歐盟，許多公共數(shù)據(jù)庫(kù)所有者被允許施加自己的訪問(wèn)限制。

在上面的三個(gè)案例中，焦點(diǎn)主要都集中在該國(guó)法律是否允許對(duì)其公開數(shù)據(jù)庫(kù)加以限制，從而決定該數(shù)據(jù)獲取行為是否構(gòu)成違法行為。在當(dāng)今信息膨脹的時(shí)代，web獲取數(shù)據(jù)的應(yīng)用滲透在我們工作的方方面面，而無(wú)論是哪種形式的數(shù)據(jù)獲取，都將接受法律的監(jiān)管。

根據(jù)上海數(shù)據(jù)治理與安全產(chǎn)業(yè)發(fā)展專業(yè)委員會(huì)的最新研究成果——《數(shù)據(jù)爬取治理報(bào)告》可知：

該報(bào)告指出，數(shù)據(jù)爬取作為數(shù)據(jù)采集的一種高效實(shí)現(xiàn)形式，是國(guó)內(nèi)外諸多互聯(lián)網(wǎng)企業(yè)極為通常甚至賴以生存的手段?？偣舶〝?shù)據(jù)爬取概述、數(shù)據(jù)爬取的現(xiàn)實(shí)法律風(fēng)險(xiǎn)、數(shù)據(jù)爬取的治理困境及難點(diǎn)、數(shù)據(jù)爬取的治理原則和建議、數(shù)據(jù)爬取相關(guān)爭(zhēng)端案例五個(gè)部分。

首先從技術(shù)原理、技術(shù)分類、技術(shù)特點(diǎn)、應(yīng)用現(xiàn)狀、發(fā)展趨勢(shì)和濫用危害六個(gè)部分介紹了數(shù)據(jù)爬取，并根據(jù)現(xiàn)實(shí)法律環(huán)境深度剖析了數(shù)據(jù)爬取在訪問(wèn)進(jìn)入、數(shù)據(jù)類型和數(shù)據(jù)使用三個(gè)環(huán)節(jié)可能的法律風(fēng)險(xiǎn)，總結(jié)發(fā)現(xiàn)數(shù)據(jù)爬取治理的七大難點(diǎn)，并針對(duì)性提出五項(xiàng)治理原則，以及不同治理主體的應(yīng)對(duì)措施，最后梳理了九個(gè)近年國(guó)內(nèi)外較為典型的數(shù)據(jù)爬取司法判例。

洛克曾在《政府論》指出，在一切能夠接受法律支配的人類狀態(tài)中，哪兒沒(méi)有法律，哪兒就沒(méi)有自由。知法執(zhí)法，合法行使網(wǎng)絡(luò)數(shù)據(jù)獲取的權(quán)利，也應(yīng)當(dāng)合法遵守網(wǎng)絡(luò)數(shù)據(jù)獲取的限制。