數(shù)據(jù)時代的反爬蟲絕技

網(wǎng)絡(luò)爬蟲已經(jīng)成了很普及的網(wǎng)絡(luò)技術(shù)，會代碼的可以自己搗鼓一個高級的“人工智能”爬蟲，不會的也可以從網(wǎng)上下載一個開源的，然后找個機器或一些代理服務(wù)器，就可以肆無忌憚的薅羊毛了。輕的是，爬蟲占用網(wǎng)絡(luò)和機器資源，影響網(wǎng)站服務(wù)訪問速度。重的是竊取寶貴的版權(quán)數(shù)據(jù)，尤其是大數(shù)據(jù)時代，數(shù)據(jù)經(jīng)常會是一個公司的核心競爭力。所以，爬和反爬永遠(yuǎn)是一個攻防戰(zhàn)斗。

今天，我們就來回顧現(xiàn)有的反爬蟲技術(shù)。最后揭示了兩個反爬蟲絕技。

反爬蟲技術(shù)：

統(tǒng)計IP訪問(TCP/IP層面)

同一IP短時間內(nèi)多次訪問同一頁面，或是同一賬戶短時間內(nèi)多次進行相同操作。這個，基于IP或是cookie的訪問日志統(tǒng)計，或是實時的訪問統(tǒng)計，都可以發(fā)現(xiàn)爬蟲，進而用captcha來測試，或是直接iptable來屏蔽。

復(fù)雜一些的情況是獲取很多的IP，然后，每次訪問隨機的選取IP，對于這種情況，必須求助與基于用戶行為的反爬技術(shù)。

檢測HEADER(HTTP協(xié)議層面)

早期的爬蟲不大用心，經(jīng)常會隨便寫個user-agent，或是省略了referer，這種很好檢測。變得聰明后，它們開始模擬不同的user-agent和referer了。但cookie這個東西，由于server可以快速隨機變化，而且是傳遞狀態(tài)信息的，給爬蟲的編程帶來了一些難度，但也不是不可以逾越的。

偵測用戶行為(瀏覽器層面)

賬號注冊登錄，javascript和AJAX的動態(tài)頁面和動態(tài)數(shù)據(jù)請求，圖片表示和captcha，這些都是利用用戶行為的反爬蟲技術(shù)，而且得到了廣泛的采用，而且取得了很好的效果。

道高一尺，魔高一丈，現(xiàn)在流行的”人工智能“爬蟲，哈哈，人工智能很流行，我們也借用一下。實際上，它是機器調(diào)用瀏覽器內(nèi)核，然后利用類似phantomJS等來執(zhí)行JS來模擬人的操作以及觸發(fā)頁面中的JS腳本。它可以填寫表單，點擊按鈕，滾動頁面，總之，完完整整的把人瀏覽頁面獲取數(shù)據(jù)的過程模擬一遍。對于手機APP，也有類似的模擬觸屏和點擊的工具，完全可以模擬用戶行為完成微信登錄，關(guān)注公眾號，點擊文章，采集文章內(nèi)容，閱讀量，點贊數(shù)，總之，就和一個真實的人一樣。對于這種情況，很多具有數(shù)據(jù)的公司，基本束手無策。

今天，我們揭示兩個反擊”人工智能“的兩個殺手絕技。

第一，數(shù)據(jù)玷污!是的，玷污，就是真的，假的，數(shù)據(jù)混雜在一塊，讓你拿到了我的數(shù)據(jù)，也很難清理和使用。具體怎么做，先拋一個，比如，captcha，不管對錯，都會給出數(shù)據(jù)，對了，給出正確數(shù)據(jù)，錯了，對不起，數(shù)據(jù)可能是玷污之后的。哈哈，you got it!想知道更多?你知道怎么做。

第二，交押金!是的，押金，不是付費。用戶，先交一部分押金，每次訪問關(guān)鍵數(shù)據(jù)，會從押金里扣除一部分。一周或一月后，后臺系統(tǒng)根據(jù)日志做個統(tǒng)計挖掘，或是”深度學(xué)習(xí)“一下，看看哪些是真實的用戶，對于這些，退還押金重新獲取新的訪問。對于爬蟲用戶，對不起，錢被沒收了!

好了，今天就說這么多，希望反爬最終能戰(zhàn)勝爬，至少耗死爬蟲，或是讓爬蟲付出高昂代價。