99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀數(shù)據(jù)時代的反爬蟲絕技
數(shù)據(jù)時代的反爬蟲絕技
2016-04-06
收藏

數(shù)據(jù)時代的反爬蟲絕技

網(wǎng)絡(luò)爬蟲已經(jīng)成了很普及的網(wǎng)絡(luò)技術(shù)，會代碼的可以自己搗鼓一個高級的“人工智能”爬蟲，不會的也可以從網(wǎng)上下載一個開源的，然后找個機器或一些代理服務(wù)器，就可以肆無忌憚的薅羊毛了。輕的是，爬蟲占用網(wǎng)絡(luò)和機器資源，影響網(wǎng)站服務(wù)訪問速度。重的是竊取寶貴的版權(quán)數(shù)據(jù)，尤其是大數(shù)據(jù)時代，數(shù)據(jù)經(jīng)常會是一個公司的核心競爭力。所以，爬和反爬永遠是一個攻防戰(zhàn)斗。

今天，我們就來回顧現(xiàn)有的反爬蟲技術(shù)。最后揭示了兩個反爬蟲絕技。

反爬蟲技術(shù)：

統(tǒng)計IP訪問(TCP/IP層面)

同一IP短時間內(nèi)多次訪問同一頁面，或是同一賬戶短時間內(nèi)多次進行相同操作。這個，基于IP或是cookie的訪問日志統(tǒng)計，或是實時的訪問統(tǒng)計，都可以發(fā)現(xiàn)爬蟲，進而用captcha來測試，或是直接iptable來屏蔽。

復(fù)雜一些的情況是獲取很多的IP，然后，每次訪問隨機的選取IP，對于這種情況，必須求助與基于用戶行為的反爬技術(shù)。

檢測HEADER(HTTP協(xié)議層面)

早期的爬蟲不大用心，經(jīng)常會隨便寫個user-agent，或是省略了referer，這種很好檢測。變得聰明后，它們開始模擬不同的user-agent和referer了。但cookie這個東西，由于server可以快速隨機變化，而且是傳遞狀態(tài)信息的，給爬蟲的編程帶來了一些難度，但也不是不可以逾越的。

偵測用戶行為(瀏覽器層面)

賬號注冊登錄，javascript和AJAX的動態(tài)頁面和動態(tài)數(shù)據(jù)請求，圖片表示和captcha，這些都是利用用戶行為的反爬蟲技術(shù)，而且得到了廣泛的采用，而且取得了很好的效果。

道高一尺，魔高一丈，現(xiàn)在流行的”人工智能“爬蟲，哈哈，人工智能很流行，我們也借用一下。實際上，它是機器調(diào)用瀏覽器內(nèi)核，然后利用類似phantomJS等來執(zhí)行JS來模擬人的操作以及觸發(fā)頁面中的JS腳本。它可以填寫表單，點擊按鈕，滾動頁面，總之，完完整整的把人瀏覽頁面獲取數(shù)據(jù)的過程模擬一遍。對于手機APP，也有類似的模擬觸屏和點擊的工具，完全可以模擬用戶行為完成微信登錄，關(guān)注公眾號，點擊文章，采集文章內(nèi)容，閱讀量，點贊數(shù)，總之，就和一個真實的人一樣。對于這種情況，很多具有數(shù)據(jù)的公司，基本束手無策。

今天，我們揭示兩個反擊”人工智能“的兩個殺手絕技。

第一，數(shù)據(jù)玷污!是的，玷污，就是真的，假的，數(shù)據(jù)混雜在一塊，讓你拿到了我的數(shù)據(jù)，也很難清理和使用。具體怎么做，先拋一個，比如，captcha，不管對錯，都會給出數(shù)據(jù)，對了，給出正確數(shù)據(jù)，錯了，對不起，數(shù)據(jù)可能是玷污之后的。哈哈，you got it!想知道更多?你知道怎么做。

第二，交押金!是的，押金，不是付費。用戶，先交一部分押金，每次訪問關(guān)鍵數(shù)據(jù)，會從押金里扣除一部分。一周或一月后，后臺系統(tǒng)根據(jù)日志做個統(tǒng)計挖掘，或是”深度學(xué)習(xí)“一下，看看哪些是真實的用戶，對于這些，退還押金重新獲取新的訪問。對于爬蟲用戶，對不起，錢被沒收了!

好了，今天就說這么多，希望反爬最終能戰(zhàn)勝爬，至少耗死爬蟲，或是讓爬蟲付出高昂代價。

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }