99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀 小心大數(shù)據(jù)的陷阱
小心大數(shù)據(jù)的陷阱
2014-09-03
收藏
          小心大數(shù)據(jù)的陷阱，前不久騰訊舉辦了一場夏季思享會，其主題是大數(shù)據(jù)。關(guān)于大數(shù)據(jù)，大家炒作得更多的是機(jī)遇、威力，比方說越來越多人利用 Google 的大數(shù)據(jù)來研究趨勢，輔助分析決策，但是這場思享會從另一個角度分享了一個很好的思考：大數(shù)據(jù)也可能是“大忽悠”。

          而最近對 Google Flu Trends（流感趨勢）的一些研究正好佐證了這一點(diǎn)。

          說到 Google Flu Trends，首先必須先提一提 Google Trends 和 Google Correlate。Google Trends 利用對用戶搜索的大數(shù)據(jù)分析來獲得人類某些活動的趨勢，只要在 Google Trends 上輸入某些查詢關(guān)鍵字即可返回相關(guān)活動的數(shù)據(jù)序列。而 Google Correlate 則是輸入數(shù)據(jù)序列可返回一組結(jié)果呈類似模式（相關(guān)性）的查詢，有點(diǎn)類似于 Google Trends 的反函數(shù)。

          Google Flu Trends 是 Google Trends 最早也是最知名的應(yīng)用之一。鑒于很多人患流感是往往會上 Google 查詢了解疾病情況和用藥，因此 Google 發(fā)現(xiàn)這種查詢與流感爆發(fā)存在著某種相關(guān)關(guān)系。Google Trends 曾經(jīng)有過多次對流感的成功預(yù)測，包括 2011/12 年的美國流感、2007/08 年瑞士流感、2005/06 年德國流感、2007/08 比利時流感等，其及時性甚至要比美國疾病預(yù)防控制中心還要高。

這顯示出了搜索“流感”與流感爆發(fā)的相關(guān)性。

          另一個例子是“宿醉”。比方說在 Google Trends 輸入“hangover（宿醉）”，你會發(fā)現(xiàn)這種情況在周六開始冒頭，然后周日到達(dá)巔峰，而到了周一則急劇下降。這種模式與輸入“伏特加”的查詢結(jié)果類似（滯后一天）。

          但是數(shù)據(jù)越大未必就能帶來更高的預(yù)測率。甚至還會帶來“假規(guī)律”和“偽相關(guān)”。比方說，搜索 2004 至 2012 年間的美國汽車銷售與“印度餐館”，結(jié)果發(fā)現(xiàn)二者之間竟然存在相關(guān)關(guān)系。這個東西顯然是無法解釋的。

偽相關(guān)的原因是什么呢？

           首先，相關(guān)性并不意味著因果關(guān)系。比方說，Google Flu Trends 對趨勢的預(yù)測并非屢試不爽。有幾次 Google Trends 就嚴(yán)重高估了流感病例的數(shù)量，包括 2011/12 的美國流感，2008/09 瑞士流感，2008/09 德國流感、2008/09 比利時流感等。

           英國倫敦大學(xué)學(xué)院的研究人員對此進(jìn)行了研究。結(jié)果發(fā)現(xiàn)，到 Google 搜索“流感”的人可以分成兩類，一類是感冒患者，一類是跟風(fēng)搜索者（可能是因?yàn)槊襟w報道而對感冒話題感興趣者）。

           顯然第一類人的數(shù)據(jù)才是有用的。其搜索是內(nèi)部產(chǎn)生的，獨(dú)立于外界的。因此這些人的搜索模式應(yīng)該與受到外界影響而進(jìn)行搜索的人的模式不同。而正是第二 類人的社會化搜索使得 Google Flu Trends 的預(yù)測失真。這正是因?yàn)?Google Flu Trends 把搜索“流感”與得流感的相關(guān)性當(dāng)成了因果關(guān)系所致。

而稍早前美國東北大學(xué)與哈佛大學(xué)的研究人員對 Google Flu Trends 的失真案例進(jìn)行的另一組研究則認(rèn)為，這反映出了熱炒大數(shù)據(jù)的氛圍下誕生的一股大數(shù)據(jù)自大思潮。這股思潮認(rèn)為，大數(shù)據(jù)完全可以取代傳統(tǒng)的數(shù)據(jù)收集方法。其最 大問題在于，絕大多數(shù)大數(shù)據(jù)與經(jīng)過嚴(yán)謹(jǐn)科學(xué)試驗(yàn)和采樣設(shè)計得到的數(shù)據(jù)之間存在很大的不同。首先，大未必全；其次，大則可能魚龍混雜。

           此外，Google搜索算法本身的變化也有可能影響到Google Flu Trends的結(jié)果。這個原因不難理解。要知道，Google 搜索的調(diào)整非常頻繁，單去年就進(jìn)行了890項(xiàng)改進(jìn)。其中就有不少屬于算法的調(diào)整。媒體對于流感流行的報道會增加與流感相關(guān)的詞匯的搜索次數(shù)，也會令 Google 增加相關(guān)搜索的推薦。從而令一些本身并不感冒的人也對流感產(chǎn)生了興趣，進(jìn)而把數(shù)據(jù)弄臟。

          如何清洗數(shù)據(jù)呢？歸根到底還是需要對數(shù)據(jù)進(jìn)行模式分析。在流感趨勢這個例子，研究人員認(rèn)為，執(zhí)行獨(dú)立搜索的患流 感人群的模式會隨著時間推移而異于社會化搜索。其表現(xiàn)應(yīng)該是在流感爆發(fā)時搜索急劇攀升，然后隨著流感消失而緩慢下降。相反，社會化搜索則會表現(xiàn)得更為勻 稱。數(shù)據(jù)表明，在 Google 流感趨勢出現(xiàn)高估的時候，趨勢曲線的對稱性的確更高。

          這說明在大數(shù)據(jù)分析時必須要注意此類陷阱。充斥的大數(shù)據(jù)集以及統(tǒng)計學(xué)家對分析結(jié)果的傳播會令真實(shí)的數(shù)據(jù)被放大或弄臟。

          正如《The Parable of Google Flu: Traps in Big Data Analysis》的作者所認(rèn)為那樣，數(shù)據(jù)的價值并不僅僅體現(xiàn)在其“大小”上。利用創(chuàng)新性數(shù)據(jù)分析方法去分析數(shù)據(jù)才是本質(zhì)。

          當(dāng)然，在未來數(shù)據(jù)能夠逐步成為真正的大數(shù)據(jù)，并且數(shù)字世界與實(shí)體世界的映射趨于一致時，大數(shù)據(jù)也許就能發(fā)揮其完全的威力，乃至于改變我們解決問題的方式。

數(shù)據(jù)分析師

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗(yàn)證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }