盡信書不如無(wú)書 大數(shù)據(jù)分析要去偽存真

    大數(shù)據(jù)行業(yè)發(fā)展速度令人瞠目結(jié)舌，大數(shù)據(jù)分析為企業(yè)帶來(lái)巨大價(jià)值，已經(jīng)成為企業(yè)決策新助手。但中國(guó)有句古話“盡信書不如無(wú)書”，其實(shí)大數(shù)據(jù)分析沒(méi)有你想象的那么完美。這主要是由于大數(shù)據(jù)中并不是所有的數(shù)據(jù)對(duì)用戶都有價(jià)值，一些垃圾信息甚至對(duì)數(shù)據(jù)價(jià)值帶來(lái)深深的傷害，如何對(duì)收集的數(shù)據(jù)進(jìn)行篩選、去偽存真，才是大數(shù)據(jù)真正實(shí)現(xiàn)價(jià)值的關(guān)鍵。

    何為垃圾信息？

    什么是垃圾信息，簡(jiǎn)單的說(shuō)，就是那些混在大量有用的信息中的無(wú)用信息，有害信息，以及對(duì)大數(shù)據(jù)分析結(jié)果帶來(lái)影響的信息。

    但垃圾信息并不是絕對(duì)的，可能這種信息對(duì)于用戶甲是無(wú)用的，對(duì)無(wú)分析結(jié)果是有害的，但是對(duì)于用戶乙來(lái)說(shuō)，可能就是有用的信息。所以不同行業(yè)的用戶要學(xué)會(huì)區(qū)分自己數(shù)據(jù)中的信息哪些是垃圾信息，是無(wú)用的。

    常見(jiàn)的垃圾信息：

    在我們的日常生活中，各種垃圾信息可以說(shuō)是無(wú)處不在。例如，當(dāng)下網(wǎng)絡(luò)上擁有一大批的網(wǎng)絡(luò)水軍，這些人產(chǎn)生了大量的垃圾信息，對(duì)大數(shù)據(jù)分析結(jié)果造成惡劣的影響。在去年上映的《X的盛宴》，宣傳方雇傭了大批水軍進(jìn)行刷分，造成了評(píng)分很高，但是觀后的口碑很差，最后主辦方不得不出面道歉息事寧人。這些網(wǎng)絡(luò)水軍的數(shù)據(jù)就是垃圾信息。

網(wǎng)絡(luò)水軍（圖片來(lái)自xinmin）

    當(dāng)然類似的例子還很多，在前幾年淘寶開(kāi)店火爆的時(shí)候，有專門為賣家刷鉆的工具，這樣的結(jié)果造成了很多店家雖然鉆的級(jí)別很高，但是產(chǎn)品以及售后服務(wù)名不副實(shí)。微博用戶刷粉盛行一時(shí)，很多網(wǎng)絡(luò)大V的真實(shí)粉絲很少；論壇刷回復(fù)貼，營(yíng)造論壇很火的局面；電商網(wǎng)站促銷期間刷交易單數(shù)。等等，這些垃圾信息都深深傷害了數(shù)據(jù)的價(jià)值。

    大數(shù)據(jù)市場(chǎng)當(dāng)前情況：

    不可否認(rèn)的是大數(shù)據(jù)擁有巨大的價(jià)值，但是就目前情況看來(lái)，大數(shù)據(jù)更像是鏡中花水中月，看似美好，實(shí)則言過(guò)其實(shí)。在浩如煙海的數(shù)據(jù)中心去發(fā)掘?qū)τ脩粲袃r(jià)值的數(shù)據(jù)，就好比在垃圾場(chǎng)撿拾寶貝一樣，就好比在沙漠中尋找寶石一樣。

    那么，如何從大量數(shù)據(jù)中心獲得對(duì)用戶有價(jià)值的信息呢？下面讓我們看一下當(dāng)前人們是如何剔除垃圾信息，尋找數(shù)據(jù)價(jià)值。

    剔除數(shù)據(jù)中的垃圾信息的作用？

    為何要剔除這些垃圾信息呢？其中一點(diǎn)上文中我們已經(jīng)提到，這些垃圾信息影響我們的數(shù)據(jù)分析結(jié)果，讓數(shù)據(jù)價(jià)值難以體現(xiàn)，其實(shí)這只是垃圾信息的一種危害。同時(shí)，過(guò)多的垃圾信息還會(huì)造成客戶基礎(chǔ)設(shè)施的瓶頸，給系統(tǒng)帶來(lái)負(fù)擔(dān)，并增添存儲(chǔ)、主機(jī)等設(shè)備成本，大大增加企業(yè)用戶的運(yùn)維成本。那么如何去除這些垃圾信息呢？

企業(yè)存儲(chǔ)架構(gòu)

    如何剔除數(shù)據(jù)中的垃圾信息？

    大數(shù)據(jù)相比于傳統(tǒng)的數(shù)據(jù)有著一個(gè)重要的區(qū)別，那就是非結(jié)構(gòu)化數(shù)據(jù)的出現(xiàn)，這讓傳統(tǒng)的按照原本特定的規(guī)則和參數(shù)剔除垃圾信息的方式失去了用武之地。大數(shù)據(jù)時(shí)代需要新的垃圾信息剔除方式。但如今大數(shù)據(jù)正處于發(fā)展出去，各大IT廠商雖然都競(jìng)相推出了大數(shù)據(jù)解決方案，但是針對(duì)垃圾信息剔除方面的方法幾乎沒(méi)有。

    筆者認(rèn)為不妨從以下兩個(gè)方面入手：

    人力方面:如今的大數(shù)據(jù)分析方面缺乏只能，這樣很多解決方案并不能真正的實(shí)現(xiàn)智能分析，而人工就要承擔(dān)其中的智能部分。有些數(shù)據(jù)分析問(wèn)題會(huì)被發(fā)送于負(fù)責(zé)相應(yīng)問(wèn)題的專員，由相關(guān)的大數(shù)據(jù)分析專業(yè)人員提供問(wèn)題的解決方案。

缺少大數(shù)據(jù)人才

    但如今，針對(duì)大數(shù)據(jù)分析方面的專業(yè)人才極其缺乏。據(jù)麥肯錫調(diào)查，至2018年，美國(guó)市場(chǎng)將出現(xiàn)近20萬(wàn)深度大數(shù)據(jù)分析的專業(yè)人才、150萬(wàn)能夠進(jìn)行數(shù)據(jù)解析的職業(yè)經(jīng)理人的職位缺口。大數(shù)據(jù)專業(yè)人才不僅需要多年的數(shù)學(xué)知識(shí)積累，還需要有編程、業(yè)務(wù)知識(shí)等綜合能力，是稀缺的復(fù)合型人才；而對(duì)于聘用企業(yè)來(lái)說(shuō)，也很難有合適的職位適合此類人才。

    IT廠商方面：除了在人力方面加大力度，培訓(xùn)專業(yè)的人才。還需要更多的大數(shù)據(jù)廠商來(lái)提供更加智能的解決方案，光靠人力顯然是不夠的。

    在未來(lái)面對(duì)這么大一堆的垃圾，這將是大數(shù)據(jù)廠商的一個(gè)重要挑戰(zhàn)。廠商們需要確立新的數(shù)據(jù)標(biāo)準(zhǔn)，幫助用戶更加深入的分析數(shù)據(jù)，能夠智能分辨數(shù)據(jù)的級(jí)別，自動(dòng)剔除重復(fù)的、同一IP地址的或者惡意干擾的數(shù)據(jù)，這樣才會(huì)大大加快數(shù)據(jù)分析的速度。從無(wú)到有，有的時(shí)候可能就是一點(diǎn)點(diǎn)，然后需要一點(diǎn)點(diǎn)時(shí)間，逐步的積累，這是對(duì)大數(shù)據(jù)廠商的長(zhǎng)期考驗(yàn)。

    那么是否是有了大數(shù)據(jù)就萬(wàn)事俱備了呢？

    大數(shù)據(jù)分析需要注意時(shí)效性

    數(shù)據(jù)去偽存真是為了增強(qiáng)數(shù)據(jù)的有效性，但同時(shí)也要注意數(shù)據(jù)的時(shí)效性，數(shù)據(jù)的時(shí)效性同樣決定了大數(shù)據(jù)分析結(jié)果。我們需要根據(jù)不同的需求來(lái)確認(rèn)數(shù)據(jù)的時(shí)效性，過(guò)時(shí)的東西我們即使分析出來(lái)了也不會(huì)我對(duì)我們的決策產(chǎn)生影響。

大數(shù)據(jù)分析需要注意時(shí)效性

    例如，對(duì)于投資行業(yè)來(lái)說(shuō)，這一時(shí)效性是至關(guān)重要的，投資行業(yè)需要根據(jù)市場(chǎng)上的數(shù)據(jù)快速的分析出結(jié)果，分析結(jié)果出現(xiàn)的越快，給用戶帶來(lái)的利益可能就更大，相反的話甚至可能造成資金的損失。

    以人為本 大數(shù)據(jù)應(yīng)以輔為主

    大數(shù)據(jù)分析能夠?yàn)槲覀冏钣袃r(jià)值的信息，能夠幫助我們下達(dá)最有利于公司發(fā)展的覺(jué)得。但是對(duì)于用戶來(lái)說(shuō)，完全依靠大數(shù)據(jù)分析卻并不可行。畢竟我們分析的數(shù)據(jù)都已經(jīng)是發(fā)生的事情，大數(shù)據(jù)分析結(jié)果只能夠給我們提供參考，但是在前變化萬(wàn)花的市場(chǎng)，還需要有一個(gè)精明的決策者，依靠大數(shù)據(jù)，一錘定音，決定企業(yè)的發(fā)展。

    大數(shù)據(jù)分析并不是神，其只能給我們提供參考，幫我我們分析過(guò)去的發(fā)生的事情的規(guī)律，對(duì)我們未來(lái)進(jìn)行預(yù)測(cè)，但是如今的大數(shù)據(jù)分析依然不夠智能，很多因素大數(shù)據(jù)分析并不能考慮到。例如，當(dāng)年諾基亞和摩托羅拉稱霸手機(jī)市場(chǎng)的時(shí)候，我們收集的信息也全部是關(guān)于這兩個(gè)品牌的，但是誰(shuí)能夠預(yù)測(cè)到安卓手機(jī)和蘋果手機(jī)的崛起速度。

    綜上所述，在企業(yè)中，大數(shù)據(jù)在企業(yè)決策方面更多的是扮演輔助的角色，而不是最終的決策者。大數(shù)據(jù)中的數(shù)據(jù)包羅萬(wàn)象，并不是簡(jiǎn)單的數(shù)據(jù)分析就能夠得多最有利的結(jié)果的。在激烈的市場(chǎng)競(jìng)爭(zhēng)中，大數(shù)據(jù)分析會(huì)越來(lái)越重要，但卻依然是人類的輔助者。