大數據去偽存真的真正價值

　　大數據行業(yè)發(fā)展速度令人瞠目結舌，大數據分析為企業(yè)帶來巨大價值，已經成為企業(yè)決策新助手。但中國有句古話盡信書不如無書，其實大數據分析沒有你想象的那么完美。這主要是由于大數據中并不是所有的數據對用戶都有價值，一些垃圾信息甚至對數據價值帶來深深的傷害，如何對收集的數據進行篩選、去偽存真，才是大數據真正實現價值的關鍵。

　　何為垃圾信息?

　　什么是垃圾信息，簡單的說，就是那些混在大量有用的信息中的無用信息，有害信息，以及對大數據分析結果帶來影響的信息。

　　但垃圾信息并不是絕對的，可能這種信息對于用戶甲是無用的，對無分析結果是有害的，但是對于用戶乙來說，可能就是有用的信息。所以不同行業(yè)的用戶要學會區(qū)分自己數據中的信息哪些是垃圾信息，是無用的。

　　常見的垃圾信息：

　　在我們的日常生活中，各種垃圾信息可以說是無處不在。例如，當下網絡上擁有一大批的網絡水軍，這些人產生了大量的垃圾信息，對大數據分析結果造成惡劣的影響。在去年上映的《X的盛宴》，宣傳方雇傭了大批水軍進行刷分，造成了評分很高，但是觀后的口碑很差，最后主辦方不得不出面道歉息事寧人。這些網絡水軍的數據就是垃圾信息。

　　網絡水軍(圖片來自xinmin)

　　當然類似的例子還很多，在前幾年淘寶開店火爆的時候，有專門為賣家刷鉆的工具，這樣的結果造成了很多店家雖然鉆的級別很高，但是產品以及售后服務名不副實。微博用戶刷粉盛行一時，很多網絡大V的真實粉絲很少;論壇刷回復貼，營造論壇很火的局面;電商網站促銷期間刷交易單數。等等，這些垃圾信息都深深傷害了數據的價值。

　　大數據市場當前情況：

　　不可否認的是大數據擁有巨大的價值，但是就目前情況看來，大數據更像是鏡中花水中月，看似美好，實則言過其實。在浩如煙海的數據中心去發(fā)掘對用戶有價值的數據，就好比在垃圾場撿拾寶貝一樣，就好比在沙漠中尋找寶石一樣。

　　那么，如何從大量數據中心獲得對用戶有價值的信息呢?下面讓我們看一下當前人們是如何剔除垃圾信息，尋找數據價值。

　　如何剔除數據中的垃圾信息

　　剔除數據中的垃圾信息的作用?

　　為何要剔除這些垃圾信息你?其中一點上文中我們已經提到，這些垃圾信息影響我們的數據分析結果，讓數據價值難以體現，其實這只是垃圾信息的一種危害。同時，過多的垃圾信息還會造成客戶基礎設施的瓶頸，給系統(tǒng)帶來負擔，并增添存儲、主機等設備成本，大大增加企業(yè)用戶的運維成本。那么如何去除這些垃圾信息呢?

　　企業(yè)存儲架構

　　如何剔除數據中的垃圾信息?

　　大數據相比于傳統(tǒng)的數據有著一個重要的區(qū)別，那就是非結構化數據的出現，這讓傳統(tǒng)的按照原本特定的規(guī)則和參數剔除垃圾信息的方式失去了用武之地。大數據時代需要新的垃圾信息剔除方式。但如今大數據正處于發(fā)展出去，各大IT廠商雖然都競相推出了大數據解決方案，但是針對垃圾信息剔除方面的方法幾乎沒有。

　　筆者認為不妨從以下兩個方面入手：

　　人力方面:如今的大數據分析方面缺乏只能，這樣很多解決方案并不能真正的實現智能分析，而人工就要承擔其中的智能部分。有些數據分析問題會被發(fā)送于負責相應問題的專員，由相關的大數據分析專業(yè)人員提供問題的解決方案。

　　缺少大數據人才

　　但如今，針對大數據分析方面的專業(yè)人才極其缺乏。據麥肯錫調查，至2018年，美國市場將出現近20萬深度大數據分析的專業(yè)人才、150萬能夠進行數據解析的職業(yè)經理人的職位缺口。大數據專業(yè)人才不僅需要多年的數學知識積累，還需要有編程、業(yè)務知識等綜合能力，是稀缺的復合型人才;而對于聘用企業(yè)來說，也很難有合適的職位適合此類人才。

　　IT廠商方面：除了在人力方面加大力度，培訓專業(yè)的人才。還需要更多的大數據廠商來提供更加智能的解決方案，光靠人力顯然是不夠的。

　　在未來面對這么大一堆的垃圾，這將是大數據廠商的一個重要挑戰(zhàn)。廠商們需要確立新的數據標準，幫助用戶更加深入的分析數據，能夠智能分辨數據的級別，自動剔除重復的、同一IP地址的或者惡意干擾的數據，這樣才會大大加快數據分析的速度。從無到有，有的時候可能就是一點點，然后需要一點點時間，逐步的積累，這是對大數據廠商的長期考驗。

　　那么是否是有了大數據就萬事俱備了呢?

　　數據去偽存真是為了增強數據的有效性，但同時也要注意數據的時效性，數據的時效性同樣決定了大數據分析結果。我們需要根據不同的需求來確認數據的時效性，過時的東西我們即使分析出來了也不會我對我們的決策產生影響。

　　大數據分析需要注意時效性

　　例如，對于投資行業(yè)來說，這一時效性是至關重要的，投資行業(yè)需要根據市場上的數據快速的分析出結果，分析結果出現的越快，給用戶帶來的利益可能就更大，相反的話甚至可能造成資金的損失。

　　以人為本 大數據應以輔為主

　　大數據分析能夠為我們最有價值的信息，能夠幫助我們下達最有利于公司發(fā)展的覺得。但是對于用戶來說，完全依靠大數據分析卻并不可行。畢竟我們分析的數據都已經是發(fā)生的事情，大數據分析結果只能夠給我們提供參考，但是在前變化萬花的市場，還需要有一個精明的決策者，依靠大數據，一錘定音，決定企業(yè)的發(fā)展。

　　大數據分析并不是神，其只能給我們提供參考，幫我我們分析過去的發(fā)生的事情的規(guī)律，對我們未來進行預測，但是如今的大數據分析依然不夠智能，很多因素大數據分析并不能考慮到。例如，當年諾基亞和摩托羅拉稱霸手機市場的時候，我們收集的信息也全部是關于這兩個品牌的，但是誰能夠預測到安卓手機和蘋果手機的崛起速度。

　　綜上所述，在企業(yè)中，大數據在企業(yè)決策方面更多的是扮演輔助的角色，而不是最終的決策者。大數據中的數據包羅萬象，并不是簡單的數據分析就能夠得多最有利的結果的。在激烈的市場競爭中，大數據分析會越來越重要，但卻依然是人類的輔助者。