大數(shù)據(jù)的財(cái)富與陷阱_數(shù)據(jù)分析師考試

大數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。

2013年10月28日，三名新疆籍恐怖分子駕吉普車沖撞天安門，恐怖分子當(dāng)場(chǎng)全部燒死，可是警方僅用了10多個(gè)小時(shí)就全部抓住了5名同伙。警方如何快速鎖定嫌疑犯，這是國(guó)家秘密，但是從媒體披露的蛛絲馬跡中，我們還是能發(fā)現(xiàn)無(wú)處不在的監(jiān)控視頻和電信追蹤起到了至關(guān)重要的作用。從天安門廣場(chǎng)追溯過去的海量信息，通過一些模糊匹配方法能快速地過濾信息，最后找出恐怖活動(dòng)與嫌疑犯的相關(guān)性——這就是大數(shù)據(jù)的威力。

沒有最大，只有更大 維基百科這樣定義大數(shù)據(jù)（Big data）：大數(shù)據(jù)或巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大，以至于無(wú)法在合理時(shí)間內(nèi)通過人工截取、管理、處理并整理成為人類所能解讀的信息。我們舉個(gè)例子，IBM團(tuán)隊(duì)為了讓電腦戰(zhàn)勝國(guó)際象棋冠軍卡斯帕羅夫，收集了將近100年來(lái)的60萬(wàn)盤高手的棋譜，這個(gè)就是大數(shù)據(jù)，人腦是無(wú)法記憶所有這些棋譜并加以有效利用的。1997年，國(guó)際象棋特級(jí)大師卡斯帕羅夫在《危險(xiǎn)邊緣》（jeopardy）節(jié)目中首次輸給了IBM深藍(lán)電腦，成為轟動(dòng)一時(shí)的新聞。電腦能戰(zhàn)勝人腦，秘訣就在于存儲(chǔ)在深藍(lán)電腦內(nèi)的棋譜大數(shù)據(jù)?？茖W(xué)家們研制了人工智能博弈軟件，能從大量的棋譜中找出最合適的步驟，這是人腦所無(wú)法企及的。

有人把大數(shù)據(jù)的特征歸納為4V：Volume（量大）、Variety（多樣）、Velocity（高速）、Value（價(jià)值密度低）。讓我們來(lái)回顧一下剛剛過去的“雙十一”節(jié)，那天淘寶商城達(dá)成了1.88億筆交易，總交易額達(dá)創(chuàng)紀(jì)錄的350.19億元。這些交易記錄就形成了那天瘋狂網(wǎng)購(gòu)的大數(shù)據(jù)。 這樣的記錄首先體現(xiàn)在數(shù)據(jù)量巨大上。我們知道一部高清電影的容量大約有1GB，而1024個(gè)GB就是一個(gè)TB，再1024個(gè)TB就是一個(gè)PB，而大數(shù)據(jù)往往達(dá)到PB數(shù)量級(jí)，可見數(shù)據(jù)量大得無(wú)法想象。

其次，就是數(shù)據(jù)的多樣性，交易的品種、賣家的信息、買家的信息、快遞的信息、支付的信息，構(gòu)成了一個(gè)行業(yè)多樣化的數(shù)據(jù)鏈。第三，就是數(shù)據(jù)產(chǎn)生的速度極快，檢索結(jié)果的速度也要求快，要在幾百萬(wàn)件商品中查找出一類商品，其檢索速度只需要1秒，這是傳統(tǒng)技術(shù)無(wú)法達(dá)到的。最后，需要說(shuō)明的是，大數(shù)據(jù)的內(nèi)容雖然真實(shí)、完整地反映了客觀世界，但它的價(jià)值密度很低，如果不去研究挖掘，大數(shù)據(jù)是不會(huì)自動(dòng)產(chǎn)生有用結(jié)果的。

比如，在街景的海量監(jiān)控視頻中，犯罪分子留下的蹤影也許只有幾秒鐘。 大數(shù)據(jù)時(shí)代 英國(guó)的大數(shù)據(jù)權(quán)威專家維克托·邁爾-舍恩伯格（Viktor Mayer-Sch?nberger）寫過一本書，書名就叫《大數(shù)據(jù)時(shí)代》，書中首次斷言人類已經(jīng)無(wú)可逆轉(zhuǎn)地跨入了大數(shù)據(jù)時(shí)代。據(jù)他估算，人類在2000年時(shí)大約只有四分之一的信息實(shí)現(xiàn)了數(shù)字化，其他的四分之三的信息仍然以報(bào)紙、書籍、膠片、磁帶等形式存在，但是到了2007年人類存儲(chǔ)的數(shù)據(jù)超過了300艾字節(jié)，相當(dāng)于3000億GB的信息量。大數(shù)據(jù)時(shí)代在生活、工作和思維上給人們帶來(lái)了巨大變革。 首先，是數(shù)據(jù)的形式由原來(lái)的關(guān)系型數(shù)據(jù)（如電子表格形式）更多地表現(xiàn)為非關(guān)系型數(shù)據(jù)（如用戶評(píng)論、圖片等）；數(shù)據(jù)存儲(chǔ)方式也由原來(lái)集中式存儲(chǔ)變?yōu)?a href='/map/fenbushicunchu/' style='color:#000;font-size:inherit;'>分布式存儲(chǔ)，大型數(shù)據(jù)不得不存儲(chǔ)在不同地方的存儲(chǔ)服務(wù)器中，通過網(wǎng)絡(luò)進(jìn)行互聯(lián)訪問，構(gòu)成所謂的云存儲(chǔ)。

其次，是對(duì)數(shù)據(jù)處理的方式發(fā)生了根本變化，人們已無(wú)法只用一臺(tái)電腦處理數(shù)據(jù)，必須依賴網(wǎng)絡(luò)后面的云平臺(tái)，進(jìn)行云計(jì)算，才能有效處理大數(shù)據(jù)。在對(duì)大數(shù)據(jù)處理上，我們可以看到三個(gè)有趣的變化：在小數(shù)據(jù)時(shí)代，人們限于獲取數(shù)據(jù)的困難，只能采用隨機(jī)抽樣的方式獲取數(shù)據(jù)樣本，然后根據(jù)樣本數(shù)據(jù)進(jìn)行分析預(yù)測(cè)。一旦樣本出現(xiàn)偏差，那推導(dǎo)出的結(jié)果就會(huì)產(chǎn)生很大的誤差。

而在大數(shù)據(jù)時(shí)代，我們能輕易地得到數(shù)據(jù)全體，而不再需要樣本。譬如，阿里巴巴能得到所有買家的數(shù)據(jù)，它能輕易地統(tǒng)計(jì)“光棍節(jié)”那天的交易金額，算出哪個(gè)地區(qū)交易最活躍，可以通過媒體實(shí)時(shí)轉(zhuǎn)播交易盛況。這就是大數(shù)據(jù)的全數(shù)據(jù)模式，數(shù)據(jù)處理的范圍是全體，而不再是樣本。第二個(gè)變化，是不再一味地追求數(shù)據(jù)的精確性。由于大數(shù)據(jù)的多樣性、豐富性、動(dòng)態(tài)性（在處理的同時(shí)，數(shù)據(jù)還在大量產(chǎn)生），強(qiáng)調(diào)數(shù)據(jù)的精確性是做不到的，也沒有必要。紛繁的數(shù)據(jù)會(huì)混雜在一起，看起來(lái)好像全無(wú)用處，甚至有些還是錯(cuò)誤的數(shù)據(jù)，但是沒有關(guān)系，這就是大數(shù)據(jù)的本性，看似無(wú)關(guān)無(wú)用的一堆數(shù)據(jù)卻蘊(yùn)含著無(wú)限商機(jī)。

想一想，當(dāng)人們?cè)诎俣壬媳纫酝嗟厮阉鳌案忻啊薄鞍l(fā)熱”等關(guān)鍵字時(shí)，往往意味著某地將要爆發(fā)流感，甚至還能預(yù)測(cè)是什么流感，這就是大數(shù)據(jù)的威力。第三個(gè)變化，是關(guān)注數(shù)據(jù)之間的相關(guān)性，而不是因果關(guān)系。比方說(shuō)，通過挖掘天貓商城的交易數(shù)據(jù)，發(fā)現(xiàn)購(gòu)買德龍咖啡機(jī)的買家，會(huì)有很高的比例購(gòu)買寵物糧食，那商家會(huì)不失時(shí)機(jī)地推薦你購(gòu)買皇家狗糧?？Х葯C(jī)與狗糧沒有因果關(guān)系，但卻有內(nèi)在的相關(guān)性。數(shù)據(jù)之間的相關(guān)性，就是大數(shù)據(jù)所蘊(yùn)含的價(jià)值，也是商家追求的商機(jī)。大數(shù)據(jù)的相關(guān)性，告訴我們?cè)诿鎸?duì)錯(cuò)綜繁雜的大數(shù)據(jù)時(shí)，我們不需要去研究“為什么”，只要知道“是什么”就足夠了。

最后，大數(shù)據(jù)時(shí)代將催生一個(gè)數(shù)據(jù)挖掘行業(yè)，出現(xiàn)一批數(shù)字科學(xué)家。簡(jiǎn)單地說(shuō)，數(shù)據(jù)挖掘就是從收集的數(shù)據(jù)中用一定的算法分析計(jì)算，得到我們所需要信息和知識(shí)的過程。傳統(tǒng)的統(tǒng)計(jì)分析是將數(shù)據(jù)按已知的類別進(jìn)行分類統(tǒng)計(jì)，然后尋找有價(jià)值的數(shù)據(jù)。如果給定的分類是不合理的或是錯(cuò)誤的，那統(tǒng)計(jì)出來(lái)的結(jié)果就不會(huì)產(chǎn)生最好的效果。而數(shù)據(jù)挖掘采用的是一種叫“聚類”的方法，它事先不需要人工分類，而是由算法分析數(shù)據(jù)的屬性，將數(shù)據(jù)自動(dòng)聚集成“類”，使“類”間的相似性盡量小，“類”內(nèi)的相似性盡量大。比方說(shuō)，保險(xiǎn)業(yè)務(wù)涵蓋各類人群、各種職業(yè)，所以設(shè)計(jì)某個(gè)險(xiǎn)種潛在的客戶目標(biāo)群，需要對(duì)大量數(shù)據(jù)進(jìn)行挖掘，才能找出不同的客戶群和重要系數(shù)，這不是事先人為設(shè)定的。要“讓數(shù)據(jù)自己說(shuō)話”，這樣才能因地制宜地制訂營(yíng)銷計(jì)劃，科學(xué)測(cè)算盈虧平衡，為保險(xiǎn)企業(yè)創(chuàng)造更多利潤(rùn)。

大數(shù)據(jù)的紅利 有人斷言，數(shù)據(jù)將成為人類的重要資產(chǎn)，成為比石油和黃金更為重要的可重復(fù)開發(fā)使用的資源。筆者也認(rèn)同這個(gè)觀點(diǎn)。最近，媒體報(bào)道“三馬”聯(lián)手買保險(xiǎn)新聞，這是一個(gè)攢取大數(shù)據(jù)紅利的例子。

“三馬”利用阿里巴巴、騰訊和平安保險(xiǎn)三家公司掌握大數(shù)據(jù)的優(yōu)勢(shì)，成立了網(wǎng)絡(luò)保險(xiǎn)公司——眾安在線，這是具里程碑的互聯(lián)網(wǎng)金融創(chuàng)新，旨在利用大數(shù)據(jù)對(duì)保險(xiǎn)消費(fèi)者進(jìn)行準(zhǔn)確定位和精準(zhǔn)營(yíng)銷，瞄準(zhǔn)的主要是80后、90后的消費(fèi)者。可見，利用大數(shù)據(jù)技術(shù)將是未來(lái)各保險(xiǎn)公司搶奪市場(chǎng)非常關(guān)鍵的一環(huán)。

另一個(gè)有益的應(yīng)用將是利用大數(shù)據(jù)來(lái)防范電信詐騙。電信詐騙是當(dāng)今社會(huì)的一大頑疾，如果電信、銀行、互聯(lián)網(wǎng)、公安等各方擯棄利益糾結(jié)，共享各自的大數(shù)據(jù)，那么最大限度地杜絕電信詐騙是完全可能的。我們只要分析挖掘各方的大數(shù)據(jù)，找出電信詐騙相關(guān)性的數(shù)據(jù)因數(shù)，然后建立動(dòng)態(tài)監(jiān)控模型，那么一旦相關(guān)數(shù)據(jù)出現(xiàn)，公安就能根據(jù)數(shù)據(jù)鏈快速找到詐騙犯。

炒股的高手都想賺取大數(shù)據(jù)概念股的紅利。大數(shù)據(jù)的紅利在哪里？存在于大數(shù)據(jù)的擁有者、大數(shù)據(jù)技術(shù)公司和大數(shù)據(jù)價(jià)值挖掘者（也就是提供思維的數(shù)據(jù)科學(xué)家）。馬云說(shuō)過：未來(lái)的世界是數(shù)據(jù)的世界。大數(shù)據(jù)時(shí)代已經(jīng)撼動(dòng)了世界的方方面面，從工業(yè)、農(nóng)業(yè)、商業(yè)、科技到政府、醫(yī)療、教育、文化以及社會(huì)的其他各個(gè)領(lǐng)域，人們的生活日益被數(shù)據(jù)所改變。

可以說(shuō)，大數(shù)據(jù)是一種比石油、黃金還要珍貴的資源，誰(shuí)掌握了足夠多的數(shù)據(jù)，誰(shuí)就搶占了制高點(diǎn)，增強(qiáng)了競(jìng)爭(zhēng)力，也就掌握了未來(lái)。 大數(shù)據(jù)的負(fù)面清單 大數(shù)據(jù)無(wú)疑是一個(gè)資源寶庫(kù)，它蘊(yùn)藏著巨大的價(jià)值，有待人們?nèi)ネ诰?。但是，就像硬幣有兩面一樣，大?shù)據(jù)也有其負(fù)面清單，我把它歸結(jié)為數(shù)據(jù)壟斷、侵犯隱私和數(shù)據(jù)誤導(dǎo)三個(gè)主要方面。

數(shù)據(jù)壟斷是大數(shù)據(jù)的最大隱患。我們知道，大數(shù)據(jù)技術(shù)使得人類的態(tài)度、情緒、行為等以往認(rèn)為難以測(cè)量的方面，都可以變?yōu)閿?shù)據(jù)來(lái)進(jìn)行分析和預(yù)測(cè)。一旦大數(shù)據(jù)掌握在少數(shù)企業(yè)或政府部門之間，他們?yōu)榱司S護(hù)自己的利益而拒絕信息流動(dòng)，這不僅浪費(fèi)了數(shù)據(jù)資源，而且會(huì)阻礙數(shù)據(jù)創(chuàng)新，形成數(shù)據(jù)壟斷。比方說(shuō)，全國(guó)的房產(chǎn)數(shù)據(jù)如果能共享，這對(duì)國(guó)家了解房產(chǎn)的整體、真實(shí)情況非常有益，也能輕易挖出貪污腐敗的嫌疑分子，但是這些數(shù)據(jù)往往掌握在地方部門之間，不能形成有效共享。

侵犯隱私是大數(shù)據(jù)的影子，只有將大數(shù)據(jù)置于法律的陽(yáng)光下才能驅(qū)除。被斯諾登揭露的美國(guó)“棱鏡計(jì)劃”，就是利用訪問大數(shù)據(jù)的能力，監(jiān)控互聯(lián)網(wǎng)、電信等九大營(yíng)運(yùn)商的數(shù)據(jù)庫(kù)，從中挖掘“有用信息”，達(dá)到收集情報(bào)、秘密監(jiān)控的目的。電話、電郵、文檔、視頻、照片、聊天記錄等幾乎所有的信息都暴露在“棱鏡”之下，大數(shù)據(jù)為侵犯隱私開了方便之門。如果不對(duì)大數(shù)據(jù)的獲取、訪問、共享加以法律約束，那么個(gè)人隱私將不復(fù)存在。

美國(guó)最近有一款照片分享軟件（Snapchat）應(yīng)用很火，因?yàn)樗軡M足年輕人保護(hù)隱私的需要。在Snapchat中如果你分享一張照片給你的朋友，它將在對(duì)方閱讀后馬上自動(dòng)刪除，同時(shí)禁止在閱讀時(shí)屏幕截圖，具有“閱后即焚”的功效。因此，Snapchat也適合于發(fā)送商業(yè)機(jī)密或者敏感信息，焚毀后的照片不會(huì)在網(wǎng)上留下痕跡。這是人們反抗大數(shù)據(jù)的一個(gè)案例。但是在日常生活中，人們無(wú)法避開使用電信、互聯(lián)網(wǎng)、微博、微信、QQ等服務(wù)，透過這些服務(wù)所記錄的大數(shù)據(jù)，幾乎透明無(wú)遺地顯露了一個(gè)人的社交關(guān)系網(wǎng)。 數(shù)據(jù)誤導(dǎo)是大數(shù)據(jù)風(fēng)險(xiǎn)的一個(gè)側(cè)面，如果不對(duì)數(shù)據(jù)挖掘的結(jié)果加以評(píng)估驗(yàn)證，那利用大數(shù)據(jù)可能帶來(lái)錯(cuò)誤結(jié)果。雖然大數(shù)據(jù)容忍有數(shù)據(jù)差錯(cuò)，但如何有人主動(dòng)地弄“臟”數(shù)據(jù)，整個(gè)大數(shù)據(jù)就會(huì)被人為扭曲，加進(jìn)了虛假信息。

比如，我們?cè)谏咸詫毦W(wǎng)時(shí)，總是非常關(guān)注賣家的信用等級(jí)，但是總有一些賣家弄虛作假，通過自賣自買等虛構(gòu)交易，來(lái)“攢評(píng)分”“刷信用”，有的賣家甚至雇人來(lái)“刷鉆沖冠”。如果一個(gè)皇冠賣家的信用是靠“臟數(shù)據(jù)”獲取的，那買家的上當(dāng)受騙就是大概率事件。 大數(shù)據(jù)的紅利目前只能被有權(quán)有勢(shì)的大企業(yè)或政府部門瓜分，這對(duì)整個(gè)社會(huì)的健康、和諧發(fā)展是不利的。我們呼吁盡快立法，建立大數(shù)據(jù)共享平臺(tái)，打破數(shù)據(jù)壟斷，消除數(shù)據(jù)鴻溝，保護(hù)個(gè)人隱私，讓大數(shù)據(jù)成為新經(jīng)濟(jì)最重要的生產(chǎn)要素，讓普通人也能分享大數(shù)據(jù)的紅利。