一文認(rèn)識(shí)并讀懂大數(shù)據(jù)

在寫(xiě)這篇文章之前，我發(fā)現(xiàn)身邊很多IT人對(duì)于這些熱門(mén)的新技術(shù)、新趨勢(shì)往往趨之若鶩卻又很難說(shuō)的透徹，如果你問(wèn)他大數(shù)據(jù)和你有什么關(guān)系？估計(jì)很少能 說(shuō)出一二三來(lái)。究其原因，一是因?yàn)榇蠹覍?duì)新技術(shù)有著相同的原始渴求，至少知其然在聊天時(shí)不會(huì)顯得很“土鱉”；二是在工作和生活環(huán)境中真正能參與實(shí)踐大數(shù)據(jù) 的案例實(shí)在太少了，所以大家沒(méi)有必要花時(shí)間去知其所以然。

我希望有些不一樣，所以對(duì)該如何去認(rèn)識(shí)大數(shù)據(jù)進(jìn)行了一番思索，包括查閱了資料，翻閱了最新的專(zhuān)業(yè)書(shū)籍，但我并不想把那些零散的資料碎片或不同理解論述簡(jiǎn)單規(guī)整并堆積起來(lái)形成毫無(wú)價(jià)值的轉(zhuǎn)述或評(píng)論，我很真誠(chéng)的希望進(jìn)入事物探尋本質(zhì)。

如果你說(shuō)大數(shù)據(jù)就是數(shù)據(jù)大，或者侃侃而談4個(gè)V，也許很有深度的談到BI或預(yù)測(cè)的價(jià)值，又或者拿Google和Amazon舉例，技術(shù)流可能會(huì)聊起 Hadoop和Cloud Computing，不管對(duì)錯(cuò)，只是無(wú)法勾勒對(duì)大數(shù)據(jù)的整體認(rèn)識(shí)，不說(shuō)是片面，但至少有些管窺蠡測(cè)、隔衣瘙癢了。……也許，“解構(gòu)”是最好的方法。

怎樣結(jié)構(gòu)大數(shù)據(jù)？

首先，我認(rèn)為大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒(méi)有必要神話它或?qū)λ３志次分?，在?a href='/map/yunjisuan/' style='color:#000;font-size:inherit;'>云計(jì)算為代表的技術(shù)創(chuàng)新大幕的襯托下，這些原本很難收集和使用的數(shù)據(jù)開(kāi)始容易被利用起來(lái)了，通過(guò)各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會(huì)逐步為人類(lèi)創(chuàng)造更多的價(jià)值。

其次，想要系統(tǒng)的認(rèn)知大數(shù)據(jù)，必須要全面而細(xì)致的分解它，我著手從三個(gè)層面來(lái)展開(kāi)：

第一層面是理論，理論是認(rèn)知的必經(jīng)途徑，也是被廣泛認(rèn)同和傳播的基線。我會(huì)從大數(shù)據(jù)的特征定義理解行業(yè)對(duì)大數(shù)據(jù) 的整體描繪和定性；從對(duì)大數(shù)據(jù)價(jià)值的探討來(lái)深入解析大數(shù)據(jù)的珍貴所在；從對(duì)大數(shù)據(jù)的現(xiàn)在和未來(lái)去洞悉大數(shù)據(jù)的發(fā)展趨勢(shì)；從大數(shù)據(jù)隱私這個(gè)特別而重要的視角 審視人和數(shù)據(jù)之間的長(zhǎng)久博弈。

第二層面是技術(shù)，技術(shù)是大數(shù)據(jù)價(jià)值體現(xiàn)的手段和前進(jìn)的基石。我將分別從云計(jì)算、分布式處理技術(shù)、存儲(chǔ)技術(shù)和感知技術(shù)的發(fā)展來(lái)說(shuō)明大數(shù)據(jù)從采集、處理、存儲(chǔ)到形成結(jié)果的整個(gè)過(guò)程。

第三層面是實(shí)踐，實(shí)踐是大數(shù)據(jù)的最終價(jià)值體現(xiàn)。我將分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個(gè)人的大數(shù)據(jù)四個(gè)方面來(lái)描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實(shí)現(xiàn)的藍(lán)圖。

 和大數(shù)據(jù)相關(guān)的理論

? 特征定義

最早提出大數(shù)據(jù)時(shí)代到來(lái)的是麥肯錫：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。”

業(yè)界（IBM 最早定義）將大數(shù)據(jù)的特征歸納為4個(gè)“V”（量Volume，多樣Variety，價(jià)值Value，速Velocity），或者說(shuō)特點(diǎn)有四個(gè)層面：第一， 數(shù)據(jù)體量巨大。大數(shù)據(jù)的起始計(jì)量單位至少是P（1000個(gè)T）、E（100萬(wàn)個(gè)T）或Z（10億個(gè)T）；第二，數(shù)據(jù)類(lèi)型繁多。比如，網(wǎng)絡(luò)日志、視頻、圖 片、地理位置信息等等。第三，價(jià)值密度低，商業(yè)價(jià)值高。第四，處理速度快。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

其實(shí)這些V并不能真正說(shuō)清楚大數(shù)據(jù)的所有特征，下面這張圖對(duì)大數(shù)據(jù)的一些相關(guān)特性做出了有效的說(shuō)明。

古語(yǔ)云：三分技術(shù)，七分?jǐn)?shù)據(jù)，得數(shù)據(jù)者得天下。先不論誰(shuí)說(shuō)的，但是這 句話的正確性已經(jīng)不用去論證了。維克托·邁爾-舍恩伯格在《大數(shù)據(jù)時(shí)代》一書(shū)中舉了百般例證，都是為了說(shuō)明一個(gè)道理：在大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)的時(shí)候要用大數(shù) 據(jù)思維去發(fā)掘大數(shù)據(jù)的潛在價(jià)值。書(shū)中，作者提及最多的是Google如何利用人們的搜索記錄挖掘數(shù)據(jù)二次利用價(jià)值，比如預(yù)測(cè)某地流感爆發(fā)的趨 勢(shì)；Amazon如何利用用戶(hù)的購(gòu)買(mǎi)和瀏覽歷史數(shù)據(jù)進(jìn)行有針對(duì)性的書(shū)籍購(gòu)買(mǎi)推薦，以此有效提升銷(xiāo)售量；Farecast如何利用過(guò)去十年所有的航線機(jī)票價(jià) 格打折數(shù)據(jù)，來(lái)預(yù)測(cè)用戶(hù)購(gòu)買(mǎi)機(jī)票的時(shí)機(jī)是否合適。

那么，什么是大數(shù)據(jù)思維？維克托·邁爾-舍恩伯格認(rèn)為，1-需要全部數(shù)據(jù)樣本而不是抽樣；2-關(guān)注效率而不是精確度；3-關(guān)注相關(guān)性而不是因果關(guān)系。

阿里巴巴的王堅(jiān)對(duì)于大數(shù)據(jù)也有一些獨(dú)特的見(jiàn)解，比如，

“今天的數(shù)據(jù)不是大，真正有意思的是數(shù)據(jù)變得在線了，這個(gè)恰恰是互聯(lián)網(wǎng)的特點(diǎn)?！?/span>

“非互聯(lián)網(wǎng)時(shí)期的產(chǎn)品，功能一定是它的價(jià)值，今天互聯(lián)網(wǎng)的產(chǎn)品，數(shù)據(jù)一定是它的價(jià)值?！?/span>

“你千萬(wàn)不要想著拿數(shù)據(jù)去改進(jìn)一個(gè)業(yè)務(wù)，這不是大數(shù)據(jù)。你一定是去做了一件以前做不了的事情?！?/span>

特別是最后一點(diǎn)，我是非常認(rèn)同的，大數(shù)據(jù)的真正價(jià)值在于創(chuàng)造，在于填補(bǔ)無(wú)數(shù)個(gè)還未實(shí)現(xiàn)過(guò)的空白。

有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無(wú)煙煤、肥煤、貧煤等分類(lèi)，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類(lèi)似，大數(shù)據(jù)并不在“大”，而在于“有用”。價(jià)值含量、挖掘成本比數(shù)量更為重要。

? 價(jià)值探討

大數(shù)據(jù)是什么？投資者眼里是金光閃閃的兩個(gè)字：資產(chǎn)。比如，F(xiàn)acebook上市時(shí)，評(píng)估機(jī)構(gòu)評(píng)定的有效資產(chǎn)中大部分都是其社交網(wǎng)站上的數(shù)據(jù)。

如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

Target 超市以20多種懷孕期間孕婦可能會(huì)購(gòu)買(mǎi)的商品為基礎(chǔ)，將所有用戶(hù)的購(gòu)買(mǎi)記錄作為數(shù)據(jù)來(lái)源，通過(guò)構(gòu)建模型分析購(gòu)買(mǎi)者的行為相關(guān)性，能準(zhǔn)確的推斷出孕婦的具體臨盆時(shí)間，這樣Target的銷(xiāo)售部門(mén)就可以有針對(duì)的在每個(gè)懷孕顧客的不同階段寄送相應(yīng)的產(chǎn)品優(yōu)惠卷。

Target的例子是一個(gè)很典型的案例，這樣印證了維克托·邁爾-舍恩伯格提過(guò)的一個(gè)很有指導(dǎo)意義的觀點(diǎn)：通過(guò)找出一個(gè)關(guān)聯(lián)物并監(jiān)控它，就可以預(yù)測(cè) 未來(lái)。Target通過(guò)監(jiān)測(cè)購(gòu)買(mǎi)者購(gòu)買(mǎi)商品的時(shí)間和品種來(lái)準(zhǔn)確預(yù)測(cè)顧客的孕期，這就是對(duì)數(shù)據(jù)的二次利用的典型案例。如果，我們通過(guò)采集駕駛員手機(jī)的GPS 數(shù)據(jù)，就可以分析出當(dāng)前哪些道路正在堵車(chē)，并可以及時(shí)發(fā)布道路交通提醒；通過(guò)采集汽車(chē)的GPS位置數(shù)據(jù)，就可以分析城市的哪些區(qū)域停車(chē)較多，這也代表該區(qū) 域有著較為活躍的人群，這些分析數(shù)據(jù)適合賣(mài)給廣告投放商。

不管大數(shù)據(jù)的核心價(jià)值是不是預(yù)測(cè)，但是基于大數(shù)據(jù)形成決策的模式已經(jīng)為不少的企業(yè)帶來(lái)了盈利和聲譽(yù)。

從大數(shù)據(jù)的價(jià)值鏈條來(lái)分析，存在三種模式：

1- 手握大數(shù)據(jù)，但是沒(méi)有利用好；比較典型的是金融機(jī)構(gòu)，電信行業(yè)，政府機(jī)構(gòu)等。

2- 沒(méi)有數(shù)據(jù)，但是知道如何幫助有數(shù)據(jù)的人利用它；比較典型的是IT咨詢(xún)和服務(wù)企業(yè)，比如，埃森哲，IBM，Oracle等。

3- 既有數(shù)據(jù)，又有大數(shù)據(jù)思維；比較典型的是Google，Amazon，Mastercard等。

未來(lái)在大數(shù)據(jù)領(lǐng)域最具有價(jià)值的是兩種事物：1-擁有大數(shù)據(jù)思維的人，這種人可以將大數(shù)據(jù)的潛在價(jià)值轉(zhuǎn)化為實(shí)際利益；2-還未有被大數(shù)據(jù)觸及過(guò)的業(yè)務(wù)領(lǐng)域。這些是還未被挖掘的油井，金礦，是所謂的藍(lán)海。

Wal-Mart作為零售行業(yè)的巨頭，他們的分析人員會(huì)對(duì)每個(gè)階段的銷(xiāo)售記錄進(jìn)行了全面的分析，有一次他們無(wú)意中發(fā)現(xiàn)雖不相關(guān)但很有價(jià)值的數(shù)據(jù)，在 美國(guó)的颶風(fēng)來(lái)臨季節(jié)，超市的蛋撻和抵御颶風(fēng)物品竟然銷(xiāo)量都有大幅增加，于是他們做了一個(gè)明智決策，就是將蛋撻的銷(xiāo)售位置移到了颶風(fēng)物品銷(xiāo)售區(qū)域旁邊，看起 來(lái)是為了方便用戶(hù)挑選，但是沒(méi)有想到蛋撻的銷(xiāo)量因此又提高了很多。

還有一個(gè)有趣的例子，1948年遼沈戰(zhàn)役期間，司令員林彪要求每天要進(jìn)行例常的“每日軍情匯報(bào)”，由值班參謀讀出下屬各個(gè)縱隊(duì)、師、團(tuán)用電臺(tái)報(bào)告的 當(dāng)日戰(zhàn)況和繳獲情況。那幾乎是重復(fù)著千篇一律枯燥無(wú)味的數(shù)據(jù)：每支部隊(duì)殲敵多少、俘虜多少;繳獲的火炮、車(chē)輛多少，槍支、物資多少……有一天，參謀照例匯 報(bào)當(dāng)日的戰(zhàn)況，林彪突然打斷他：“剛才念的在胡家窩棚那個(gè)戰(zhàn)斗的繳獲，你們聽(tīng)到了嗎?”大家都很茫然，因?yàn)槿绱藨?zhàn)斗每天都有幾十起，不都是差不多一模一樣 的枯燥數(shù)字嗎?林彪掃視一周，見(jiàn)無(wú)人回答，便接連問(wèn)了三句：“為什么那里繳獲的短槍與長(zhǎng)槍的比例比其它戰(zhàn)斗略高?”“為什么那里繳獲和擊毀的小車(chē)與大車(chē)的 比例比其它戰(zhàn)斗略高?”“為什么在那里俘虜和擊斃的軍官與士兵的比例比其它戰(zhàn)斗略高?”林彪司令員大步走向掛滿(mǎn)軍用地圖的墻壁，指著地圖上的那個(gè)點(diǎn)說(shuō)： “我猜想，不，我斷定!敵人的指揮所就在這里!”果然，部隊(duì)很快就抓住了敵方的指揮官廖耀湘，并取得這場(chǎng)重要戰(zhàn)役的勝利。

這些例子真實(shí)的反映在各行各業(yè)，探求數(shù)據(jù)價(jià)值取決于把握數(shù)據(jù)的人，關(guān)鍵是人的數(shù)據(jù)思維；與其說(shuō)是大數(shù)據(jù)創(chuàng)造了價(jià)值，不如說(shuō)是大數(shù)據(jù)思維觸發(fā)了新的價(jià)值增長(zhǎng)。