怎樣才算大數(shù)據(jù)_數(shù)據(jù)分析師

從谷歌趨勢(shì)可漫談大數(shù)據(jù)之一：怎樣才算大數(shù)據(jù)以看到，大數(shù)據(jù)作為一個(gè)buzzword，是從2011年聲名鵲起的。對(duì)這波趨勢(shì)，中國(guó)跟進(jìn)并不慢，旋即2012年被稱作中國(guó)的大數(shù)據(jù)元年。其中兩本書功不可沒：前有涂子沛先生的《大數(shù)據(jù)》，從美國(guó)政府的數(shù)據(jù)信仰、政策和實(shí)踐娓娓道來，讓中國(guó)政壇和知識(shí)精英接受了一次思維洗禮，汪洋副總理離任廣東前一系列開風(fēng)氣之先的大數(shù)據(jù)舉措，當(dāng)屬此書之功；年末維克托.邁爾.舍恩伯格先生的《大數(shù)據(jù)時(shí)代》，則是系統(tǒng)論述大數(shù)據(jù)理念的奠基之作。如果說前者著力于發(fā)蒙—大數(shù)據(jù)可以做什么，后者則注重解惑—大數(shù)據(jù)該怎么做。

中國(guó)做事大氣魄。原著為英文的《大數(shù)據(jù)時(shí)代》美國(guó)讀者尚在翹首以盼，中文版在2012年末就擺上了國(guó)內(nèi)讀者的書架，原來是乘舍恩伯格先生參加云世界大會(huì)不失時(shí)機(jī)宣傳。在年末年初的喧鬧中，大數(shù)據(jù)產(chǎn)業(yè)園、大數(shù)據(jù)日、大數(shù)據(jù)專委會(huì)、大數(shù)據(jù)專業(yè)、大數(shù)據(jù)實(shí)驗(yàn)室和各種大數(shù)據(jù)峰會(huì)接踵而來。物聯(lián)網(wǎng)和大數(shù)據(jù)、云計(jì)算和大數(shù)據(jù)彼此抱團(tuán)取暖，來抵消決策者對(duì)層出不窮新概念的審美疲勞。其實(shí)，大數(shù)據(jù)還只是在民間熱。相比起物聯(lián)網(wǎng)和云計(jì)算，它在國(guó)家最高層面上獲得的關(guān)注和實(shí)質(zhì)支持還頗有不如，甚至美國(guó)政府都走在了前面：后者在2012年3月發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》，6個(gè)部門投資超過兩億美金推動(dòng)相關(guān)研究。兩億美金對(duì)于工信部和科技部來說是毛毛雨，按兵不動(dòng)是什么原因？

根據(jù)在下與工信部官員和智庫(kù)的一些交流，我感覺決策者還存在很多疑惑：大數(shù)據(jù)究竟是什么新玩意兒？與以前的數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘和商業(yè)智能有什么區(qū)別？市場(chǎng)有多大？中國(guó)應(yīng)該重點(diǎn)發(fā)展什么？競(jìng)爭(zhēng)優(yōu)勢(shì)和劣勢(shì)在哪里？每每官員們?cè)谂_(tái)上指點(diǎn)江山、大談大數(shù)據(jù)戰(zhàn)略云云（據(jù)在下目測(cè)，基本內(nèi)容都來自2011年麥肯錫的《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)前沿》和2012年達(dá)沃斯的《大數(shù)據(jù)，大影響：全球發(fā)展的新可能》），臺(tái)下一見專家就虛心請(qǐng)教大數(shù)據(jù)新在什么地方。

在下不揣淺陋，打算把對(duì)大數(shù)據(jù)的認(rèn)識(shí)寫下來，對(duì)大數(shù)據(jù)做一個(gè)深度的、非主流甚至是另類的解讀。

當(dāng)然從基本概念說起。大數(shù)據(jù)4個(gè)V：Volume（體量大），Velocity（快速化），Variety（類型雜），Value（價(jià)值大）。關(guān)于前3個(gè)V，很多人以訛傳訛說是IBM首創(chuàng)的，其實(shí)是METAGroup（現(xiàn)為Gartner的一部分）的一個(gè)分析師Doug Laney早在2001年提出的（這位老兄專門寫了一個(gè)博文吐槽他人冒功）。當(dāng)然，IBM也不是全無貢獻(xiàn)，它去掉了Value，加上Veracity（真實(shí)性），也算是自成一派。而其它公司只能暗恨字典里V字頭的單詞太少。

今天就從體量大說起

大數(shù)據(jù)有多大？—業(yè)界巨擘自我實(shí)現(xiàn)的預(yù)言？

IDC對(duì)于每年創(chuàng)建和復(fù)制的信息之體量做了預(yù)測(cè)：2011年1.8ZB（ZB有多大，可以戳這里），2012年2.8ZB，按照每?jī)赡攴环柖墒且磺蓄愃埔?guī)律的濫觴）的速度，2020年達(dá)到40ZB。這個(gè)數(shù)據(jù)怎么算出來的？IDC秘而不宣。這個(gè)研究是在EMC贊助下的，EMC笑而不語。如果說對(duì)靜態(tài)數(shù)據(jù)（data at rest）體量的預(yù)測(cè)有助于存儲(chǔ)的銷售，動(dòng)態(tài)數(shù)據(jù)（data in motion）的體量無疑跟網(wǎng)絡(luò)需求綁在一起。于是Cisco一個(gè)類似的預(yù)測(cè)說道：2016年數(shù)據(jù)移動(dòng)的總量達(dá)到1.3ZB。其實(shí)所有這些數(shù)據(jù)加起來都不如谷歌Eric Schmidt的說法有感染力：從人類文明曙光到2003年數(shù)以萬計(jì)的時(shí)間長(zhǎng)河里人類一共產(chǎn)生了5EB（天知道他怎么算出來的），而到2010年每?jī)商烊祟惥湍墚a(chǎn)生5EB的數(shù)據(jù)（這個(gè)有可能是從IDC的數(shù)據(jù)里推知的）。

這是不是業(yè)界巨擘們自我實(shí)現(xiàn)的預(yù)言？我覺得是。克里斯.安德森2008年在《連線》做了個(gè)專題“拍字節(jié)時(shí)代（The Petabyte Age）”，顯然作為數(shù)字時(shí)代預(yù)言家的老安膽子不夠大。

數(shù)據(jù)總量的增長(zhǎng)主要?dú)w功于非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng)。廣義的非結(jié)構(gòu)化數(shù)據(jù)也包括了半結(jié)構(gòu)化和多結(jié)構(gòu)化數(shù)據(jù)，目前普遍被認(rèn)為占到總量的85%以上，而且增速比結(jié)構(gòu)化數(shù)據(jù)快得多（有說法是快10-50倍）。低信息密度的非結(jié)構(gòu)化數(shù)據(jù)是大數(shù)據(jù)的一大挑戰(zhàn)，以后在Variety這一專題中會(huì)細(xì)細(xì)闡述。挑戰(zhàn)就是機(jī)會(huì)，業(yè)界巨擘們創(chuàng)造了很多新的概念來迎接非結(jié)構(gòu)化數(shù)據(jù)，NoSQL數(shù)據(jù)庫(kù)是其中最亮麗的一個(gè)。對(duì)此，數(shù)據(jù)庫(kù)界的老法師Mike Stonebraker對(duì)此耿耿于懷，不惜力推“血統(tǒng)”更純正的NewSQL數(shù)據(jù)庫(kù)；Sybase的CTO Irfan Khan甚至說大數(shù)據(jù)（這個(gè)新概念）根本就是個(gè)大謊言，聲稱他們的數(shù)據(jù)倉(cāng)庫(kù)工具早就能分析包括非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的大數(shù)據(jù)。

這類總量數(shù)據(jù)的預(yù)測(cè)，對(duì)于存儲(chǔ)和網(wǎng)絡(luò)企業(yè)的投資者來說，無疑能提升信心，但對(duì)其他人來說，沒有太大意義。他們更關(guān)心的是個(gè)體行業(yè)、企業(yè)甚至個(gè)人數(shù)據(jù)的狀況。

麥肯錫對(duì)大數(shù)據(jù)的定義就是從個(gè)體數(shù)據(jù)集的大體量入手的：大數(shù)據(jù)是指那些很大的數(shù)據(jù)集，大到傳統(tǒng)的數(shù)據(jù)庫(kù)軟件工具已經(jīng)無法采集、存儲(chǔ)、管理和分析。傳統(tǒng)數(shù)據(jù)庫(kù)有效工作的數(shù)據(jù)大小一般來說在10-100TB，因此10-100TB通常成為大數(shù)據(jù)的門檻。無獨(dú)有偶，IDC在給大數(shù)據(jù)做定義時(shí)也把閾值設(shè)在100TB（它同時(shí)也給出了velocity和variety的量化指標(biāo)，以后再表）。其實(shí)這種方法未必科學(xué)，對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)來說，本來就跟數(shù)據(jù)庫(kù)無關(guān)，而且傳統(tǒng)文件系統(tǒng)能夠處理的數(shù)據(jù)量往往受限于元數(shù)據(jù)而非原始數(shù)據(jù)大小，因此能處理的上限要比數(shù)據(jù)庫(kù)要高。不管怎樣，有一個(gè)簡(jiǎn)單明晰的數(shù)值來指導(dǎo)企業(yè)大數(shù)據(jù)的判斷，總是好事。