怎樣才算大數(shù)據(jù)_數(shù)據(jù)分析師

從谷歌趨勢可漫談大數(shù)據(jù)之一：怎樣才算大數(shù)據(jù)以看到，大數(shù)據(jù)作為一個buzzword，是從2011年聲名鵲起的。對這波趨勢，中國跟進并不慢，旋即2012年被稱作中國的大數(shù)據(jù)元年。其中兩本書功不可沒：前有涂子沛先生的《大數(shù)據(jù)》，從美國政府的數(shù)據(jù)信仰、政策和實踐娓娓道來，讓中國政壇和知識精英接受了一次思維洗禮，汪洋副總理離任廣東前一系列開風氣之先的大數(shù)據(jù)舉措，當屬此書之功；年末維克托.邁爾.舍恩伯格先生的《大數(shù)據(jù)時代》，則是系統(tǒng)論述大數(shù)據(jù)理念的奠基之作。如果說前者著力于發(fā)蒙—大數(shù)據(jù)可以做什么，后者則注重解惑—大數(shù)據(jù)該怎么做。

中國做事大氣魄。原著為英文的《大數(shù)據(jù)時代》美國讀者尚在翹首以盼，中文版在2012年末就擺上了國內(nèi)讀者的書架，原來是乘舍恩伯格先生參加云世界大會不失時機宣傳。在年末年初的喧鬧中，大數(shù)據(jù)產(chǎn)業(yè)園、大數(shù)據(jù)日、大數(shù)據(jù)專委會、大數(shù)據(jù)專業(yè)、大數(shù)據(jù)實驗室和各種大數(shù)據(jù)峰會接踵而來。物聯(lián)網(wǎng)和大數(shù)據(jù)、云計算和大數(shù)據(jù)彼此抱團取暖，來抵消決策者對層出不窮新概念的審美疲勞。其實，大數(shù)據(jù)還只是在民間熱。相比起物聯(lián)網(wǎng)和云計算，它在國家最高層面上獲得的關(guān)注和實質(zhì)支持還頗有不如，甚至美國政府都走在了前面：后者在2012年3月發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》，6個部門投資超過兩億美金推動相關(guān)研究。兩億美金對于工信部和科技部來說是毛毛雨，按兵不動是什么原因？

根據(jù)在下與工信部官員和智庫的一些交流，我感覺決策者還存在很多疑惑：大數(shù)據(jù)究竟是什么新玩意兒？與以前的數(shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘和商業(yè)智能有什么區(qū)別？市場有多大？中國應該重點發(fā)展什么？競爭優(yōu)勢和劣勢在哪里？每每官員們在臺上指點江山、大談大數(shù)據(jù)戰(zhàn)略云云（據(jù)在下目測，基本內(nèi)容都來自2011年麥肯錫的《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個前沿》和2012年達沃斯的《大數(shù)據(jù)，大影響：全球發(fā)展的新可能》），臺下一見專家就虛心請教大數(shù)據(jù)新在什么地方。

在下不揣淺陋，打算把對大數(shù)據(jù)的認識寫下來，對大數(shù)據(jù)做一個深度的、非主流甚至是另類的解讀。

當然從基本概念說起。大數(shù)據(jù)4個V：Volume（體量大），Velocity（快速化），Variety（類型雜），Value（價值大）。關(guān)于前3個V，很多人以訛傳訛說是IBM首創(chuàng)的，其實是METAGroup（現(xiàn)為Gartner的一部分）的一個分析師Doug Laney早在2001年提出的（這位老兄專門寫了一個博文吐槽他人冒功）。當然，IBM也不是全無貢獻，它去掉了Value，加上Veracity（真實性），也算是自成一派。而其它公司只能暗恨字典里V字頭的單詞太少。

今天就從體量大說起

大數(shù)據(jù)有多大？—業(yè)界巨擘自我實現(xiàn)的預言？

IDC對于每年創(chuàng)建和復制的信息之體量做了預測：2011年1.8ZB（ZB有多大，可以戳這里），2012年2.8ZB，按照每兩年翻一番（摩爾定律是一切類似規(guī)律的濫觴）的速度，2020年達到40ZB。這個數(shù)據(jù)怎么算出來的？IDC秘而不宣。這個研究是在EMC贊助下的，EMC笑而不語。如果說對靜態(tài)數(shù)據(jù)（data at rest）體量的預測有助于存儲的銷售，動態(tài)數(shù)據(jù)（data in motion）的體量無疑跟網(wǎng)絡需求綁在一起。于是Cisco一個類似的預測說道：2016年數(shù)據(jù)移動的總量達到1.3ZB。其實所有這些數(shù)據(jù)加起來都不如谷歌Eric Schmidt的說法有感染力：從人類文明曙光到2003年數(shù)以萬計的時間長河里人類一共產(chǎn)生了5EB（天知道他怎么算出來的），而到2010年每兩天人類就能產(chǎn)生5EB的數(shù)據(jù)（這個有可能是從IDC的數(shù)據(jù)里推知的）。

這是不是業(yè)界巨擘們自我實現(xiàn)的預言？我覺得是?？死锼?安德森2008年在《連線》做了個專題“拍字節(jié)時代（The Petabyte Age）”，顯然作為數(shù)字時代預言家的老安膽子不夠大。

數(shù)據(jù)總量的增長主要歸功于非結(jié)構(gòu)化數(shù)據(jù)的增長。廣義的非結(jié)構(gòu)化數(shù)據(jù)也包括了半結(jié)構(gòu)化和多結(jié)構(gòu)化數(shù)據(jù)，目前普遍被認為占到總量的85%以上，而且增速比結(jié)構(gòu)化數(shù)據(jù)快得多（有說法是快10-50倍）。低信息密度的非結(jié)構(gòu)化數(shù)據(jù)是大數(shù)據(jù)的一大挑戰(zhàn)，以后在Variety這一專題中會細細闡述。挑戰(zhàn)就是機會，業(yè)界巨擘們創(chuàng)造了很多新的概念來迎接非結(jié)構(gòu)化數(shù)據(jù)，NoSQL數(shù)據(jù)庫是其中最亮麗的一個。對此，數(shù)據(jù)庫界的老法師Mike Stonebraker對此耿耿于懷，不惜力推“血統(tǒng)”更純正的NewSQL數(shù)據(jù)庫；Sybase的CTO Irfan Khan甚至說大數(shù)據(jù)（這個新概念）根本就是個大謊言，聲稱他們的數(shù)據(jù)倉庫工具早就能分析包括非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的大數(shù)據(jù)。

這類總量數(shù)據(jù)的預測，對于存儲和網(wǎng)絡企業(yè)的投資者來說，無疑能提升信心，但對其他人來說，沒有太大意義。他們更關(guān)心的是個體行業(yè)、企業(yè)甚至個人數(shù)據(jù)的狀況。

麥肯錫對大數(shù)據(jù)的定義就是從個體數(shù)據(jù)集的大體量入手的：大數(shù)據(jù)是指那些很大的數(shù)據(jù)集，大到傳統(tǒng)的數(shù)據(jù)庫軟件工具已經(jīng)無法采集、存儲、管理和分析。傳統(tǒng)數(shù)據(jù)庫有效工作的數(shù)據(jù)大小一般來說在10-100TB，因此10-100TB通常成為大數(shù)據(jù)的門檻。無獨有偶，IDC在給大數(shù)據(jù)做定義時也把閾值設在100TB（它同時也給出了velocity和variety的量化指標，以后再表）。其實這種方法未必科學，對于非結(jié)構(gòu)化數(shù)據(jù)的存儲來說，本來就跟數(shù)據(jù)庫無關(guān)，而且傳統(tǒng)文件系統(tǒng)能夠處理的數(shù)據(jù)量往往受限于元數(shù)據(jù)而非原始數(shù)據(jù)大小，因此能處理的上限要比數(shù)據(jù)庫要高。不管怎樣，有一個簡單明晰的數(shù)值來指導企業(yè)大數(shù)據(jù)的判斷，總是好事。