大數(shù)據(jù)到底是什么_數(shù)據(jù)分析師培訓(xùn)

如果用非IT類(lèi)媒體的報(bào)道次數(shù)或關(guān)注度，來(lái)去衡量一個(gè)IT詞匯的熱度，我相信“大數(shù)據(jù)”絕對(duì)可以算得上是當(dāng)前最熱的IT詞匯，云計(jì)算肯定不是它的對(duì)手。

 大數(shù)據(jù)之所以這么火熱，是因?yàn)樗c普通大眾的生活之間，相較其他IT術(shù)語(yǔ)似乎有著更為重大，或者說(shuō)更具傳奇色彩更為深厚的關(guān)系。從定向營(yíng)銷(xiāo)，到助力美國(guó)總統(tǒng)大選，大數(shù)據(jù)迅速披上了神奇的外衣。而也正是因?yàn)樗鼘?duì)于人類(lèi)生活的這種顯性的影響力，讓它成為了每個(gè)生活于信息世界中的人，或多或少都要關(guān)注的方向。

僅以企業(yè)與客戶者之間的關(guān)系而言，企業(yè)主希望借助大數(shù)據(jù)來(lái)分析客戶行為規(guī)律、興趣愛(ài)好、找到目標(biāo)的客戶，向潛在的客戶推送他們可能想要的信息，但另一方面消費(fèi)者也會(huì)因?yàn)橐恍┎豢孔V的信息推送，來(lái)揣測(cè)相關(guān)企業(yè)的大數(shù)據(jù)的水平。除此之外，通過(guò)大數(shù)據(jù)來(lái)改變自身運(yùn)營(yíng)效率的企業(yè)案例，似乎也正在飛速增加著……因此，從哪個(gè)方面看，大數(shù)據(jù)也越來(lái)越有成為公從談資的資本。然而，大數(shù)據(jù)到底是什么，可能這些參與其中的人又會(huì)給出不同的說(shuō)法，有技術(shù)層面上的解讀，有理念層面上的解讀，有從使用效果上的事后總結(jié)……但實(shí)話實(shí)說(shuō)，與其他IT術(shù)語(yǔ)相比，大數(shù)據(jù)在解釋上更具多樣性與不確定性色彩。

 大數(shù)據(jù)是噱頭嗎？

今天我們來(lái)談“大數(shù)據(jù)到底是什么”，并不想從技術(shù)或理念上深究，而希望能一種淺顯的描述，來(lái)最大限度的達(dá)成一種對(duì)大數(shù)據(jù)的共識(shí)。其實(shí)，大數(shù)據(jù)這一概念最早成型于IDC與EMC合作的調(diào)研報(bào)告中，可是那個(gè)調(diào)研報(bào)告的側(cè)重點(diǎn)還在于對(duì)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算等大趨勢(shì)下的數(shù)據(jù)積累、保存與管理的警示，隨后不同的廠商在這一基礎(chǔ)上不斷擴(kuò)展、豐富并最終延伸出一個(gè)業(yè)界公認(rèn)的4V屬性理論（體量Volume、種類(lèi)Variety、速度Velocity、價(jià)值Value，IBM的4V理念將最后一個(gè)V定義為真實(shí)Veracity），從而形成了一個(gè)閉合的大數(shù)據(jù)體系，從縱向上又總結(jié)出從硬件基礎(chǔ)設(shè)施到數(shù)據(jù)管理，再到數(shù)據(jù)分析，最后是數(shù)據(jù)呈現(xiàn)等4層架構(gòu)。歸根結(jié)底，大家最后的共識(shí)都認(rèn)為大數(shù)據(jù)最終要用服務(wù)于社會(huì)的，這是它的終極用途，之前所說(shuō)的積累、保存、管理、分析都是為這一目的服務(wù)的。

這么說(shuō)來(lái)，對(duì)大數(shù)據(jù)的認(rèn)識(shí)似乎又統(tǒng)一了，但也因此也使很多人對(duì)大數(shù)據(jù)概念嗤之以鼻。如果僅就大數(shù)據(jù)最終要體現(xiàn)出應(yīng)用的價(jià)值為社會(huì)服務(wù)的話，與以前的數(shù)據(jù)挖掘、商業(yè)智能理念又有怎樣的區(qū)別呢？大數(shù)據(jù)中的體量，可能在很多場(chǎng)合也并不能體現(xiàn)出來(lái)，可能就是幾TB的數(shù)據(jù)也能把人搞得焦頭爛額，無(wú)非就是數(shù)據(jù)類(lèi)型擴(kuò)展而已。所以，說(shuō)“大數(shù)據(jù)只是一個(gè)噱頭”并無(wú)道理。

但是，當(dāng)前的一些大數(shù)據(jù)的應(yīng)用案例，也的確與以往的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用不同，這其中可能有非結(jié)構(gòu)化與結(jié)構(gòu)化數(shù)據(jù)的原因，但也有一新的理念、處理模型與手段的變化。至于哪些新東西是因大數(shù)據(jù)引發(fā)的，我們?cè)诖艘矝](méi)必要去糾纏，只需要解答一個(gè)核心的問(wèn)題即可：數(shù)據(jù)到底是什么？

數(shù)據(jù)能源？

如果說(shuō)很多人追捧大數(shù)據(jù)的神奇在于，它可以將原本不起眼的歷史數(shù)據(jù)化腐朽為神奇，那么我們是不是可以將大數(shù)據(jù)比作一種通過(guò)加工而來(lái)的一種能源？如果可以，我們放眼地球上的能源，就會(huì)發(fā)現(xiàn)其與大數(shù)據(jù)有著太多相似之處。

地球上的能源有很多種，但是它們之所以是能源的前提在于人類(lèi)對(duì)它們的認(rèn)知。在遠(yuǎn)古時(shí)期，人類(lèi)因雷電引火，發(fā)現(xiàn)了火和木材這兩種能源，前者可用來(lái)取暖、驅(qū)獸、加工食品，后者可用來(lái)生火。在此之后，隨著人類(lèi)文明的進(jìn)步，科技的發(fā)達(dá)，逐漸發(fā)現(xiàn)了越來(lái)越多的能源，比如煤、天然氣、石油、太陽(yáng)能等等，但是在人類(lèi)還不能認(rèn)知它們時(shí)，它們就不存在了嗎？顯然不是，在沒(méi)有人類(lèi)的時(shí)候，它們就已經(jīng)在地球上靜靜的等候了成萬(wàn)上億年，只是人類(lèi)掌握了相應(yīng)的科技與工具之后，它們才得以登堂入室。

數(shù)據(jù)也是一樣，如果數(shù)據(jù)有著一個(gè)生成/采集——應(yīng)用/加工——保存/管理——分析/挖掘——再保存或刪除這樣的一個(gè)周期的話，那么在其生成的那一刻起，它就存在著應(yīng)有的價(jià)值，只是在于你是否有能力去發(fā)現(xiàn)它們。這需要新的理念、知識(shí)、技術(shù)與相應(yīng)的工具。原始人即使知道地下幾十公里有石油，他們也無(wú)法開(kāi)采，所謂的數(shù)據(jù)分析，道理也是一樣的。

從人類(lèi)發(fā)展的歷史來(lái)看，不斷發(fā)現(xiàn)新的能源，是一種公理似的注定。當(dāng)我們掌握了越來(lái)越先進(jìn)的理念基礎(chǔ)，并依此開(kāi)發(fā)出越來(lái)越先進(jìn)的工具，出現(xiàn)新的驚喜可以說(shuō)理所當(dāng)然。就像剛發(fā)明汽車(chē)時(shí)，誰(shuí)也不會(huì)想到電、水會(huì)成為汽車(chē)可行的能源。從這個(gè)角度講，當(dāng)前的大數(shù)據(jù)所帶來(lái)的種種神奇，只是人類(lèi)在數(shù)據(jù)收集、管理、分析等領(lǐng)域的一次進(jìn)步而已，它有出現(xiàn)的必然，而非人類(lèi)的一種“頓悟”。

我們?cè)賮?lái)看看地球能源的4V屬性：

圖注：大數(shù)據(jù)的4V屬性：Volume、Variety 、Velocity和Value。

1、Volume——儲(chǔ)量：現(xiàn)在已經(jīng)探明的，或新探明的煤、天然氣、石油、風(fēng)、太陽(yáng)能等能源的儲(chǔ)量是相當(dāng)驚人的，但遍布于多種地形、地貌中，就看人類(lèi)有沒(méi)有本事都能獲取到了。

2、Variety——類(lèi)別：隨著人類(lèi)技術(shù)水平的進(jìn)步，所獲得的能源種類(lèi)也就越來(lái)越多，并且越來(lái)越多以前認(rèn)為不行的資源，后來(lái)也慢慢成為了能源，放射性元素就是典型的例子，而若技術(shù)成熟，海水將成為人類(lèi)用之不竭的新能源。曾經(jīng)有一篇科幻論文說(shuō)得好“也許未來(lái)只需要一把泥土，就能把火箭送上月球”。另一方面，不同能源所需要的開(kāi)采技術(shù)與工具也各不相同，這就好比結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的處理手段的差別。因此，人類(lèi)面對(duì)的能源類(lèi)別越來(lái)越多，它也需要人類(lèi)具備越來(lái)越多種類(lèi)的能源開(kāi)采能力。

3、Velocity——開(kāi)采/轉(zhuǎn)換效率：很難想像一口一天只產(chǎn)一加侖的油井有什么價(jià)值，如果一個(gè)太陽(yáng)能的光電轉(zhuǎn)換效率不到1%，還有使用它的必要嗎？因此，人類(lèi)在能源上的開(kāi)采/轉(zhuǎn)換的效率將決定這種能源的可利用性，就如果做數(shù)據(jù)分析，今天的銷(xiāo)售數(shù)據(jù)分析，一個(gè)月后才能出來(lái)，那不分析也罷了。

4、Value——價(jià)值：能源的價(jià)值取決于它所能提供的能量與貢獻(xiàn)，誰(shuí)都知道95號(hào)汽油比92號(hào)汽油好，但也更貴；煤很便宜，但能提供的能量也相對(duì)較低；電能，在目前仍要通過(guò)其他能源轉(zhuǎn)換得來(lái)，這都是價(jià)值之所在。它決定于自身的屬性，與相應(yīng)的數(shù)據(jù)挖掘與提煉的能力，前者相當(dāng)于汽油與煤的不同，后者相當(dāng)于煉油廠在95與92號(hào)之間的提煉工藝不同。它們都最終決定了數(shù)據(jù)的價(jià)值——并且像某些大數(shù)據(jù)宣傳中所鼓吹的那樣，好像任何數(shù)據(jù)用大數(shù)據(jù)分析后，就能黃土變黃金一樣，這是不可能的，除非你自己對(duì)某類(lèi)數(shù)據(jù)的認(rèn)知就有偏差（原本就是土，和原本就是金子，有著本質(zhì)不同）

IBM所提倡的Veracity，我認(rèn)為可以理解為能源的提煉水平，就算是95號(hào)汽油，中國(guó)產(chǎn)的能和歐美產(chǎn)的相提并論嗎？這就是所謂的真95與假95號(hào)的區(qū)別。另一個(gè)典型的例子就是濃縮鈾，豐度為3%的鈾235的低濃縮鈾可用于核發(fā)電，而豐度高于90%的鈾235則可以用來(lái)制造核武器，兩者的價(jià)值肯定不一樣？所以，這種提煉質(zhì)量與能力上的區(qū)別也最終會(huì)體現(xiàn)在能源的價(jià)值上。因此，IBM強(qiáng)調(diào)數(shù)據(jù)分析的準(zhǔn)確與真實(shí)，可以與能源提煉過(guò)程中的純度相對(duì)應(yīng)，體現(xiàn)了對(duì)數(shù)據(jù)分析的一種質(zhì)的要求。

圖注：IBM把大數(shù)據(jù)第4個(gè)V定義為Veracity。

說(shuō)完理念的對(duì)比，再看縱向技術(shù)架構(gòu)上的相似之處，大家可以想想大數(shù)據(jù)中所談到的數(shù)據(jù)采集、匯總、保存、管理、分析、呈現(xiàn)是不是與能源的勘探、開(kāi)采、匯聚、保管、提煉、使用有著一一對(duì)應(yīng)的關(guān)系呢？

特別需要指出的是，現(xiàn)在物聯(lián)網(wǎng)的一大分支——工業(yè)互聯(lián)網(wǎng)越來(lái)越熱，而大數(shù)據(jù)就是其最后的重要支撐（前不久通用電氣還專(zhuān)門(mén)為此投資了Pivotal），其理念在于將各種傳感器、致動(dòng)器也納入整體的信息采集體系，借助工業(yè)設(shè)備管控平臺(tái)，分析出存在于工業(yè)設(shè)備內(nèi)有價(jià)值的信息，以便于管理、精度調(diào)校以及健康預(yù)警。想想看，這是不是像地質(zhì)勘探中，將不同炸點(diǎn)的傳感信息匯總起來(lái)，再通過(guò)震蕩波分析軟件，來(lái)呈現(xiàn)出地下的礦產(chǎn)分布與結(jié)構(gòu)視圖？

大數(shù)據(jù)到底是什么？

話說(shuō)至此，我們應(yīng)該可以總結(jié)一下了——在某種角度上講，大數(shù)據(jù)其實(shí)就是人類(lèi)能源開(kāi)拓歷史在IT領(lǐng)域的一種再現(xiàn)與映射。

無(wú)論從理念還是實(shí)現(xiàn)手法上，大數(shù)據(jù)的種種說(shuō)辭，都可以在人類(lèi)悠久的能源勘探、開(kāi)采、利用的經(jīng)驗(yàn)中到對(duì)應(yīng)的關(guān)系，因此，從根本上講它并不新鮮。

但關(guān)鍵就在于，在IT領(lǐng)域，對(duì)于“數(shù)據(jù)能源”的認(rèn)知水平，遠(yuǎn)不如人類(lèi)對(duì)其他類(lèi)別能源的認(rèn)知，所以當(dāng)我們有一天終于完善了相關(guān)理念基礎(chǔ)，開(kāi)發(fā)出相應(yīng)的工具，看到了數(shù)據(jù)內(nèi)部的能源之后，可能就一種當(dāng)初發(fā)現(xiàn)石油一樣的沖動(dòng)，進(jìn)而將其夸大、神話。但是，仔細(xì)想想，對(duì)于已經(jīng)經(jīng)歷過(guò)太多這類(lèi)驚喜的人類(lèi)來(lái)說(shuō)（火、電、煤、油、氣、核能、太陽(yáng)能，哪個(gè)不給我們一個(gè)驚喜？），應(yīng)該不必如此大驚小怪。

我認(rèn)為，在數(shù)據(jù)利用的愿景方面，大數(shù)據(jù)與原來(lái)的數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、商業(yè)智能等概念是同出一轍、一脈相承的。大數(shù)據(jù)其實(shí)是對(duì)人類(lèi)在數(shù)據(jù)利用方面進(jìn)入的一個(gè)新階段，它代表了一種理念（數(shù)據(jù)能源）、一種思路（從數(shù)據(jù)收集到數(shù)據(jù)分析再到數(shù)據(jù)呈現(xiàn)的整體構(gòu)想）和一種新工具（將結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)、語(yǔ)義與機(jī)器化數(shù)據(jù)匯聚、統(tǒng)一處理、分析與呈現(xiàn)的工具）的集合。它賦予了人類(lèi)對(duì)數(shù)據(jù)認(rèn)知的新能力，也進(jìn)一步打開(kāi)了人類(lèi)的數(shù)據(jù)利用方面的想像空間。就這一點(diǎn)來(lái)說(shuō)，全盤(pán)否定大數(shù)據(jù)，一概以噱頭蔽之，也是不可取的。

總之，我們必須明白大數(shù)據(jù)并非是從天上掉下來(lái)的，是人類(lèi)IT水平發(fā)展到一定階段的必然結(jié)果，就像PC、智能手機(jī)等出現(xiàn)一樣，是很多相關(guān)技術(shù)互動(dòng)過(guò)程中自然而然的產(chǎn)物。我們要從一個(gè)整體去看它，不能一上來(lái)只看到某些誘人的東西，而將這些原本很平實(shí)的信息變成了一種“傳說(shuō)”。顯然，大數(shù)據(jù)現(xiàn)在有這種傾向，它似乎無(wú)所不能，無(wú)所不包。就像我們上文所說(shuō)的那樣，如果數(shù)據(jù)本身的價(jià)值就在泥土一級(jí)的，也就不用指望它能提煉出黃金，大數(shù)據(jù)分做的只是將原本就存在的各種等級(jí)的“數(shù)據(jù)能源”真實(shí)的呈現(xiàn)出來(lái)而已。在可預(yù)計(jì)的未來(lái)，它將成為一種常態(tài)，一種基本的能力，就像現(xiàn)在的汽油一樣，每輛車(chē)不用因?yàn)闊投鴷?huì)自豪，會(huì)成為傳奇。

所以，我認(rèn)為當(dāng)前的大數(shù)據(jù)熱潮應(yīng)該有針對(duì)性的降降溫，讓其回歸本色，還原其實(shí)質(zhì)，并將精力放在一個(gè)能源開(kāi)采者所應(yīng)投放的地方——數(shù)據(jù)采集的渠道是不是不夠廣？數(shù)據(jù)匯聚的能力是不是不夠強(qiáng)？數(shù)據(jù)管理是不是太過(guò)復(fù)雜？數(shù)據(jù)處理能力是不是太弱？數(shù)據(jù)分析太是不是不智能？數(shù)據(jù)的呈現(xiàn)是不是易用性與友好度不同？——其實(shí)當(dāng)一件事，到最后大家都要做的時(shí)候，當(dāng)一種能力，大家都要具備的時(shí)候，它也就不是神話與傳奇了，大數(shù)據(jù)即是如此。