你真的懂得大數(shù)據(jù)嗎

我們總能聽(tīng)到大數(shù)據(jù)這個(gè)詞，但是你真的了解大數(shù)據(jù)嗎？也許有人會(huì)回答“是”，但是真正能夠做到了解的人卻屈指可數(shù)。大數(shù)據(jù)究竟有哪些深?yuàn)W的東西令人難以理解呢？

   大數(shù)據(jù)之所以深?yuàn)W難懂，唯一一點(diǎn)是因?yàn)椋何覀冏鳛橐粋€(gè)技術(shù)群體，并沒(méi)有完全準(zhǔn)備好去利用和管理大數(shù)據(jù)。也許你會(huì)說(shuō)：“我們準(zhǔn)備好了。”但事實(shí)上我們沒(méi)有，原因如下：世界上百分之九十的數(shù)據(jù)都是在過(guò)去的兩年里產(chǎn)生的，這使我們有些措手不及。每天都有大量的新數(shù)據(jù)從社交網(wǎng)站、工業(yè)傳感器、衛(wèi)星、手機(jī)、照片、文件以及其它地方產(chǎn)生。我們的數(shù)據(jù)以每天多于250兆字節(jié)的速度增長(zhǎng)，或者說(shuō)是多于20億千兆字節(jié)。這些數(shù)據(jù)必須有地方可以儲(chǔ)存，哪怕只是暫時(shí)儲(chǔ)存，然后再?gòu)臄?shù)據(jù)庫(kù)和應(yīng)用中發(fā)送出去以供分析。由于積累了太多的新數(shù)據(jù)，以至于對(duì)這些數(shù)據(jù)的存儲(chǔ)、管理、以及分析的工作量是極大的。這就是我們很少有人真正了解大數(shù)據(jù)的原因。
    這些海量數(shù)據(jù)使得我們能聽(tīng)到很多關(guān)于大數(shù)據(jù)的內(nèi)容，而要弄明白它卻很難。正如我之前所說(shuō)，數(shù)據(jù)同我們的存儲(chǔ)、搜索、分析、組織、歸檔和篩選能力息息相關(guān)，而其現(xiàn)在的情形是我們所不能完全掌控的。
    我們都知道數(shù)據(jù)是如何產(chǎn)生的，也大體知道我們創(chuàng)造某些數(shù)據(jù)的原因以及要如何處理這些數(shù)據(jù)，但我們所不知道的是如何處理如此大量的數(shù)據(jù)。
    事實(shí)上，我們甚至不確定如何去處理產(chǎn)生于大數(shù)據(jù)的元數(shù)據(jù)（metadata）。
    在這里說(shuō)明一下，你最近可能聽(tīng)說(shuō)過(guò)很多關(guān)于元數(shù)據(jù)的事情，是關(guān)于美國(guó)國(guó)家安全局（NSA）所獲取和分析的私人數(shù)據(jù)的。元數(shù)據(jù)就是有關(guān)數(shù)據(jù)的數(shù)據(jù)，這是個(gè)有點(diǎn)奇怪的概念。簡(jiǎn)單來(lái)說(shuō)，元數(shù)據(jù)是對(duì)你的數(shù)據(jù)的一種描述，你可能還沒(méi)意識(shí)到，你每時(shí)每刻都在使用元數(shù)據(jù)。比如，當(dāng)你拍了一張數(shù)碼照片時(shí)，元數(shù)據(jù)描述的就是關(guān)于這張照片的尺寸、拍攝日期、存儲(chǔ)位置、文件大小、像素等內(nèi)容。
    其他類型的元數(shù)據(jù)還有：
    創(chuàng)建該數(shù)據(jù)的方式
    該數(shù)據(jù)的目的
    創(chuàng)建日期和時(shí)間
    該數(shù)據(jù)的創(chuàng)建者
    該數(shù)據(jù)在一個(gè)計(jì)算機(jī)網(wǎng)絡(luò)里的創(chuàng)建位置
    所使用的標(biāo)準(zhǔn)
    如果要檢查一張圖片的元數(shù)據(jù)，你只需右鍵單擊該圖片文件，選擇“屬性”，然后再選擇“詳細(xì)”選項(xiàng)卡。
    你可以看到，元數(shù)據(jù)雖然不是數(shù)據(jù)本身，卻也占用存儲(chǔ)空間，它是有關(guān)數(shù)據(jù)的數(shù)據(jù)。所以我們可以把大數(shù)據(jù)和大元數(shù)據(jù)放在一起來(lái)談。當(dāng)你認(rèn)識(shí)到有比數(shù)據(jù)本身更多的數(shù)據(jù)存在之后，你應(yīng)該就能對(duì)我們的數(shù)據(jù)高速增長(zhǎng)的原因有更為深刻的理解了。
    需要指出的是，元數(shù)據(jù)不是大數(shù)據(jù)龐大的原因，而只是使大數(shù)據(jù)變得更大。
    在了解了數(shù)據(jù)和元數(shù)據(jù)之后，我們可以研究大數(shù)據(jù)究竟是什么了。
   大數(shù)據(jù)就是大量的數(shù)據(jù)，它是比我們以往所處理的數(shù)據(jù)還要多的數(shù)據(jù)，并且來(lái)源也更為廣泛，它包含元數(shù)據(jù)。它多到難以想象、難以存儲(chǔ)、難以分析，這也是大數(shù)據(jù)的主要問(wèn)題所在。
    你仍然會(huì)有疑問(wèn)：是什么讓大數(shù)據(jù)難以理解？
    正如我前面所說(shuō)，我們從不同的數(shù)據(jù)源創(chuàng)建數(shù)據(jù)：手機(jī)、衛(wèi)星、電子傳感器、文本信息、日志文件等等。來(lái)源如此之廣的數(shù)據(jù)是非常復(fù)雜的。
    更深一層解釋，如果你的全部數(shù)據(jù)都是圖片，那么你的數(shù)據(jù)就很簡(jiǎn)單。當(dāng)你擁有不同種類的數(shù)據(jù)以及不同的數(shù)據(jù)源時(shí)，你的數(shù)據(jù)的復(fù)雜程度就增加了。假如你經(jīng)營(yíng)著一家物流公司，比如UPS快遞，那么你就會(huì)有來(lái)自很多不同數(shù)據(jù)源的數(shù)據(jù)。我們僅從其中三點(diǎn)來(lái)看數(shù)據(jù)的復(fù)雜程度：雇員、貨車和包裹。當(dāng)然，他們實(shí)際上的數(shù)據(jù)遠(yuǎn)遠(yuǎn)復(fù)雜得多，我們只是選出比較典型的來(lái)舉例。
    貨車的數(shù)據(jù)包括貨車位置（GPS定位），燃油消耗量，維修記錄，購(gòu)買價(jià)格，保險(xiǎn)記錄，送貨量，司機(jī)姓名等等?，F(xiàn)在考慮一下每個(gè)領(lǐng)域所涉及的所有不同的數(shù)據(jù)點(diǎn)（data points）。維修記錄又包含著油量變化、輪胎、蓄電池、每個(gè)單獨(dú)的可換零件、損壞、里程以及更多的內(nèi)容。再用這些數(shù)據(jù)點(diǎn)乘以UPS現(xiàn)在所管理的數(shù)以萬(wàn)計(jì)的貨車數(shù)量——96394輛。
    再加上你能想象得到的所有雇員信息，包括貨車司機(jī)、裝卸工、維修人員、雇員的醫(yī)療記錄、空車定位、設(shè)備定位、統(tǒng)一定位以及其它有關(guān)雇員的數(shù)據(jù)點(diǎn)，一共有397100名雇員。
    還要加上第三個(gè)數(shù)據(jù)源的信息：包裹重量、原產(chǎn)地、保險(xiǎn)、目的地、運(yùn)輸方式、尺寸、收貨信息，以及出發(fā)地和目的地之間的中轉(zhuǎn)地，每天有1630萬(wàn)包裹。
    你可以看到數(shù)據(jù)點(diǎn)是如何隨著UPS處理的數(shù)據(jù)量的增加而迅速增加的。UPS收集了很多有趣的不同數(shù)據(jù)點(diǎn)，那張單子上的統(tǒng)計(jì)數(shù)據(jù)并不是原始數(shù)據(jù)，而是經(jīng)過(guò)分析之后的數(shù)據(jù)。那么可以想象數(shù)據(jù)庫(kù)服務(wù)器的數(shù)量、存儲(chǔ)量以及為生成那頁(yè)單子而要耗費(fèi)的精力有多少。
    這就是大數(shù)據(jù)。你必須收集、存儲(chǔ)、分析、組織、篩選和利用數(shù)據(jù)。就是從收集到篩選和利用的這個(gè)過(guò)程，是大數(shù)據(jù)不被人們所熟知的東西。大數(shù)據(jù)是復(fù)雜且難以管理的。
    我們對(duì)大數(shù)據(jù)欠缺了解的地方正是對(duì)其的管理部分。只有極少數(shù)人知道如何管理如此龐大而復(fù)雜的數(shù)據(jù)。大部分企業(yè)已發(fā)展起了自己的拼湊解決方案，即通常每個(gè)部門試著用不同的形式管理自己的數(shù)據(jù)。其結(jié)果就是，不僅這些企業(yè)擁有大量的不同數(shù)據(jù)，而且數(shù)據(jù)用不同的數(shù)據(jù)技術(shù)存儲(chǔ)在不同的位置，大數(shù)據(jù)變成了大混亂。
    現(xiàn)在你應(yīng)該對(duì)大數(shù)據(jù)的內(nèi)涵、出處、龐大的原因以及所存在的問(wèn)題有了更好的理解。
    為什么你認(rèn)為大數(shù)據(jù)難以理解，或者為什么你認(rèn)為它好理解？你可以將你的看法通過(guò)留言評(píng)論回復(fù)給我們。
    說(shuō)明一下，我用UPS快遞舉例是因?yàn)槲抑繳PS能產(chǎn)生大量的數(shù)據(jù)，目前它管理著超過(guò)16萬(wàn)兆字節(jié)的數(shù)據(jù)量。