大數(shù)據(jù)：網(wǎng)絡(luò)時(shí)代的“蒸汽機(jī)”

有人說(shuō)大數(shù)據(jù)是大“忽悠”，有人說(shuō)大數(shù)據(jù)沒(méi)商業(yè)模式，凡此種種都反映出一個(gè)問(wèn)題——大數(shù)據(jù)落地難。但就此否定大數(shù)據(jù)，無(wú)疑又走到了一個(gè)極端。可以把大數(shù)據(jù)理解為最初的蒸汽機(jī)，初期不是也有人駕馬車一教高低嗎?大數(shù)據(jù)也是如此!
 
傳統(tǒng)數(shù)據(jù)挖掘和應(yīng)用
 
從業(yè)務(wù)開(kāi)始應(yīng)用IT之日起，人們就沒(méi)有停止過(guò)對(duì)數(shù)據(jù)的挖掘和利用。人們總是希望透過(guò)一定的技術(shù)方法，透視數(shù)據(jù)背后所隱藏的秘密。
 
在傳統(tǒng)數(shù)據(jù)挖掘應(yīng)用中，OLTP(On-Line Transaction Processing，聯(lián)機(jī)事務(wù)處理系統(tǒng))和OLAP(On-Line Analytical Processing，聯(lián)機(jī)分析處理)是用戶最為熟悉的技術(shù)應(yīng)用。
 
大數(shù)據(jù)價(jià)值和路徑
 
如今，大數(shù)據(jù)也是如此，根據(jù)IDC調(diào)查顯示，“提高競(jìng)爭(zhēng)優(yōu)勢(shì)”、“削減成本”和“提高客戶忠誠(chéng)度”是用戶對(duì)于大數(shù)據(jù)分析的期待。
 
談到大數(shù)據(jù)，很多人知道大數(shù)據(jù)具有4個(gè)V的特點(diǎn)，即Volume、Variety、Value、Velocity，其中，價(jià)值密度低(Value)的特點(diǎn)，就注定了沒(méi)有辦法用傳統(tǒng)OLAP方法進(jìn)行大數(shù)據(jù)處理。
 
但價(jià)值密度低并不意味著數(shù)據(jù)價(jià)值低。眾所周知，奧巴馬競(jìng)選總統(tǒng)，大數(shù)據(jù)功不可沒(méi)。大數(shù)據(jù)帶給人們無(wú)限的遐想。不要小看Facebook、微博、微信等社交媒體的一個(gè)“頂”或“贊”，盡管從個(gè)體來(lái)講，其傳遞的信息價(jià)值有限，但從群體高度進(jìn)行審視，結(jié)果將大大不同。
 
大數(shù)據(jù)不僅需要思考問(wèn)題的方法，也需要可以挖掘、探索數(shù)據(jù)的平臺(tái)和工具。鑒于傳統(tǒng)OLAP的局限，NoSQL和列式數(shù)據(jù)庫(kù)技術(shù)應(yīng)運(yùn)而生。
 
英特爾至強(qiáng)和大數(shù)據(jù)先行者們
 
大數(shù)據(jù)真正開(kāi)始落地，始于互聯(lián)網(wǎng)行業(yè)。以Google為代表，他們以x86服務(wù)器作為基礎(chǔ)硬件平臺(tái)，在其上構(gòu)建了以NoSQL為核心的數(shù)據(jù)存儲(chǔ)和處理方式，對(duì)外提供各種基于大數(shù)據(jù)分析和處理的服務(wù)，開(kāi)創(chuàng)了大數(shù)據(jù)服務(wù)的先河。
 
目前沒(méi)有人能夠準(zhǔn)確說(shuō)出Google有多少臺(tái)服務(wù)器，有人說(shuō)100萬(wàn)臺(tái)，也有消息稱高達(dá)1000萬(wàn)臺(tái)服務(wù)器。這是一個(gè)相當(dāng)驚人的數(shù)量。根據(jù)相關(guān)統(tǒng)計(jì)顯示，目前全球每年服務(wù)器的銷量不過(guò)120萬(wàn)臺(tái)。因此，大數(shù)據(jù)對(duì)于計(jì)算能力的需求高的驚人。
 
大數(shù)據(jù)具有海量、價(jià)值密度低的特征。因此，對(duì)于掌握大數(shù)據(jù)的互聯(lián)網(wǎng)公司而言，如何按照其應(yīng)用場(chǎng)景及需求對(duì)，對(duì)如此海量數(shù)據(jù)進(jìn)行處理、分析，才是至關(guān)重要的。而他們也對(duì)于底層基礎(chǔ)設(shè)施提出了更高的要求。，除了處理能力之外，成本是一個(gè)必須考量的因素開(kāi)放的平臺(tái)以及超高的性價(jià)比也是必須考量的因素。
 
與之相比，如果采用RISC處理大數(shù)據(jù)，其成本將難以支撐。很難想象Google用100萬(wàn)臺(tái)RISC服務(wù)器處理數(shù)據(jù)，不要說(shuō)100萬(wàn)臺(tái)，1萬(wàn)臺(tái)都不是Google可以承受的。隨著大數(shù)據(jù)時(shí)代的來(lái)臨，英特爾也敏銳洞察到了大數(shù)據(jù)市場(chǎng)的需求和發(fā)展，在硬件與軟件層面對(duì)用戶進(jìn)行全面的大數(shù)據(jù)技術(shù)支持為此，英特爾推出了Hadoop分發(fā)版，從技術(shù)給用戶以支持。
 
小結(jié)
 
目前大數(shù)據(jù)應(yīng)用已經(jīng)不局限在互聯(lián)網(wǎng)企業(yè)，而是開(kāi)始向傳統(tǒng)行業(yè)/企業(yè)市場(chǎng)蔓延，以x86服務(wù)器為基礎(chǔ)，無(wú)論是Vertica、Greenplum、GBase等列式數(shù)據(jù)庫(kù)，還是Cloudera等Hadoop分布式數(shù)據(jù)庫(kù)管理和開(kāi)發(fā)工具，大數(shù)據(jù)服務(wù)提供商，如Splunk、Acitan、SAS、Tibco，從硬件、軟件平臺(tái)到大數(shù)據(jù)分析、應(yīng)用和展示，一個(gè)完整的產(chǎn)業(yè)生態(tài)鏈已經(jīng)比較成熟，未來(lái)值得期待。
 
毫無(wú)疑問(wèn)，我們正處于一個(gè)數(shù)據(jù)爆炸的時(shí)代，移動(dòng)互聯(lián)網(wǎng)、社交媒體的發(fā)達(dá)，為行業(yè)/企業(yè)研究消費(fèi)者提供了充足的數(shù)據(jù)，如何駕馭好大數(shù)據(jù)，將關(guān)系到企業(yè)的業(yè)務(wù)創(chuàng)新。可以說(shuō)，生長(zhǎng)在當(dāng)下這樣的一個(gè)時(shí)代，企業(yè)與用戶從沒(méi)有今日如此之接近，因此大數(shù)據(jù)堪稱未來(lái)行業(yè)/企業(yè)的勝負(fù)手。
 
未來(lái)的市場(chǎng)不再是看不見(jiàn)，摸不著的市場(chǎng)，大數(shù)據(jù)能力的強(qiáng)與弱，既有可能成為企業(yè)、社會(huì)乃至一個(gè)國(guó)家、民族的分水嶺，人類文明將迎來(lái)前所未有的高速成長(zhǎng)，歷史的車輪將會(huì)提速，滾滾向前!