大數(shù)據(jù)，人類(lèi)歷史向前的車(chē)輪_數(shù)據(jù)分析師

有人說(shuō)大數(shù)據(jù)是大“忽悠”，有人說(shuō)大數(shù)據(jù)沒(méi)商業(yè)模式，凡此種種都反映出一個(gè)問(wèn)題——大數(shù)據(jù)落地難。但就此否定大數(shù)據(jù)，無(wú)疑又走到了一個(gè)極端?？梢园汛髷?shù)據(jù)理解為最初的蒸汽機(jī)，初期不是也有人駕馬車(chē)一教高低嗎？大數(shù)據(jù)也是如此!

傳統(tǒng)數(shù)據(jù)挖掘和應(yīng)用

從業(yè)務(wù)開(kāi)始應(yīng)用IT之日起，人們就沒(méi)有停止過(guò)對(duì)數(shù)據(jù)的挖掘和利用。人們總是希望透過(guò)一定的技術(shù)方法，透視數(shù)據(jù)背后所隱藏的秘密。

在傳統(tǒng)數(shù)據(jù)挖掘應(yīng)用中，OLTP(On-Line Transaction Processing，聯(lián)機(jī)事務(wù)處理系統(tǒng))和OLAP(On-Line Analytical Processing，聯(lián)機(jī)分析處理)是用戶最為熟悉的技術(shù)應(yīng)用。

OLTP也稱(chēng)為面向交易的處理系統(tǒng)，它可以即時(shí)地處理輸入的數(shù)據(jù)，及時(shí)地回答，因此也稱(chēng)為實(shí)時(shí)系統(tǒng)(Real time System)， OLTP通常是由數(shù)據(jù)庫(kù)引擎負(fù)責(zé)完成的，其所處理的數(shù)據(jù)也被稱(chēng)為結(jié)構(gòu)化數(shù)據(jù)。

OLAP主要用于多個(gè)角度、維度分析數(shù)據(jù)，多用于數(shù)據(jù)挖掘，為企業(yè)決策者提供分析依據(jù)。OLAP以數(shù)據(jù)倉(cāng)庫(kù)技術(shù)為基礎(chǔ)，無(wú)論是報(bào)表、統(tǒng)計(jì)，還是客戶數(shù)據(jù)分群、客戶價(jià)值分析，以及類(lèi)似逃稅、漏稅等數(shù)據(jù)挖據(jù)應(yīng)用，輔助決策和人工智能的技術(shù)應(yīng)用，歷來(lái)備受用戶重視。

OLAP數(shù)據(jù)主要來(lái)源于數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市以及ODS(Operational Data Store，操作型數(shù)據(jù)存儲(chǔ))。在建模過(guò)程中，鑒于數(shù)據(jù)規(guī)格的差異，其數(shù)據(jù)很難被直接使用，需要經(jīng)過(guò)抽取、清洗、轉(zhuǎn)換和裝載的復(fù)雜處理過(guò)程，所謂ETL(Extraction-Transformation-Loading)。此外，還要通過(guò)EAI(Enterprise Application Integration，企業(yè)應(yīng)用集成)將進(jìn)程、軟件、標(biāo)準(zhǔn)和硬件聯(lián)合起來(lái)，以追求對(duì)數(shù)據(jù)價(jià)值的分析和挖掘。

“啤酒和尿布”的故事歷來(lái)被視為傳統(tǒng)數(shù)據(jù)挖據(jù)應(yīng)用的典范。但對(duì)于用戶來(lái)說(shuō)，無(wú)論是Informatica的Power Center、IBM的DataStage、Teradata的Automation，還是Oracle的ODM，這些專(zhuān)屬ETL工具，無(wú)論對(duì)用戶專(zhuān)業(yè)技能水準(zhǔn)的要求，還是對(duì)使用成本都有非常高的要求，因此難以大范圍推廣應(yīng)用。其應(yīng)用也主要集中在在價(jià)值密度高的數(shù)據(jù)，所謂結(jié)構(gòu)化數(shù)據(jù)。

大數(shù)據(jù)價(jià)值和路徑

如今，大數(shù)據(jù)也是如此，根據(jù)IDC調(diào)查顯示，“提高競(jìng)爭(zhēng)優(yōu)勢(shì)”、“削減成本”和“提高客戶忠誠(chéng)度”是用戶對(duì)于大數(shù)據(jù)分析的期待。

談到大數(shù)據(jù)，很多人知道大數(shù)據(jù)具有4個(gè)V的特點(diǎn)，即Volume、Variety、Value、Velocity，其中，價(jià)值密度低(Value)的特點(diǎn)，就注定了沒(méi)有辦法用傳統(tǒng)OLAP方法進(jìn)行大數(shù)據(jù)處理。

但價(jià)值密度低并不意味著數(shù)據(jù)價(jià)值低。眾所周知，奧巴馬競(jìng)選總統(tǒng)，大數(shù)據(jù)功不可沒(méi)。大數(shù)據(jù)帶給人們無(wú)限的遐想。不要小看Facebook、微博、微信等社交媒體的一個(gè)“頂”或“贊”，盡管從個(gè)體來(lái)講，其傳遞的信息價(jià)值有限，但從群體高度進(jìn)行審視，結(jié)果將大大不同。

小到總統(tǒng)選舉，商業(yè)預(yù)測(cè)，大到一個(gè)民族、國(guó)家的走勢(shì)未來(lái)，商業(yè)經(jīng)濟(jì)發(fā)展，都有會(huì)留有自己的數(shù)據(jù)印跡，無(wú)論多么隱秘的事情，都會(huì)留有蛛絲馬跡，關(guān)鍵在于缺少能夠抓住線索的眼睛。

大數(shù)據(jù)不僅需要思考問(wèn)題的方法，也需要可以挖掘、探索數(shù)據(jù)的平臺(tái)和工具。鑒于傳統(tǒng)OLAP的局限，NoSQL和列式數(shù)據(jù)庫(kù)技術(shù)應(yīng)運(yùn)而生。

NoSQL現(xiàn)在更多集中在Hadoop。如果用戶技術(shù)能力足夠強(qiáng)，完全可以駕馭，包括現(xiàn)在的Spark、Cassandra都可以用。其中，Spark是云計(jì)算和大數(shù)據(jù)的集大成者，也是Hadoop的取代者，屬于第二代云計(jì)算大數(shù)據(jù)技術(shù)，作為一個(gè)基于內(nèi)存計(jì)算的云計(jì)算大數(shù)據(jù)平臺(tái)，在實(shí)時(shí)流處理、交互式查詢、機(jī)器學(xué)習(xí)、圖像處理、數(shù)據(jù)統(tǒng)計(jì)分析等方面具有無(wú)可比擬的優(yōu)勢(shì)。而Cassandra是一套開(kāi)源分布式NoSQL數(shù)據(jù)庫(kù)系統(tǒng)。它最初由Facebook開(kāi)發(fā)，集Google BigTable數(shù)據(jù)模型和Amazon Dynamo于一身，于2008年被Facebook開(kāi)源，已經(jīng)是一種流行的分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方案。

列式數(shù)據(jù)庫(kù)技術(shù)介于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)和NoSQL數(shù)據(jù)庫(kù)之間，Vertica、Greenplum、GBase是國(guó)內(nèi)外幾大代表廠商，其中，Vertica、Greenplum已經(jīng)分別為惠普和EMC公司所并購(gòu)。從技術(shù)特點(diǎn)看，列式數(shù)據(jù)庫(kù)主要適合于批量數(shù)據(jù)處理和即席查詢等應(yīng)用。

對(duì)于大數(shù)據(jù)應(yīng)用而言，列式數(shù)據(jù)庫(kù)堪稱(chēng)承上啟下，可以分別與NoSQL和關(guān)系型數(shù)據(jù)庫(kù)搭檔，應(yīng)用在大數(shù)據(jù)處理和應(yīng)用。

英特爾至強(qiáng)和大數(shù)據(jù)先行者們

大數(shù)據(jù)真正開(kāi)始落地，始于互聯(lián)網(wǎng)行業(yè)。以Google為代表，他們以x86服務(wù)器作為基礎(chǔ)硬件平臺(tái)，在其上構(gòu)建了以NoSQL為核心的數(shù)據(jù)存儲(chǔ)和處理方式，對(duì)外提供各種基于大數(shù)據(jù)分析和處理的服務(wù)，開(kāi)創(chuàng)了大數(shù)據(jù)服務(wù)的先河。

目前沒(méi)有人能夠準(zhǔn)確說(shuō)出Google有多少臺(tái)服務(wù)器，有人說(shuō)100萬(wàn)臺(tái)，也有消息稱(chēng)高達(dá)1000萬(wàn)臺(tái)服務(wù)器。這是一個(gè)相當(dāng)驚人的數(shù)量。根據(jù)相關(guān)統(tǒng)計(jì)顯示，目前全球每年服務(wù)器的銷(xiāo)量不過(guò)120萬(wàn)臺(tái)。因此，大數(shù)據(jù)對(duì)于計(jì)算能力的需求高的驚人。

大數(shù)據(jù)具有海量、價(jià)值密度低的特征。因此，對(duì)于掌握大數(shù)據(jù)的互聯(lián)網(wǎng)公司而言，如何按照其應(yīng)用場(chǎng)景及需求對(duì)，對(duì)如此海量數(shù)據(jù)進(jìn)行處理、分析，才是至關(guān)重要的。而他們也對(duì)于底層基礎(chǔ)設(shè)施提出了更高的要求。，除了處理能力之外，成本是一個(gè)必須考量的因素開(kāi)放的平臺(tái)以及超高的性價(jià)比也是必須考量的因素。而這恰恰是x86通用標(biāo)準(zhǔn)服務(wù)器專(zhuān)長(zhǎng)，與RISC處理器相比，英特爾處理器性價(jià)比優(yōu)勢(shì)明顯，這就為為大數(shù)據(jù)奠定了物質(zhì)基礎(chǔ)。以最新英特爾至強(qiáng)E5-2600 v3 產(chǎn)品為例，借助每路處理器多達(dá)18個(gè)計(jì)算內(nèi)核及 45MB 末級(jí)高速緩存以及高級(jí)矢量擴(kuò)展指令集擴(kuò)展(英特爾 AVX2)，可將性能提升達(dá)1.9倍。E5-2600 v3可讓每臺(tái)服務(wù)器運(yùn)行的虛擬機(jī)數(shù)量增加70%，借助新一代DDR4內(nèi)存的支持，可讓其性能提升達(dá)1.4 倍。

與之相比，如果采用RISC處理大數(shù)據(jù)，其成本將難以支撐。很難想象Google用100萬(wàn)臺(tái)RISC服務(wù)器處理數(shù)據(jù)，不要說(shuō)100萬(wàn)臺(tái)，1萬(wàn)臺(tái)都不是Google可以承受的。隨著大數(shù)據(jù)時(shí)代的來(lái)臨，英特爾也敏銳洞察到了大數(shù)據(jù)市場(chǎng)的需求和發(fā)展，在硬件與軟件層面對(duì)用戶進(jìn)行全面的大數(shù)據(jù)技術(shù)支持為此，英特爾推出了Hadoop分發(fā)版，從技術(shù)給用戶以支持。

今年5月，英特爾注資大數(shù)據(jù)領(lǐng)導(dǎo)廠商Cloudera，其7.4億美元投入是英特爾在數(shù)據(jù)中心領(lǐng)域最大單筆資金投入。對(duì)此，英特爾(中國(guó))行業(yè)合作與解決方案部中國(guó)區(qū)總監(jiān)凌琦表示：英特爾對(duì)于Cloudera的扶植，并不是扶植一家廠商，而是扶植一個(gè)市場(chǎng)。

小結(jié)

目前大數(shù)據(jù)應(yīng)用已經(jīng)不局限在互聯(lián)網(wǎng)企業(yè)，而是開(kāi)始向傳統(tǒng)行業(yè)/企業(yè)市場(chǎng)蔓延，以x86服務(wù)器為基礎(chǔ)，無(wú)論是Vertica、Greenplum、GBase等列式數(shù)據(jù)庫(kù)，還是Cloudera等Hadoop分布式數(shù)據(jù)庫(kù)管理和開(kāi)發(fā)工具，大數(shù)據(jù)服務(wù)提供商，如Splunk、Acitan、SAS、Tibco，從硬件、軟件平臺(tái)到大數(shù)據(jù)分析、應(yīng)用和展示，一個(gè)完整的產(chǎn)業(yè)生態(tài)鏈已經(jīng)比較成熟，未來(lái)值得期待。

毫無(wú)疑問(wèn)，我們正處于一個(gè)數(shù)據(jù)爆炸的時(shí)代，移動(dòng)互聯(lián)網(wǎng)、社交媒體的發(fā)達(dá)，為行業(yè)/企業(yè)研究消費(fèi)者提供了充足的數(shù)據(jù)，如何駕馭好大數(shù)據(jù)，將關(guān)系到企業(yè)的業(yè)務(wù)創(chuàng)新?？梢哉f(shuō)，生長(zhǎng)在當(dāng)下這樣的一個(gè)時(shí)代，企業(yè)與用戶從沒(méi)有今日如此之接近，因此大數(shù)據(jù)堪稱(chēng)未來(lái)行業(yè)/企業(yè)的勝負(fù)手。

未來(lái)的市場(chǎng)不再是看不見(jiàn)，摸不著的市場(chǎng)，大數(shù)據(jù)能力的強(qiáng)與弱，既有可能成為企業(yè)、社會(huì)乃至一個(gè)國(guó)家、民族的分水嶺，人類(lèi)文明將迎來(lái)前所未有的高速成長(zhǎng)，歷史的車(chē)輪將會(huì)提速，滾滾向前!