在經(jīng)濟(jì)飛速發(fā)展的今天，有人說大數(shù)據(jù)是大“忽悠”，有人說大數(shù)據(jù)沒商業(yè)模式，凡此種種都反映出一個問題——大數(shù)據(jù)落地難。但就此否定大數(shù)據(jù)，無疑又走到了一個極端。可以把大數(shù)據(jù)理解為最初的蒸汽機(jī)，初期不是也有人駕馬車一教高低嗎？大數(shù)據(jù)也是如此!

傳統(tǒng)數(shù)據(jù)挖掘和應(yīng)用

從業(yè)務(wù)開始應(yīng)用IT之日起，人們就沒有停止過對數(shù)據(jù)的挖掘和利用。人們總是希望透過一定的技術(shù)方法，透視數(shù)據(jù)背后所隱藏的秘密。

在傳統(tǒng)數(shù)據(jù)挖掘應(yīng)用中，OLTP(On-Line Transaction Processing，聯(lián)機(jī)事務(wù)處理系統(tǒng))和OLAP(On-Line Analytical Processing，聯(lián)機(jī)分析處理)是用戶最為熟悉的技術(shù)應(yīng)用。

OLTP也稱為面向交易的處理系統(tǒng)，它可以即時地處理輸入的數(shù)據(jù)，及時地回答，因此也稱為實時系統(tǒng)(Real time System)， OLTP通常是由數(shù)據(jù)庫引擎負(fù)責(zé)完成的，其所處理的數(shù)據(jù)也被稱為結(jié)構(gòu)化數(shù)據(jù)。

OLAP主要用于多個角度、維度分析數(shù)據(jù)，多用于數(shù)據(jù)挖掘，為企業(yè)決策者提供分析依據(jù)。OLAP以數(shù)據(jù)倉庫技術(shù)為基礎(chǔ)，無論是報表、統(tǒng)計，還是客戶數(shù)據(jù)分群、客戶價值分析，以及類似逃稅、漏稅等數(shù)據(jù)挖據(jù)應(yīng)用，輔助決策和人工智能的技術(shù)應(yīng)用，歷來備受用戶重視。

OLAP數(shù)據(jù)主要來源于數(shù)據(jù)倉庫、數(shù)據(jù)集市以及ODS(Operational Data Store，操作型數(shù)據(jù)存儲)。在建模過程中，鑒于數(shù)據(jù)規(guī)格的差異，其數(shù)據(jù)很難被直接使用，需要經(jīng)過抽取、清洗、轉(zhuǎn)換和裝載的復(fù)雜處理過程，所謂ETL(Extraction-Transformation-Loading)。此外，還要通過EAI(Enterprise Application Integration，企業(yè)應(yīng)用集成)將進(jìn)程、軟件、標(biāo)準(zhǔn)和硬件聯(lián)合起來，以追求對數(shù)據(jù)價值的分析和挖掘。

“啤酒和尿布”的故事歷來被視為傳統(tǒng)數(shù)據(jù)挖據(jù)應(yīng)用的典范。但對于用戶來說，無論是Informatica的Power Center、IBM的DataStage、Teradata的Automation，還是Oracle的ODM，這些專屬ETL工具，無論對用戶專業(yè)技能水準(zhǔn)的要求，還是對使用成本都有非常高的要求，因此難以大范圍推廣應(yīng)用。其應(yīng)用也主要集中在在價值密度高的數(shù)據(jù)，所謂結(jié)構(gòu)化數(shù)據(jù)。

大數(shù)據(jù)價值和路徑

如今，大數(shù)據(jù)也是如此，根據(jù)IDC調(diào)查顯示，“提高競爭優(yōu)勢”、“削減成本”和“提高客戶忠誠度”是用戶對于大數(shù)據(jù)分析的期待。

談到大數(shù)據(jù)，很多人知道大數(shù)據(jù)具有4個V的特點，即Volume、Variety、Value、Velocity，其中，價值密度低(Value)的特點，就注定了沒有辦法用傳統(tǒng)OLAP方法進(jìn)行大數(shù)據(jù)處理。

但價值密度低并不意味著數(shù)據(jù)價值低。眾所周知，奧巴馬競選總統(tǒng)，大數(shù)據(jù)功不可沒。大數(shù)據(jù)帶給人們無限的遐想。不要小看Facebook、微博、微信等社交媒體的一個“頂”或“贊”，盡管從個體來講，其傳遞的信息價值有限，但從群體高度進(jìn)行審視，結(jié)果將大大不同。

小到總統(tǒng)選舉，商業(yè)預(yù)測，大到一個民族、國家的走勢未來，商業(yè)經(jīng)濟(jì)發(fā)展，都有會留有自己的數(shù)據(jù)印跡，無論多么隱秘的事情，都會留有蛛絲馬跡，關(guān)鍵在于缺少能夠抓住線索的眼睛。

大數(shù)據(jù)不僅需要思考問題的方法，也需要可以挖掘、探索數(shù)據(jù)的平臺和工具。鑒于傳統(tǒng)OLAP的局限，NoSQL和列式數(shù)據(jù)庫技術(shù)應(yīng)運而生。

NoSQL現(xiàn)在更多集中在Hadoop。如果用戶技術(shù)能力足夠強(qiáng)，完全可以駕馭，包括現(xiàn)在的Spark、Cassandra都可以用。其中，Spark是云計算和大數(shù)據(jù)的集大成者，也是Hadoop的取代者，屬于第二代云計算大數(shù)據(jù)技術(shù)，作為一個基于內(nèi)存計算的云計算大數(shù)據(jù)平臺，在實時流處理、交互式查詢、機(jī)器學(xué)習(xí)、圖像處理、數(shù)據(jù)統(tǒng)計分析等方面具有無可比擬的優(yōu)勢。而Cassandra是一套開源分布式NoSQL數(shù)據(jù)庫系統(tǒng)。它最初由Facebook開發(fā)，集Google BigTable數(shù)據(jù)模型和Amazon Dynamo于一身，于2008年被Facebook開源，已經(jīng)是一種流行的分布式結(jié)構(gòu)化數(shù)據(jù)存儲方案。

列式數(shù)據(jù)庫技術(shù)介于傳統(tǒng)關(guān)系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫之間，Vertica、Greenplum、GBase是國內(nèi)外幾大代表廠商，其中，Vertica、Greenplum已經(jīng)分別為惠普和EMC公司所并購。從技術(shù)特點看，列式數(shù)據(jù)庫主要適合于批量數(shù)據(jù)處理和即席查詢等應(yīng)用。

對于大數(shù)據(jù)應(yīng)用而言，列式數(shù)據(jù)庫堪稱承上啟下，可以分別與NoSQL和關(guān)系型數(shù)據(jù)庫搭檔，應(yīng)用在大數(shù)據(jù)處理和應(yīng)用。

英特爾至強(qiáng)和大數(shù)據(jù)先行者們

大數(shù)據(jù)真正開始落地，始于互聯(lián)網(wǎng)行業(yè)。以Google為代表，他們以x86服務(wù)器作為基礎(chǔ)硬件平臺，在其上構(gòu)建了以NoSQL為核心的數(shù)據(jù)存儲和處理方式，對外提供各種基于大數(shù)據(jù)分析和處理的服務(wù)，開創(chuàng)了大數(shù)據(jù)服務(wù)的先河。

目前沒有人能夠準(zhǔn)確說出Google有多少臺服務(wù)器，有人說100萬臺，也有消息稱高達(dá)1000萬臺服務(wù)器。這是一個相當(dāng)驚人的數(shù)量。根據(jù)相關(guān)統(tǒng)計顯示，目前全球每年服務(wù)器的銷量不過120萬臺。因此，大數(shù)據(jù)對于計算能力的需求高的驚人。

大數(shù)據(jù)具有海量、價值密度低的特征。因此，對于掌握大數(shù)據(jù)的互聯(lián)網(wǎng)公司而言，如何按照其應(yīng)用場景及需求對，對如此海量數(shù)據(jù)進(jìn)行處理、分析，才是至關(guān)重要的。而他們也對于底層基礎(chǔ)設(shè)施提出了更高的要求。，除了處理能力之外，成本是一個必須考量的因素開放的平臺以及超高的性價比也是必須考量的因素。而這恰恰是x86通用標(biāo)準(zhǔn)服務(wù)器專長，與RISC處理器相比，英特爾處理器性價比優(yōu)勢明顯，這就為為大數(shù)據(jù)奠定了物質(zhì)基礎(chǔ)。以最新英特爾至強(qiáng)E5-2600 v3 產(chǎn)品為例，借助每路處理器多達(dá)18個計算內(nèi)核及 45MB 末級高速緩存以及高級矢量擴(kuò)展指令集擴(kuò)展(英特爾 AVX2)，可將性能提升達(dá)1.9倍。E5-2600 v3可讓每臺服務(wù)器運行的虛擬機(jī)數(shù)量增加70%，借助新一代DDR4內(nèi)存的支持，可讓其性能提升達(dá)1.4 倍。

與之相比，如果采用RISC處理大數(shù)據(jù)，其成本將難以支撐。很難想象Google用100萬臺RISC服務(wù)器處理數(shù)據(jù)，不要說100萬臺，1萬臺都不是Google可以承受的。隨著大數(shù)據(jù)時代的來臨，英特爾也敏銳洞察到了大數(shù)據(jù)市場的需求和發(fā)展，在硬件與軟件層面對用戶進(jìn)行全面的大數(shù)據(jù)技術(shù)支持為此，英特爾推出了Hadoop分發(fā)版，從技術(shù)給用戶以支持。

今年5月，英特爾注資大數(shù)據(jù)領(lǐng)導(dǎo)廠商Cloudera，其7.4億美元投入是英特爾在數(shù)據(jù)中心領(lǐng)域最大單筆資金投入。對此，英特爾(中國)行業(yè)合作與解決方案部中國區(qū)總監(jiān)凌琦表示：英特爾對于Cloudera的扶植，并不是扶植一家廠商，而是扶植一個市場。

小結(jié)

目前大數(shù)據(jù)應(yīng)用已經(jīng)不局限在互聯(lián)網(wǎng)企業(yè)，而是開始向傳統(tǒng)行業(yè)/企業(yè)市場蔓延，以x86服務(wù)器為基礎(chǔ)，無論是Vertica、Greenplum、GBase等列式數(shù)據(jù)庫，還是Cloudera等Hadoop分布式數(shù)據(jù)庫管理和開發(fā)工具，大數(shù)據(jù)服務(wù)提供商，如Splunk、Acitan、SAS、Tibco，從硬件、軟件平臺到大數(shù)據(jù)分析、應(yīng)用和展示，一個完整的產(chǎn)業(yè)生態(tài)鏈已經(jīng)比較成熟，未來值得期待。

毫無疑問，我們正處于一個數(shù)據(jù)爆炸的時代，移動互聯(lián)網(wǎng)、社交媒體的發(fā)達(dá)，為行業(yè)/企業(yè)研究消費者提供了充足的數(shù)據(jù)，如何駕馭好大數(shù)據(jù)，將關(guān)系到企業(yè)的業(yè)務(wù)創(chuàng)新?？梢哉f，生長在當(dāng)下這樣的一個時代，企業(yè)與用戶從沒有今日如此之接近，因此大數(shù)據(jù)堪稱未來行業(yè)/企業(yè)的勝負(fù)手。

未來的市場不再是看不見，摸不著的市場，大數(shù)據(jù)能力的強(qiáng)與弱，既有可能成為企業(yè)、社會乃至一個國家、民族的分水嶺，人類文明將迎來前所未有的高速成長，歷史的車輪將會提速，滾滾向前!