大數(shù)據(jù)，人類歷史向前的車輪_數(shù)據(jù)分析師

有人說大數(shù)據(jù)是大“忽悠”，有人說大數(shù)據(jù)沒商業(yè)模式，凡此種種都反映出一個問題——大數(shù)據(jù)落地難。但就此否定大數(shù)據(jù)，無疑又走到了一個極端。可以把大數(shù)據(jù)理解為最初的蒸汽機，初期不是也有人駕馬車一教高低嗎？大數(shù)據(jù)也是如此!

傳統(tǒng)數(shù)據(jù)挖掘和應用

從業(yè)務開始應用IT之日起，人們就沒有停止過對數(shù)據(jù)的挖掘和利用。人們總是希望透過一定的技術方法，透視數(shù)據(jù)背后所隱藏的秘密。

在傳統(tǒng)數(shù)據(jù)挖掘應用中，OLTP(On-Line Transaction Processing，聯(lián)機事務處理系統(tǒng))和OLAP(On-Line Analytical Processing，聯(lián)機分析處理)是用戶最為熟悉的技術應用。

OLTP也稱為面向交易的處理系統(tǒng)，它可以即時地處理輸入的數(shù)據(jù)，及時地回答，因此也稱為實時系統(tǒng)(Real time System)， OLTP通常是由數(shù)據(jù)庫引擎負責完成的，其所處理的數(shù)據(jù)也被稱為結構化數(shù)據(jù)。

OLAP主要用于多個角度、維度分析數(shù)據(jù)，多用于數(shù)據(jù)挖掘，為企業(yè)決策者提供分析依據(jù)。OLAP以數(shù)據(jù)倉庫技術為基礎，無論是報表、統(tǒng)計，還是客戶數(shù)據(jù)分群、客戶價值分析，以及類似逃稅、漏稅等數(shù)據(jù)挖據(jù)應用，輔助決策和人工智能的技術應用，歷來備受用戶重視。

OLAP數(shù)據(jù)主要來源于數(shù)據(jù)倉庫、數(shù)據(jù)集市以及ODS(Operational Data Store，操作型數(shù)據(jù)存儲)。在建模過程中，鑒于數(shù)據(jù)規(guī)格的差異，其數(shù)據(jù)很難被直接使用，需要經過抽取、清洗、轉換和裝載的復雜處理過程，所謂ETL(Extraction-Transformation-Loading)。此外，還要通過EAI(Enterprise Application Integration，企業(yè)應用集成)將進程、軟件、標準和硬件聯(lián)合起來，以追求對數(shù)據(jù)價值的分析和挖掘。

“啤酒和尿布”的故事歷來被視為傳統(tǒng)數(shù)據(jù)挖據(jù)應用的典范。但對于用戶來說，無論是Informatica的Power Center、IBM的DataStage、Teradata的Automation，還是Oracle的ODM，這些專屬ETL工具，無論對用戶專業(yè)技能水準的要求，還是對使用成本都有非常高的要求，因此難以大范圍推廣應用。其應用也主要集中在在價值密度高的數(shù)據(jù)，所謂結構化數(shù)據(jù)。

大數(shù)據(jù)價值和路徑

如今，大數(shù)據(jù)也是如此，根據(jù)IDC調查顯示，“提高競爭優(yōu)勢”、“削減成本”和“提高客戶忠誠度”是用戶對于大數(shù)據(jù)分析的期待。

談到大數(shù)據(jù)，很多人知道大數(shù)據(jù)具有4個V的特點，即Volume、Variety、Value、Velocity，其中，價值密度低(Value)的特點，就注定了沒有辦法用傳統(tǒng)OLAP方法進行大數(shù)據(jù)處理。

但價值密度低并不意味著數(shù)據(jù)價值低。眾所周知，奧巴馬競選總統(tǒng)，大數(shù)據(jù)功不可沒。大數(shù)據(jù)帶給人們無限的遐想。不要小看Facebook、微博、微信等社交媒體的一個“頂”或“贊”，盡管從個體來講，其傳遞的信息價值有限，但從群體高度進行審視，結果將大大不同。

小到總統(tǒng)選舉，商業(yè)預測，大到一個民族、國家的走勢未來，商業(yè)經濟發(fā)展，都有會留有自己的數(shù)據(jù)印跡，無論多么隱秘的事情，都會留有蛛絲馬跡，關鍵在于缺少能夠抓住線索的眼睛。

大數(shù)據(jù)不僅需要思考問題的方法，也需要可以挖掘、探索數(shù)據(jù)的平臺和工具。鑒于傳統(tǒng)OLAP的局限，NoSQL和列式數(shù)據(jù)庫技術應運而生。

NoSQL現(xiàn)在更多集中在Hadoop。如果用戶技術能力足夠強，完全可以駕馭，包括現(xiàn)在的Spark、Cassandra都可以用。其中，Spark是云計算和大數(shù)據(jù)的集大成者，也是Hadoop的取代者，屬于第二代云計算大數(shù)據(jù)技術，作為一個基于內存計算的云計算大數(shù)據(jù)平臺，在實時流處理、交互式查詢、機器學習、圖像處理、數(shù)據(jù)統(tǒng)計分析等方面具有無可比擬的優(yōu)勢。而Cassandra是一套開源分布式NoSQL數(shù)據(jù)庫系統(tǒng)。它最初由Facebook開發(fā)，集Google BigTable數(shù)據(jù)模型和Amazon Dynamo于一身，于2008年被Facebook開源，已經是一種流行的分布式結構化數(shù)據(jù)存儲方案。

列式數(shù)據(jù)庫技術介于傳統(tǒng)關系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫之間，Vertica、Greenplum、GBase是國內外幾大代表廠商，其中，Vertica、Greenplum已經分別為惠普和EMC公司所并購。從技術特點看，列式數(shù)據(jù)庫主要適合于批量數(shù)據(jù)處理和即席查詢等應用。

對于大數(shù)據(jù)應用而言，列式數(shù)據(jù)庫堪稱承上啟下，可以分別與NoSQL和關系型數(shù)據(jù)庫搭檔，應用在大數(shù)據(jù)處理和應用。

英特爾至強和大數(shù)據(jù)先行者們

大數(shù)據(jù)真正開始落地，始于互聯(lián)網行業(yè)。以Google為代表，他們以x86服務器作為基礎硬件平臺，在其上構建了以NoSQL為核心的數(shù)據(jù)存儲和處理方式，對外提供各種基于大數(shù)據(jù)分析和處理的服務，開創(chuàng)了大數(shù)據(jù)服務的先河。

目前沒有人能夠準確說出Google有多少臺服務器，有人說100萬臺，也有消息稱高達1000萬臺服務器。這是一個相當驚人的數(shù)量。根據(jù)相關統(tǒng)計顯示，目前全球每年服務器的銷量不過120萬臺。因此，大數(shù)據(jù)對于計算能力的需求高的驚人。

大數(shù)據(jù)具有海量、價值密度低的特征。因此，對于掌握大數(shù)據(jù)的互聯(lián)網公司而言，如何按照其應用場景及需求對，對如此海量數(shù)據(jù)進行處理、分析，才是至關重要的。而他們也對于底層基礎設施提出了更高的要求。，除了處理能力之外，成本是一個必須考量的因素開放的平臺以及超高的性價比也是必須考量的因素。而這恰恰是x86通用標準服務器專長，與RISC處理器相比，英特爾處理器性價比優(yōu)勢明顯，這就為為大數(shù)據(jù)奠定了物質基礎。以最新英特爾至強E5-2600 v3 產品為例，借助每路處理器多達18個計算內核及 45MB 末級高速緩存以及高級矢量擴展指令集擴展(英特爾 AVX2)，可將性能提升達1.9倍。E5-2600 v3可讓每臺服務器運行的虛擬機數(shù)量增加70%，借助新一代DDR4內存的支持，可讓其性能提升達1.4 倍。

與之相比，如果采用RISC處理大數(shù)據(jù)，其成本將難以支撐。很難想象Google用100萬臺RISC服務器處理數(shù)據(jù)，不要說100萬臺，1萬臺都不是Google可以承受的。隨著大數(shù)據(jù)時代的來臨，英特爾也敏銳洞察到了大數(shù)據(jù)市場的需求和發(fā)展，在硬件與軟件層面對用戶進行全面的大數(shù)據(jù)技術支持為此，英特爾推出了Hadoop分發(fā)版，從技術給用戶以支持。

今年5月，英特爾注資大數(shù)據(jù)領導廠商Cloudera，其7.4億美元投入是英特爾在數(shù)據(jù)中心領域最大單筆資金投入。對此，英特爾(中國)行業(yè)合作與解決方案部中國區(qū)總監(jiān)凌琦表示：英特爾對于Cloudera的扶植，并不是扶植一家廠商，而是扶植一個市場。

小結

目前大數(shù)據(jù)應用已經不局限在互聯(lián)網企業(yè)，而是開始向傳統(tǒng)行業(yè)/企業(yè)市場蔓延，以x86服務器為基礎，無論是Vertica、Greenplum、GBase等列式數(shù)據(jù)庫，還是Cloudera等Hadoop分布式數(shù)據(jù)庫管理和開發(fā)工具，大數(shù)據(jù)服務提供商，如Splunk、Acitan、SAS、Tibco，從硬件、軟件平臺到大數(shù)據(jù)分析、應用和展示，一個完整的產業(yè)生態(tài)鏈已經比較成熟，未來值得期待。

毫無疑問，我們正處于一個數(shù)據(jù)爆炸的時代，移動互聯(lián)網、社交媒體的發(fā)達，為行業(yè)/企業(yè)研究消費者提供了充足的數(shù)據(jù)，如何駕馭好大數(shù)據(jù)，將關系到企業(yè)的業(yè)務創(chuàng)新?？梢哉f，生長在當下這樣的一個時代，企業(yè)與用戶從沒有今日如此之接近，因此大數(shù)據(jù)堪稱未來行業(yè)/企業(yè)的勝負手。

未來的市場不再是看不見，摸不著的市場，大數(shù)據(jù)能力的強與弱，既有可能成為企業(yè)、社會乃至一個國家、民族的分水嶺，人類文明將迎來前所未有的高速成長，歷史的車輪將會提速，滾滾向前!