大數據：人類歷史向前的車輪_數據分析師

　   有人說大數據是大“忽悠”，有人說大數據沒商業(yè)模式，凡此種種都反映出一個問題——大數據落地難。但就此否定大數據，無疑又走到了一個極端?？梢园汛髷祿斫鉃樽畛醯恼羝麢C，初期不是也有人駕馬車一教高低嗎？大數據也是如此!

　　傳統(tǒng)數據挖掘和應用

　　從業(yè)務開始應用IT之日起，人們就沒有停止過對數據的挖掘和利用。人們總是希望透過一定的技術方法，透視數據背后所隱藏的秘密。

　　在傳統(tǒng)數據挖掘應用中，OLTP(On-Line Transaction Processing，聯(lián)機事務處理系統(tǒng))和OLAP(On-Line Analytical Processing，聯(lián)機分析處理)是用戶最為熟悉的技術應用。

　　OLTP也稱為面向交易的處理系統(tǒng)，它可以即時地處理輸入的數據，及時地回答，因此也稱為實時系統(tǒng)(Real time System)， OLTP通常是由數據庫引擎負責完成的，其所處理的數據也被稱為結構化數據。

　　OLAP主要用于多個角度、維度分析數據，多用于數據挖掘，為企業(yè)決策者提供分析依據。OLAP以數據倉庫技術為基礎，無論是報表、統(tǒng)計，還是客戶數據分群、客戶價值分析，以及類似逃稅、漏稅等數據挖據應用，輔助決策和人工智能的技術應用，歷來備受用戶重視。

　　OLAP數據主要來源于數據倉庫、數據集市以及ODS(Operational Data Store，操作型數據存儲)。在建模過程中，鑒于數據規(guī)格的差異，其數據很難被直接使用，需要經過抽取、清洗、轉換和裝載的復雜處理過程，所謂ETL(Extraction-Transformation-Loading)。此外，還要通過EAI(Enterprise Application Integration，企業(yè)應用集成)將進程、軟件、標準和硬件聯(lián)合起來，以追求對數據價值的分析和挖掘。

　　“啤酒和尿布”的故事歷來被視為傳統(tǒng)數據挖據應用的典范。但對于用戶來說，無論是Informatica的Power Center、IBM的DataStage、Teradata的Automation，還是Oracle的ODM，這些專屬ETL工具，無論對用戶專業(yè)技能水準的要求，還是對使用成本都有非常高的要求，因此難以大范圍推廣應用。其應用也主要集中在在價值密度高的數據，所謂結構化數據。

　　大數據價值和路徑

　　如今，大數據也是如此，根據IDC調查顯示，“提高競爭優(yōu)勢”、“削減成本”和“提高客戶忠誠度”是用戶對于大數據分析的期待。

　　談到大數據，很多人知道大數據具有4個V的特點，即Volume、Variety、Value、Velocity，其中，價值密度低(Value)的特點，就注定了沒有辦法用傳統(tǒng)OLAP方法進行大數據處理。

　　但價值密度低并不意味著數據價值低。眾所周知，奧巴馬競選總統(tǒng)，大數據功不可沒。大數據帶給人們無限的遐想。不要小看Facebook、微博、微信等社交媒體的一個“頂”或“贊”，盡管從個體來講，其傳遞的信息價值有限，但從群體高度進行審視，結果將大大不同。

　　小到總統(tǒng)選舉，商業(yè)預測，大到一個民族、國家的走勢未來，商業(yè)經濟發(fā)展，都有會留有自己的數據印跡，無論多么隱秘的事情，都會留有蛛絲馬跡，關鍵在于缺少能夠抓住線索的眼睛。

　　大數據不僅需要思考問題的方法，也需要可以挖掘、探索數據的平臺和工具。鑒于傳統(tǒng)OLAP的局限，NoSQL和列式數據庫技術應運而生。

　　NoSQL現在更多集中在Hadoop。如果用戶技術能力足夠強，完全可以駕馭，包括現在的Spark、Cassandra都可以用。其中，Spark是云計算和大數據的集大成者，也是Hadoop的取代者，屬于第二代云計算大數據技術，作為一個基于內存計算的云計算大數據平臺，在實時流處理、交互式查詢、機器學習、圖像處理、數據統(tǒng)計分析等方面具有無可比擬的優(yōu)勢。而Cassandra是一套開源分布式NoSQL數據庫系統(tǒng)。它最初由Facebook開發(fā)，集Google BigTable數據模型和Amazon Dynamo于一身，于2008年被Facebook開源，已經是一種流行的分布式結構化數據存儲方案。

　　列式數據庫技術介于傳統(tǒng)關系型數據庫和NoSQL數據庫之間，Vertica、Greenplum、GBase是國內外幾大代表廠商，其中，Vertica、Greenplum已經分別為惠普和EMC公司所并購。從技術特點看，列式數據庫主要適合于批量數據處理和即席查詢等應用。

　　對于大數據應用而言，列式數據庫堪稱承上啟下，可以分別與NoSQL和關系型數據庫搭檔，應用在大數據處理和應用。

　　英特爾至強和大數據先行者們

　　大數據真正開始落地，始于互聯(lián)網行業(yè)。以Google為代表，他們以x86服務器作為基礎硬件平臺，在其上構建了以NoSQL為核心的數據存儲和處理方式，對外提供各種基于大數據分析和處理的服務，開創(chuàng)了大數據服務的先河。

　　目前沒有人能夠準確說出Google有多少臺服務器，有人說100萬臺，也有消息稱高達1000萬臺服務器。這是一個相當驚人的數量。根據相關統(tǒng)計顯示，目前全球每年服務器的銷量不過120萬臺。因此，大數據對于計算能力的需求高的驚人。

　　大數據具有海量、價值密度低的特征。因此，對于掌握大數據的互聯(lián)網公司而言，如何按照其應用場景及需求對，對如此海量數據進行處理、分析，才是至關重要的。而他們也對于底層基礎設施提出了更高的要求。，除了處理能力之外，成本是一個必須考量的因素開放的平臺以及超高的性價比也是必須考量的因素。而這恰恰是x86通用標準服務器專長，與RISC處理器相比，英特爾處理器性價比優(yōu)勢明顯，這就為為大數據奠定了物質基礎。以最新英特爾至強E5-2600 v3 產品為例，借助每路處理器多達18個計算內核及 45MB 末級高速緩存以及高級矢量擴展指令集擴展(英特爾 AVX2)，可將性能提升達1.9倍。E5-2600 v3可讓每臺服務器運行的虛擬機數量增加70%，借助新一代DDR4內存的支持，可讓其性能提升達1.4 倍。

　　與之相比，如果采用RISC處理大數據，其成本將難以支撐。很難想象Google用100萬臺RISC服務器處理數據，不要說100萬臺，1萬臺都不是Google可以承受的。隨著大數據時代的來臨，英特爾也敏銳洞察到了大數據市場的需求和發(fā)展，在硬件與軟件層面對用戶進行全面的大數據技術支持為此，英特爾推出了Hadoop分發(fā)版，從技術給用戶以支持。

　　今年5月，英特爾注資大數據領導廠商Cloudera，其7.4億美元投入是英特爾在數據中心領域最大單筆資金投入。對此，英特爾(中國)行業(yè)合作與解決方案部中國區(qū)總監(jiān)凌琦表示：英特爾對于Cloudera的扶植，并不是扶植一家廠商，而是扶植一個市場。

　　小結

　　目前大數據應用已經不局限在互聯(lián)網企業(yè)，而是開始向傳統(tǒng)行業(yè)/企業(yè)市場蔓延，以x86服務器為基礎，無論是Vertica、Greenplum、GBase等列式數據庫，還是Cloudera等Hadoop分布式數據庫管理和開發(fā)工具，大數據服務提供商，如Splunk、Acitan、SAS、Tibco，從硬件、軟件平臺到大數據分析、應用和展示，一個完整的產業(yè)生態(tài)鏈已經比較成熟，未來值得期待。

　　毫無疑問，我們正處于一個數據爆炸的時代，移動互聯(lián)網、社交媒體的發(fā)達，為行業(yè)/企業(yè)研究消費者提供了充足的數據，如何駕馭好大數據，將關系到企業(yè)的業(yè)務創(chuàng)新?？梢哉f，生長在當下這樣的一個時代，企業(yè)與用戶從沒有今日如此之接近，因此大數據堪稱未來行業(yè)/企業(yè)的勝負手。

　　未來的市場不再是看不見，摸不著的市場，大數據能力的強與弱，既有可能成為企業(yè)、社會乃至一個國家、民族的分水嶺，人類文明將迎來前所未有的高速成長，歷史的車輪將會提速，滾滾向前!