大數(shù)據(jù)價(jià)值和路徑_數(shù)據(jù)分析師培訓(xùn)

有人說大數(shù)據(jù)是大“忽悠”，有人說大數(shù)據(jù)沒商業(yè)模式，凡此種種都反映出一個(gè)問題——大數(shù)據(jù)落地難。但就此否定大數(shù)據(jù)，無疑又走到了一個(gè)極端。可以把大數(shù)據(jù)理解為最初的蒸汽機(jī)，初期不是也有人駕馬車一教高低嗎？大數(shù)據(jù)也是如此!
 
  大數(shù)據(jù)價(jià)值和路徑
 
  如今，大數(shù)據(jù)也是如此，根據(jù)IDC調(diào)查顯示，“提高競爭優(yōu)勢”、“削減成本”和“提高客戶忠誠度”是用戶對(duì)于大數(shù)據(jù)分析的期待。
 
  談到大數(shù)據(jù)，很多人知道大數(shù)據(jù)具有4個(gè)V的特點(diǎn)，即Volume、Variety、Value、Velocity，其中，價(jià)值密度低(Value)的特點(diǎn)，就注定了沒有辦法用傳統(tǒng)OLAP方法進(jìn)行大數(shù)據(jù)處理。
 
  但價(jià)值密度低并不意味著數(shù)據(jù)價(jià)值低。眾所周知，奧巴馬競選總統(tǒng)，大數(shù)據(jù)功不可沒。大數(shù)據(jù)帶給人們無限的遐想。不要小看Facebook、微博、微信等社交媒體的一個(gè)“頂”或“贊”，盡管從個(gè)體來講，其傳遞的信息價(jià)值有限，但從群體高度進(jìn)行審視，結(jié)果將大大不同。CDA數(shù)據(jù)分析師培訓(xùn)
 
  小到總統(tǒng)選舉，商業(yè)預(yù)測，大到一個(gè)民族、國家的走勢未來，商業(yè)經(jīng)濟(jì)發(fā)展，都有會(huì)留有自己的數(shù)據(jù)印跡，無論多么隱秘的事情，都會(huì)留有蛛絲馬跡，關(guān)鍵在于缺少能夠抓住線索的眼睛。
 
  大數(shù)據(jù)不僅需要思考問題的方法，也需要可以挖掘、探索數(shù)據(jù)的平臺(tái)和工具。鑒于傳統(tǒng)OLAP的局限，NoSQL和列式數(shù)據(jù)庫技術(shù)應(yīng)運(yùn)而生。
 
  NoSQL現(xiàn)在更多集中在Hadoop。如果用戶技術(shù)能力足夠強(qiáng)，完全可以駕馭，包括現(xiàn)在的Spark、Cassandra都可以用。其中，Spark是云計(jì)算和大數(shù)據(jù)的集大成者，也是Hadoop的取代者，屬于第二代云計(jì)算大數(shù)據(jù)技術(shù)，作為一個(gè)基于內(nèi)存計(jì)算的云計(jì)算大數(shù)據(jù)平臺(tái)，在實(shí)時(shí)流處理、交互式查詢、機(jī)器學(xué)習(xí)、圖像處理、數(shù)據(jù)統(tǒng)計(jì)分析等方面具有無可比擬的優(yōu)勢。而Cassandra是一套開源分布式NoSQL數(shù)據(jù)庫系統(tǒng)。它最初由Facebook開發(fā)，集Google BigTable數(shù)據(jù)模型和Amazon Dynamo于一身，于2008年被Facebook開源，已經(jīng)是一種流行的分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方案。
 
  列式數(shù)據(jù)庫技術(shù)介于傳統(tǒng)關(guān)系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫之間，Vertica、Greenplum、GBase是國內(nèi)外幾大代表廠商，其中，Vertica、Greenplum已經(jīng)分別為惠普和EMC公司所并購。從技術(shù)特點(diǎn)看，列式數(shù)據(jù)庫主要適合于批量數(shù)據(jù)處理和即席查詢等應(yīng)用。
 
  對(duì)于大數(shù)據(jù)應(yīng)用而言，列式數(shù)據(jù)庫堪稱承上啟下，可以分別與NoSQL和關(guān)系型數(shù)據(jù)庫搭檔，應(yīng)用在大數(shù)據(jù)處理和應(yīng)用。
 
  傳統(tǒng)數(shù)據(jù)挖掘和應(yīng)用
 
  從業(yè)務(wù)開始應(yīng)用IT之日起，人們就沒有停止過對(duì)數(shù)據(jù)的挖掘和利用。人們總是希望透過一定的技術(shù)方法，透視數(shù)據(jù)背后所隱藏的秘密。
 
  在傳統(tǒng)數(shù)據(jù)挖掘應(yīng)用中，OLTP(On-Line Transaction Processing，聯(lián)機(jī)事務(wù)處理系統(tǒng))和OLAP(On-Line Analytical Processing，聯(lián)機(jī)分析處理)是用戶最為熟悉的技術(shù)應(yīng)用。
 
  OLTP也稱為面向交易的處理系統(tǒng)，它可以即時(shí)地處理輸入的數(shù)據(jù)，及時(shí)地回答，因此也稱為實(shí)時(shí)系統(tǒng)(Real time System)， OLTP通常是由數(shù)據(jù)庫引擎負(fù)責(zé)完成的，其所處理的數(shù)據(jù)也被稱為結(jié)構(gòu)化數(shù)據(jù)。
 
  OLAP主要用于多個(gè)角度、維度分析數(shù)據(jù)，多用于數(shù)據(jù)挖掘，為企業(yè)決策者提供分析依據(jù)。OLAP以數(shù)據(jù)倉庫技術(shù)為基礎(chǔ)，無論是報(bào)表、統(tǒng)計(jì)，還是客戶數(shù)據(jù)分群、客戶價(jià)值分析，以及類似逃稅、漏稅等數(shù)據(jù)挖據(jù)應(yīng)用，輔助決策和人工智能的技術(shù)應(yīng)用，歷來備受用戶重視。
 
  OLAP數(shù)據(jù)主要來源于數(shù)據(jù)倉庫、數(shù)據(jù)集市以及ODS(Operational Data Store，操作型數(shù)據(jù)存儲(chǔ))。在建模過程中，鑒于數(shù)據(jù)規(guī)格的差異，其數(shù)據(jù)很難被直接使用，需要經(jīng)過抽取、清洗、轉(zhuǎn)換和裝載的復(fù)雜處理過程，所謂ETL(Extraction-Transformation-Loading)。此外，還要通過EAI(Enterprise Application Integration，企業(yè)應(yīng)用集成)將進(jìn)程、軟件、標(biāo)準(zhǔn)和硬件聯(lián)合起來，以追求對(duì)數(shù)據(jù)價(jià)值的分析和挖掘。
 
  “啤酒和尿布”的故事歷來被視為傳統(tǒng)數(shù)據(jù)挖據(jù)應(yīng)用的典范。但對(duì)于用戶來說，無論是Informatica的Power Center、IBM的DataStage、Teradata的Automation，還是Oracle的ODM，這些專屬ETL工具，無論對(duì)用戶專業(yè)技能水準(zhǔn)的要求，還是對(duì)使用成本都有非常高的要求，因此難以大范圍推廣應(yīng)用。其應(yīng)用也主要集中在在價(jià)值密度高的數(shù)據(jù)，所謂結(jié)構(gòu)化數(shù)據(jù)。
 
  英特爾至強(qiáng)和大數(shù)據(jù)先行者們
 
  大數(shù)據(jù)真正開始落地，始于互聯(lián)網(wǎng)行業(yè)。以Google為代表，他們以x86服務(wù)器作為基礎(chǔ)硬件平臺(tái)，在其上構(gòu)建了以NoSQL為核心的數(shù)據(jù)存儲(chǔ)和處理方式，對(duì)外提供各種基于大數(shù)據(jù)分析和處理的服務(wù)，開創(chuàng)了大數(shù)據(jù)服務(wù)的先河。
 
  目前沒有人能夠準(zhǔn)確說出Google有多少臺(tái)服務(wù)器，有人說100萬臺(tái)，也有消息稱高達(dá)1000萬臺(tái)服務(wù)器。這是一個(gè)相當(dāng)驚人的數(shù)量。根據(jù)相關(guān)統(tǒng)計(jì)顯示，目前全球每年服務(wù)器的銷量不過120萬臺(tái)。因此，大數(shù)據(jù)對(duì)于計(jì)算能力的需求高的驚人。
 
  大數(shù)據(jù)具有海量、價(jià)值密度低的特征。因此，對(duì)于掌握大數(shù)據(jù)的互聯(lián)網(wǎng)公司而言，如何按照其應(yīng)用場景及需求對(duì)，對(duì)如此海量數(shù)據(jù)進(jìn)行處理、分析，才是至關(guān)重要的。而他們也對(duì)于底層基礎(chǔ)設(shè)施提出了更高的要求。，除了處理能力之外，成本是一個(gè)必須考量的因素開放的平臺(tái)以及超高的性價(jià)比也是必須考量的因素。而這恰恰是x86通用標(biāo)準(zhǔn)服務(wù)器專長，與RISC處理器相比，英特爾處理器性價(jià)比優(yōu)勢明顯，這就為為大數(shù)據(jù)奠定了物質(zhì)基礎(chǔ)。以最新英特爾至強(qiáng)E5-2600 v3 產(chǎn)品為例，借助每路處理器多達(dá)18個(gè)計(jì)算內(nèi)核及 45MB 末級(jí)高速緩存以及高級(jí)矢量擴(kuò)展指令集擴(kuò)展(英特爾 AVX2)，可將性能提升達(dá)1.9倍。E5-2600 v3可讓每臺(tái)服務(wù)器運(yùn)行的虛擬機(jī)數(shù)量增加70%，借助新一代DDR4內(nèi)存的支持，可讓其性能提升達(dá)1.4 倍。
 
  與之相比，如果采用RISC處理大數(shù)據(jù)，其成本將難以支撐。很難想象Google用100萬臺(tái)RISC服務(wù)器處理數(shù)據(jù)，不要說100萬臺(tái)，1萬臺(tái)都不是Google可以承受的。隨著大數(shù)據(jù)時(shí)代的來臨，英特爾也敏銳洞察到了大數(shù)據(jù)市場的需求和發(fā)展，在硬件與軟件層面對(duì)用戶進(jìn)行全面的大數(shù)據(jù)技術(shù)支持為此，英特爾推出了Hadoop分發(fā)版，從技術(shù)給用戶以支持。
 
  今年5月，英特爾注資大數(shù)據(jù)領(lǐng)導(dǎo)廠商Cloudera，其7.4億美元投入是英特爾在數(shù)據(jù)中心領(lǐng)域最大單筆資金投入。對(duì)此，英特爾(中國)行業(yè)合作與解決方案部中國區(qū)總監(jiān)凌琦表示：英特爾對(duì)于Cloudera的扶植，并不是扶植一家廠商，而是扶植一個(gè)市場。
 
  小結(jié)
 
  目前大數(shù)據(jù)應(yīng)用已經(jīng)不局限在互聯(lián)網(wǎng)企業(yè)，而是開始向傳統(tǒng)行業(yè)/企業(yè)市場蔓延，以x86服務(wù)器為基礎(chǔ)，無論是Vertica、Greenplum、GBase等列式數(shù)據(jù)庫，還是Cloudera等Hadoop分布式數(shù)據(jù)庫管理和開發(fā)工具，大數(shù)據(jù)服務(wù)提供商，如Splunk、Acitan、SAS、Tibco，從硬件、軟件平臺(tái)到大數(shù)據(jù)分析、應(yīng)用和展示，一個(gè)完整的產(chǎn)業(yè)生態(tài)鏈已經(jīng)比較成熟，未來值得期待。
 
  毫無疑問，我們正處于一個(gè)數(shù)據(jù)爆炸的時(shí)代，移動(dòng)互聯(lián)網(wǎng)、社交媒體的發(fā)達(dá)，為行業(yè)/企業(yè)研究消費(fèi)者提供了充足的數(shù)據(jù)，如何駕馭好大數(shù)據(jù)，將關(guān)系到企業(yè)的業(yè)務(wù)創(chuàng)新?？梢哉f，生長在當(dāng)下這樣的一個(gè)時(shí)代，企業(yè)與用戶從沒有今日如此之接近，因此大數(shù)據(jù)堪稱未來行業(yè)/企業(yè)的勝負(fù)手。
 
  未來的市場不再是看不見，摸不著的市場，大數(shù)據(jù)能力的強(qiáng)與弱，既有可能成為企業(yè)、社會(huì)乃至一個(gè)國家、民族的分水嶺，人類文明將迎來前所未有的高速成長，歷史的車輪將會(huì)提速，滾滾向前! 文章來源：CDA數(shù)據(jù)分析師官網(wǎng)