采用大數(shù)據(jù)技術(shù)占領(lǐng)競爭高地

在Talend Connect大會上，一名IT業(yè)內(nèi)分析專家指出，企業(yè)若不抓住大數(shù)據(jù)帶來的機會，將很有可能在同行中遭到淘汰。
    Jeff Kelly是Wikibon.org的首席研究員，也是SiliconANGLE的編輯。他說，諸如Hadoop和MapReduce這樣的大數(shù)據(jù)技術(shù)才剛剛起步；很多人由于技術(shù)有限或觀念陳舊，仍然將它們拒之門外。然而，在不久的將來，當(dāng)軟件使用門檻變低大量企業(yè)開始采用的時候，這些今天已經(jīng)采用了大數(shù)據(jù)技術(shù)的企業(yè)將再次占領(lǐng)高地。到那時，他們會具備更豐富的信息來進行決策，也會比其他企業(yè)賺到更多的錢。
    作為曾就職于TechTarget的記者，Kelly說：“我們已經(jīng)研究大數(shù)據(jù)兩三年了，得到的結(jié)論就是，大數(shù)據(jù)是目前業(yè)內(nèi)贏取競爭優(yōu)勢最有力的武器。當(dāng)我們得出這個結(jié)論時，我們意識到了它的轟動性。事實的確如此，我們實在想不出有哪一個行業(yè)不會受到大數(shù)據(jù)的影響?！?br />     “大數(shù)據(jù)”這個詞今天常在對機器生成的海量結(jié)構(gòu)化與非結(jié)構(gòu)化信息、社交媒體網(wǎng)站和移動設(shè)備的形容中用到。除此之外，它也用來形容可從信息中提取出有用商業(yè)洞察的存儲、管理和分析技術(shù)。比較熟知的大數(shù)據(jù)管理技術(shù)包括：Apache Hadoop分布式文件系統(tǒng)、MapReduce、Hive、Pig和Mahout.
    數(shù)據(jù)指向性的優(yōu)勢
    在Talend Connect大會上大談決策制定流程中業(yè)務(wù)數(shù)據(jù)指向性問題的不止Kelly一人，Tony Fraser也是其中之一。Fraser是Ogilvy & Mather（一家大型公關(guān)廣告公司）旗下營銷公司Neo@Ogilvy的創(chuàng)立人之一，也是技術(shù)合伙人。
    Fraser說：“我們做的是數(shù)字廣告。只要你能想到的領(lǐng)域，我們都有涉及?！?br />     Fraser在發(fā)言中舉出實例，說明了數(shù)據(jù)指向性決策為他們公司成功帶來的幫助。其一是，巴黎酒店和拉斯維加斯賭場與Neo@Ogilvy合作，吸引更多的顧客。Neo@Ogilvy首先通過社交媒體和旅游網(wǎng)站針收集顧客對巴黎酒店的正面評價，發(fā)現(xiàn)大多數(shù)都與Bellagio酒店噴泉的景色和街道對面的賭場相關(guān)。根據(jù)這個信息，公司團隊投放了一期電子廣告，內(nèi)容為噴泉旁的巴黎酒店。
    Fraser說：“廣告一投放出去，酒店的預(yù)定人數(shù)激增?！?br />    大數(shù)據(jù)運用的障礙
    Kelly稱，大數(shù)據(jù)管理技術(shù)的概念早已傳播到大街小巷，但為什么真正使用它的企業(yè)卻很少呢？主要有兩個原因。
    第一，Hadoop與其他大數(shù)據(jù)軟件的使用極其困難，而正確使用技能的培訓(xùn)尚未出臺。目前，企業(yè)只有高薪聘請相關(guān)專業(yè)的博士才能對大數(shù)據(jù)方程式進行分析。
    Kelly說：“一個Oracle DBA不一定具備管理、部署與監(jiān)控Hadoop的技能。比如，一個分析層面的數(shù)據(jù)工程師需要編寫MapReduce,而這樣的工作可與SQL查詢的編寫完全不同。”
    第二，目前大部分企業(yè)還缺少實施大數(shù)據(jù)的概念和計劃。
    現(xiàn)今的許多大型企業(yè)都已習(xí)慣于通過數(shù)據(jù)倉庫與BI報表技術(shù)來獲取業(yè)務(wù)信息。然而，Kelly認為，BI或數(shù)據(jù)倉庫模型是通過數(shù)據(jù)分析對過去進行評估，而大數(shù)據(jù)技術(shù)是通過數(shù)據(jù)分析對未來進行預(yù)測。
    他說：“對于這些企業(yè)來說，大數(shù)據(jù)運用需要一種觀念上的轉(zhuǎn)變；你需要信任數(shù)據(jù)并跟著它指的方向前進。大數(shù)據(jù)的意義就在于向前看、做出預(yù)測，然后行動?！?br />    大數(shù)據(jù)管理的普及
    Kelly認為，大數(shù)據(jù)管理和分析與其他新興技術(shù)無異，最終都會普及，或者說會變得大眾化。但是，這也需要一個過程。
    由于大數(shù)據(jù)技術(shù)的復(fù)雜度對很多剛剛接觸的企業(yè)都是不小的挑戰(zhàn)，所以這些新的應(yīng)用工具和軟件技術(shù)需要被簡化。Talend、Hortonworks和Cloudera等公司目前都在簡化大數(shù)據(jù)技術(shù)的難度。Kelly說，大數(shù)據(jù)技術(shù)還需要很多革新，以讓用戶更簡單地進行部署和管理、對Hadoop集群進行防護并在流程與數(shù)據(jù)源之間創(chuàng)建集成。
    “現(xiàn)在你想成為一個頂級數(shù)據(jù)程序員，就必須具備編寫MapReduce、SAS或其他語言程序的復(fù)雜技術(shù)。所以，我們需要研發(fā)出可以剔除部分專業(yè)性的工具；這樣一來，即使你沒有博士學(xué)位，也可以編寫大數(shù)據(jù)程序了?！?br />    大數(shù)據(jù)的普及少不了對用戶的大量技能培訓(xùn)，內(nèi)容包括大數(shù)據(jù)架構(gòu)、Hadoop部署管理、數(shù)據(jù)集成與MapReduce的編程等。
    Kelly說：“我們需要全面解決存在問題。一方面簡化工具與技術(shù)；另一方面加強人員的培訓(xùn)，使DBA和業(yè)務(wù)分析師能夠勝任‘大數(shù)據(jù)時代’的工作?！?