全民大數(shù)據(jù)時代已不遠(yuǎn)_數(shù)據(jù)分析師考試

大數(shù)據(jù)的神奇令人驚嘆，不過要面對超爆發(fā)式的數(shù)據(jù)增長，企業(yè)往往要支付超高額的數(shù)據(jù)存儲費(fèi)用，因此大數(shù)據(jù)產(chǎn)業(yè)僅僅集中在超大型、壟斷型企業(yè)，不過在日前舉行的2015上海大數(shù)據(jù)產(chǎn)業(yè)高端峰會上，肯睿中國區(qū)副總裁苗凱翔介紹了一種名為Hadoop的技術(shù)，通過重塑數(shù)據(jù)構(gòu)架，它在一定程度上解決了大數(shù)據(jù)發(fā)展的成本之痛。而今，全球大數(shù)據(jù)生態(tài)圈中，Hadoop已經(jīng)成為最為核心的技術(shù)。

存儲成本阻礙大數(shù)據(jù)發(fā)展

數(shù)據(jù)量的快速增長，是IT業(yè)面臨的重大挑戰(zhàn)。統(tǒng)計顯示，人類迄今為止存儲的數(shù)據(jù)中，90%以上是最近兩年新產(chǎn)生的，這種數(shù)據(jù)爆炸的趨勢還將延續(xù)。“到2020年，互聯(lián)網(wǎng)設(shè)備的總數(shù)將達(dá)到500億部，數(shù)據(jù)總量將達(dá)到40ZB（1ZB=十萬億億字節(jié)）?！泵鐒P翔說，這大約是人類現(xiàn)在需要處理信息量的10到20倍，換句話說，年均增長超過40%。

數(shù)據(jù)量快速增長，要求數(shù)據(jù)處理能力同步提高，但多數(shù)企業(yè)卻因?yàn)轭A(yù)算不足而難以招架。以美國主要的四家銀行為例，它們每年新增的數(shù)據(jù)量大致是40PB（1PB=100萬GB），僅僅為存儲這些數(shù)據(jù)，每年就必須增加3.2億美元的投入。

“錢是主要問題?！泵鐒P翔說。事實(shí)上，為了應(yīng)對40%的數(shù)據(jù)增速，企業(yè)在IT系統(tǒng)方面的預(yù)算必須以4%的年率增長，但實(shí)際上這塊預(yù)算的增速很難超過1%。由于投入不足，銀行不得不放慢推進(jìn)大數(shù)據(jù)業(yè)務(wù)的速度，比如推廣手機(jī)銀行。

開源模式推動大數(shù)據(jù)發(fā)展

奧巴馬政府把大數(shù)據(jù)比作“未來的新石油”，不過靜靜流淌的石油并沒有價值，只有經(jīng)過勘探、鉆井、提煉、加工成石化產(chǎn)品，其商業(yè)價值才能體現(xiàn)。當(dāng)下，關(guān)于大數(shù)據(jù)說得多做得少，正是由于開采工具不足。苗凱翔認(rèn)為，要改變這一現(xiàn)象，必須從更深層次理解數(shù)據(jù)在當(dāng)今時代意味著什么。

在過去，數(shù)據(jù)主要駐留在結(jié)構(gòu)化的交易數(shù)據(jù)庫里，結(jié)構(gòu)是固定的，比如企業(yè)數(shù)據(jù)倉庫用來產(chǎn)生運(yùn)營報告；存儲系統(tǒng)用來保留數(shù)據(jù)的有效和安全；搜索系統(tǒng)通過Web搜索引擎來尋找和探索信息……這都是一個個“地窖”，當(dāng)需要計算時，就將“地窖”中的一部分?jǐn)?shù)據(jù)送到計算機(jī)處。

不過這種方式只能進(jìn)行少量、低頻率的計算，想要應(yīng)對當(dāng)今的數(shù)據(jù)量、數(shù)據(jù)多樣性和數(shù)據(jù)生成速度，舊的數(shù)據(jù)構(gòu)架顯然難以為繼?！耙?yàn)閿?shù)據(jù)的屬性已經(jīng)改變，所以數(shù)據(jù)構(gòu)架也一定要變?！泵鐒P翔說。

10年前，大數(shù)據(jù)概念還未問世，雅虎公司的技術(shù)人員就注意到了這個問題，并由此開發(fā)出基于互聯(lián)網(wǎng)架構(gòu)的數(shù)據(jù)處理技術(shù)，并以他3歲兒子的棕黃色大象玩具之名將其命名為Hadoop，如今這一開源技術(shù)已經(jīng)成為大數(shù)據(jù)生態(tài)圈的核心。

“它是開源的，能夠更高效地處理信息，而且支持標(biāo)準(zhǔn)化存儲設(shè)備的無限擴(kuò)容。”苗凱翔說。以國有四大銀行為例，一個由53臺PC機(jī)組成的大數(shù)據(jù)平臺能夠支持并發(fā)用戶30萬個，而此前的數(shù)量是300個。這樣一套系統(tǒng)的使用成本不到原來的1/3。

小微企業(yè)為大數(shù)據(jù)開發(fā)注入新活力

Hadoop平臺孕育了多家大數(shù)據(jù)商業(yè)開放公司，論規(guī)模和影響力，肯睿是其佼佼者，這家公司在全球已經(jīng)擁有1300家合作伙伴，市值超過50億美元。去年9月，肯睿（上海）軟件有限公司完成注冊，目前已有30多名員工。

一直以來，受限于高昂的服務(wù)器成本，大數(shù)據(jù)產(chǎn)業(yè)僅僅集中在電信、能源、證券、煙草等超大型、壟斷型企業(yè)，利用開源性的Hadoop平臺，就是淘寶店主也能享受到大數(shù)據(jù)帶來的好處?！拔覀冇忻赓M(fèi)版本，只要經(jīng)過簡單培訓(xùn)，并愿意共享你的數(shù)據(jù)，就能使用這個平臺?！泵鐒P翔說。

小微企業(yè)的加入或許能為目前發(fā)展有些緩慢的大數(shù)據(jù)注入新的活力。因?yàn)楦鶕?jù)以往全球的經(jīng)驗(yàn)來看，企業(yè)規(guī)模稍大一些，就不太愿意分享自己的數(shù)據(jù)，而小企業(yè)主往往更愿意走出這一步。