全民大數(shù)據(jù)時代已不遠_數(shù)據(jù)分析師考試

大數(shù)據(jù)的神奇令人驚嘆，不過要面對超爆發(fā)式的數(shù)據(jù)增長，企業(yè)往往要支付超高額的數(shù)據(jù)存儲費用，因此大數(shù)據(jù)產(chǎn)業(yè)僅僅集中在超大型、壟斷型企業(yè)，不過在日前舉行的2015上海大數(shù)據(jù)產(chǎn)業(yè)高端峰會上，肯睿中國區(qū)副總裁苗凱翔介紹了一種名為Hadoop的技術，通過重塑數(shù)據(jù)構架，它在一定程度上解決了大數(shù)據(jù)發(fā)展的成本之痛。而今，全球大數(shù)據(jù)生態(tài)圈中，Hadoop已經(jīng)成為最為核心的技術。

存儲成本阻礙大數(shù)據(jù)發(fā)展

數(shù)據(jù)量的快速增長，是IT業(yè)面臨的重大挑戰(zhàn)。統(tǒng)計顯示，人類迄今為止存儲的數(shù)據(jù)中，90%以上是最近兩年新產(chǎn)生的，這種數(shù)據(jù)爆炸的趨勢還將延續(xù)?！暗?020年，互聯(lián)網(wǎng)設備的總數(shù)將達到500億部，數(shù)據(jù)總量將達到40ZB（1ZB=十萬億億字節(jié)）?！泵鐒P翔說，這大約是人類現(xiàn)在需要處理信息量的10到20倍，換句話說，年均增長超過40%。

數(shù)據(jù)量快速增長，要求數(shù)據(jù)處理能力同步提高，但多數(shù)企業(yè)卻因為預算不足而難以招架。以美國主要的四家銀行為例，它們每年新增的數(shù)據(jù)量大致是40PB（1PB=100萬GB），僅僅為存儲這些數(shù)據(jù)，每年就必須增加3.2億美元的投入。

“錢是主要問題?！泵鐒P翔說。事實上，為了應對40%的數(shù)據(jù)增速，企業(yè)在IT系統(tǒng)方面的預算必須以4%的年率增長，但實際上這塊預算的增速很難超過1%。由于投入不足，銀行不得不放慢推進大數(shù)據(jù)業(yè)務的速度，比如推廣手機銀行。

開源模式推動大數(shù)據(jù)發(fā)展

奧巴馬政府把大數(shù)據(jù)比作“未來的新石油”，不過靜靜流淌的石油并沒有價值，只有經(jīng)過勘探、鉆井、提煉、加工成石化產(chǎn)品，其商業(yè)價值才能體現(xiàn)。當下，關于大數(shù)據(jù)說得多做得少，正是由于開采工具不足。苗凱翔認為，要改變這一現(xiàn)象，必須從更深層次理解數(shù)據(jù)在當今時代意味著什么。

在過去，數(shù)據(jù)主要駐留在結構化的交易數(shù)據(jù)庫里，結構是固定的，比如企業(yè)數(shù)據(jù)倉庫用來產(chǎn)生運營報告；存儲系統(tǒng)用來保留數(shù)據(jù)的有效和安全；搜索系統(tǒng)通過Web搜索引擎來尋找和探索信息……這都是一個個“地窖”，當需要計算時，就將“地窖”中的一部分數(shù)據(jù)送到計算機處。

不過這種方式只能進行少量、低頻率的計算，想要應對當今的數(shù)據(jù)量、數(shù)據(jù)多樣性和數(shù)據(jù)生成速度，舊的數(shù)據(jù)構架顯然難以為繼?！耙驗閿?shù)據(jù)的屬性已經(jīng)改變，所以數(shù)據(jù)構架也一定要變。”苗凱翔說。

10年前，大數(shù)據(jù)概念還未問世，雅虎公司的技術人員就注意到了這個問題，并由此開發(fā)出基于互聯(lián)網(wǎng)架構的數(shù)據(jù)處理技術，并以他3歲兒子的棕黃色大象玩具之名將其命名為Hadoop，如今這一開源技術已經(jīng)成為大數(shù)據(jù)生態(tài)圈的核心。

“它是開源的，能夠更高效地處理信息，而且支持標準化存儲設備的無限擴容?！泵鐒P翔說。以國有四大銀行為例，一個由53臺PC機組成的大數(shù)據(jù)平臺能夠支持并發(fā)用戶30萬個，而此前的數(shù)量是300個。這樣一套系統(tǒng)的使用成本不到原來的1/3。

小微企業(yè)為大數(shù)據(jù)開發(fā)注入新活力

Hadoop平臺孕育了多家大數(shù)據(jù)商業(yè)開放公司，論規(guī)模和影響力，肯睿是其佼佼者，這家公司在全球已經(jīng)擁有1300家合作伙伴，市值超過50億美元。去年9月，肯睿（上海）軟件有限公司完成注冊，目前已有30多名員工。

一直以來，受限于高昂的服務器成本，大數(shù)據(jù)產(chǎn)業(yè)僅僅集中在電信、能源、證券、煙草等超大型、壟斷型企業(yè)，利用開源性的Hadoop平臺，就是淘寶店主也能享受到大數(shù)據(jù)帶來的好處。“我們有免費版本，只要經(jīng)過簡單培訓，并愿意共享你的數(shù)據(jù)，就能使用這個平臺?！泵鐒P翔說。

小微企業(yè)的加入或許能為目前發(fā)展有些緩慢的大數(shù)據(jù)注入新的活力。因為根據(jù)以往全球的經(jīng)驗來看，企業(yè)規(guī)模稍大一些，就不太愿意分享自己的數(shù)據(jù)，而小企業(yè)主往往更愿意走出這一步。