2014年我國(guó)大數(shù)據(jù)發(fā)展分析報(bào)告 _數(shù)據(jù)分析師

在立足國(guó)家戰(zhàn)略和產(chǎn)業(yè)政策推動(dòng)大數(shù)據(jù)收集和分析技術(shù)快速發(fā)展的同時(shí)，我們也應(yīng)清醒地認(rèn)識(shí)到避免數(shù)據(jù)壟斷和保護(hù)數(shù)據(jù)安全的重要性，及早開(kāi)展相關(guān)法律法規(guī)的探討和研究。

伴隨著大數(shù)據(jù)時(shí)代的來(lái)臨，世界各國(guó)對(duì)數(shù)據(jù)的重視提到了前所未有的高度。套上大數(shù)據(jù)的光環(huán)后，原本那些存放在服務(wù)器上平淡無(wú)奇的陳年舊數(shù)一夜之間身價(jià)倍增。按照世界經(jīng)濟(jì)論壇報(bào)告的看法，“大數(shù)據(jù)為新財(cái)富，價(jià)值堪比石油”。正如大數(shù)據(jù)之父維克托所預(yù)測(cè)，“雖然數(shù)據(jù)還沒(méi)有被列入企業(yè)的資產(chǎn)負(fù)債表，但這只是一個(gè)時(shí)間問(wèn)題?！?/span>

今天的國(guó)家將大數(shù)據(jù)視為國(guó)家戰(zhàn)略，并且在實(shí)施上，也已經(jīng)進(jìn)入到企業(yè)戰(zhàn)略層面，這種認(rèn)識(shí)已經(jīng)遠(yuǎn)遠(yuǎn)超出當(dāng)年的信息化戰(zhàn)略。我們上面介紹了許多國(guó)外的動(dòng)態(tài)，末了自然也要落腳到本國(guó)，思考本國(guó)可能采取的發(fā)展道路。但是，尚未見(jiàn)到網(wǎng)絡(luò)安全戰(zhàn)略和信息化發(fā)展戰(zhàn)略全文（據(jù)說(shuō)兩會(huì)期間公布，也就是這幾天），我們也不妨先總結(jié)國(guó)外的情形，以便進(jìn)行比較。

2014年2月27日中央網(wǎng)絡(luò)安全和信息化領(lǐng)導(dǎo)小組宣告成立，組長(zhǎng)習(xí)近平指出，沒(méi)有網(wǎng)絡(luò)安全就沒(méi)有國(guó)家安全，沒(méi)有信息化就沒(méi)有現(xiàn)代化。建設(shè)網(wǎng)絡(luò)強(qiáng)國(guó)，要有自己的技術(shù)，有過(guò)硬的技術(shù)；要有豐富全面的信息服務(wù)，繁榮發(fā)展的網(wǎng)絡(luò)文化；要有良好的信息基礎(chǔ)設(shè)施，形成實(shí)力雄厚的信息經(jīng)濟(jì)；要有高素質(zhì)的網(wǎng)絡(luò)安全和信息化人才隊(duì)伍；要積極開(kāi)展雙邊、多邊的互聯(lián)網(wǎng)國(guó)際交流合作。從話(huà)的另一方面也說(shuō)明目前我們沒(méi)有自己的過(guò)硬技術(shù)，網(wǎng)絡(luò)文化還有點(diǎn)問(wèn)題，基礎(chǔ)設(shè)施還是太差，人才隊(duì)伍素質(zhì)跟不上需求，也沒(méi)有可靠的盟友，信息經(jīng)濟(jì)實(shí)力太弱。

毫無(wú)疑問(wèn)，中國(guó)的底子太薄了。但是，大數(shù)據(jù)是信息化時(shí)代的“石油”。開(kāi)發(fā)大數(shù)據(jù)資源的能力將影響未來(lái)國(guó)家的核心競(jìng)爭(zhēng)力。我國(guó)不能幻想走在別人修好的道路，更不能等靠，只能依賴(lài)自身能力加速前行，這種能力就是將數(shù)據(jù)轉(zhuǎn)化為信息和知識(shí)的速度與技術(shù)，而這種轉(zhuǎn)化速度和技術(shù)，則決定了大數(shù)據(jù)技術(shù)能力的高低。

二、我國(guó)大數(shù)據(jù)的發(fā)展趨勢(shì)及誤區(qū)

1、我國(guó)大數(shù)據(jù)的發(fā)展趨勢(shì)

在全球經(jīng)濟(jì)、技術(shù)一體化的今天，我國(guó)IT行業(yè)已經(jīng)開(kāi)啟了大數(shù)據(jù)的起航之旅，大數(shù)據(jù)已經(jīng)在經(jīng)濟(jì)領(lǐng)域發(fā)揮重要作用。據(jù)計(jì)世咨訊預(yù)測(cè)，2012年，政府、互聯(lián)網(wǎng)、電信、金融等領(lǐng)域市場(chǎng)規(guī)模占據(jù)近一半的市場(chǎng)份額。大數(shù)據(jù)在主要經(jīng)濟(jì)領(lǐng)域的發(fā)展趨勢(shì)如下：

1）大數(shù)據(jù)在經(jīng)濟(jì)預(yù)警方面發(fā)揮重要作用

在2008年金融危機(jī)中，阿里平臺(tái)的海量交易記錄預(yù)測(cè)了經(jīng)濟(jì)指數(shù)的下滑。2008年初，阿里巴巴平臺(tái)上整個(gè)買(mǎi)家詢(xún)盤(pán)數(shù)急劇下滑，預(yù)示了經(jīng)濟(jì)危機(jī)的來(lái)臨。數(shù)以萬(wàn)計(jì)的中小制造商及時(shí)獲得阿里巴巴的預(yù)警，為預(yù)防危機(jī)做好了準(zhǔn)備。

2）大數(shù)據(jù)分析成為市場(chǎng)營(yíng)銷(xiāo)的重要手段

與傳統(tǒng)的市場(chǎng)研究方法不同，大數(shù)據(jù)的市場(chǎng)研究方法不再局限于抽樣調(diào)查，而是基于幾乎全樣本空間。例如，百度擁有中國(guó)最大的消費(fèi)者行為數(shù)據(jù)庫(kù)，覆蓋95%的中國(guó)網(wǎng)民，搜索市場(chǎng)占比達(dá)87%。百度基于最真實(shí)的用戶(hù)行為數(shù)據(jù)和多維度研究工具，幫助寶潔精準(zhǔn)的定位了消費(fèi)者的地域分布、興趣愛(ài)好等信息，根據(jù)百度分析的結(jié)論，寶潔適時(shí)地調(diào)整了營(yíng)銷(xiāo)策略。

3）大數(shù)據(jù)在臨床診斷、遠(yuǎn)程監(jiān)控、藥品研發(fā)等領(lǐng)域發(fā)揮重要作用

我國(guó)目前已經(jīng)有十余座城市開(kāi)展了數(shù)字醫(yī)療。病歷、影像、遠(yuǎn)程醫(yī)療等都會(huì)產(chǎn)生大量的數(shù)據(jù)并形成電子病歷及健康檔案?；谶@些海量數(shù)據(jù)，醫(yī)院能夠精準(zhǔn)地分析病人的體征、治療費(fèi)用和療效數(shù)據(jù)，可避免過(guò)度及副作用較為明顯的治療，此外還可以利用這些數(shù)據(jù)進(jìn)行實(shí)現(xiàn)計(jì)算機(jī)遠(yuǎn)程監(jiān)護(hù)，對(duì)慢性病進(jìn)行管理等。

4）大數(shù)據(jù)為金融領(lǐng)域的客戶(hù)管理、營(yíng)銷(xiāo)管理及風(fēng)險(xiǎn)管理提供重要支撐

大數(shù)據(jù)能夠解決金融領(lǐng)域海量數(shù)據(jù)的存儲(chǔ)、查詢(xún)優(yōu)化及聲音、影像等非結(jié)構(gòu)化數(shù)據(jù)的處理。金融系統(tǒng)可以通過(guò)大數(shù)據(jù)分析平臺(tái)，導(dǎo)入客戶(hù)社交網(wǎng)絡(luò)、電子商務(wù)、終端媒體產(chǎn)生的數(shù)據(jù)，從而構(gòu)建客戶(hù)視圖。依托大數(shù)據(jù)平臺(tái)可以進(jìn)行客戶(hù)行為跟蹤、分析，進(jìn)而獲取用戶(hù)的消費(fèi)習(xí)慣、風(fēng)險(xiǎn)收益偏好等。針對(duì)用戶(hù)這些特性，銀行等金融部門(mén)能夠?qū)嵤╋L(fēng)險(xiǎn)及營(yíng)銷(xiāo)管理。

當(dāng)前，我國(guó)正處在全面建成小康社會(huì)征程中，工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務(wù)很重，建設(shè)下一代信息基礎(chǔ)設(shè)施，發(fā)展現(xiàn)代信息技術(shù)產(chǎn)業(yè)體系，健全信息安全保障體系，推進(jìn)信息網(wǎng)絡(luò)技術(shù)廣泛運(yùn)用，是實(shí)現(xiàn)四化同步發(fā)展的保證。大數(shù)據(jù)分析對(duì)我們深刻領(lǐng)會(huì)世情和國(guó)情，把握規(guī)律，實(shí)現(xiàn)科學(xué)發(fā)展，做出科學(xué)決策具有重要意義。

中國(guó)人口居世界首位，將會(huì)成為產(chǎn)生數(shù)據(jù)量最多的國(guó)家，但我們對(duì)數(shù)據(jù)保存不夠重視，對(duì)存儲(chǔ)數(shù)據(jù)的利用率也不高。此外，我國(guó)一些部門(mén)和機(jī)構(gòu)擁有大量數(shù)據(jù)卻不愿與其他部門(mén)共享，導(dǎo)致信息不完整或重復(fù)投資。政府應(yīng)通過(guò)體制機(jī)制改革打破數(shù)據(jù)割據(jù)與封鎖，應(yīng)注重公開(kāi)信息，應(yīng)重視數(shù)據(jù)挖掘。美國(guó)聯(lián)邦政府建立統(tǒng)一數(shù)據(jù)開(kāi)放門(mén)戶(hù)網(wǎng)站，為社會(huì)提供信息服務(wù)并鼓勵(lì)挖掘與利用。

2、我國(guó)大數(shù)據(jù)行業(yè)的誤區(qū)

誤區(qū)一：只有搞大數(shù)據(jù)技術(shù)開(kāi)發(fā)的，才是真正“圈內(nèi)人”。

筆者曾經(jīng)參加過(guò)若干會(huì)議，70%是偏技術(shù)的，在場(chǎng)的都是國(guó)內(nèi)各個(gè)數(shù)據(jù)相關(guān)項(xiàng)目經(jīng)理和技術(shù)帶頭人，大家討論的話(huà)題都是在升級(jí)CDH版本的時(shí)候有什么問(wèn)題，在處理Hive作業(yè)的時(shí)候哪種方式更好，在Storm、Kafka匹配時(shí)如何效率更高，在Spark應(yīng)用時(shí)內(nèi)存如何釋放這些問(wèn)題。參會(huì)者都一個(gè)態(tài)度：不懂大數(shù)據(jù)技術(shù)的人沒(méi)資格評(píng)論大數(shù)據(jù)，您要不懂Hadoop2.0中的資源配置，不懂Spark在內(nèi)存的駐留時(shí)間調(diào)優(yōu)，不懂Kafka采集就別參加這個(gè)會(huì)！對(duì)了，最近Google完全拋棄MR只用Dataflow了，您懂嗎？不懂滾粗！

在這里我想說(shuō)，技術(shù)的進(jìn)步都是由業(yè)務(wù)驅(qū)動(dòng)的，某寶去了IOE才能叫大數(shù)據(jù)嗎，我作為一個(gè)聾啞人按摩師用結(jié)繩記事完成了對(duì)于不同體型的人，用什么按摩手法進(jìn)行全流程治療，就不叫大數(shù)據(jù)分析了嗎？技術(shù)發(fā)展到什么程度，只有一小部分是由科學(xué)家追求極致的精神驅(qū)動(dòng)，大部分原因是因?yàn)闃I(yè)務(wù)發(fā)展到一定程度，要求技術(shù)必須做出進(jìn)步才能達(dá)成目標(biāo)的。

所以，真正的大數(shù)據(jù)“圈內(nèi)人”至少要包含以下幾種人：

1）業(yè)務(wù)運(yùn)營(yíng)人員。

比如互聯(lián)網(wǎng)的產(chǎn)品經(jīng)理要求技術(shù)人員，必須在用戶(hù)到達(dá)網(wǎng)站的時(shí)候就算出他今天的心情指數(shù)，而且要實(shí)現(xiàn)動(dòng)態(tài)監(jiān)測(cè)，這時(shí)候只能用Storm或者Spark來(lái)處理了；比如電信運(yùn)營(yíng)商要求做到實(shí)時(shí)營(yíng)銷(xiāo)，用戶(hù)進(jìn)入營(yíng)業(yè)廳的時(shí)候，必須馬上推送短信給用戶(hù)，提示他本營(yíng)業(yè)廳有一個(gè)特別適合他的相親對(duì)象（呈現(xiàn)身高、三圍、體重等指標(biāo)），但是見(jiàn)面前要先購(gòu)買(mǎi)4G手機(jī)；再比如病人來(lái)到銀行開(kāi)戶(hù)，銀行了解到用戶(hù)最近1周曾經(jīng)去醫(yī)院門(mén)診過(guò)兩次，出國(guó)旅游過(guò)3次，帶孩子游泳兩次，馬上客戶(hù)經(jīng)理就給客戶(hù)推薦相關(guān)的銀行保險(xiǎn)+理財(cái)產(chǎn)品。這些業(yè)務(wù)人員，往往是驅(qū)動(dòng)技術(shù)進(jìn)步的核心原因。

2）架構(gòu)師。

架構(gòu)師有多么重要，當(dāng)一個(gè)業(yè)務(wù)人員和一個(gè)工程師，一個(gè)說(shuō)著業(yè)務(wù)語(yǔ)言，一個(gè)說(shuō)著技術(shù)術(shù)語(yǔ)在那里討論問(wèn)題的時(shí)候，工程師往往想著用什么樣的代碼能馬上讓他閉嘴，而架構(gòu)師往往會(huì)跳出來(lái)說(shuō)“不，不能那樣，你這樣寫(xiě)只能解決一個(gè)問(wèn)題并且會(huì)制造后續(xù)的若干問(wèn)題，按照我這個(gè)方案來(lái)，可以解決后續(xù)的若干問(wèn)題！”一個(gè)非技術(shù)企業(yè)的IT系統(tǒng)水平，往往有70%以上的標(biāo)準(zhǔn)掌握在架構(gòu)設(shè)計(jì)人員手里，盡快很多優(yōu)秀的架構(gòu)師都是從工程師慢慢發(fā)展學(xué)習(xí)而來(lái)的，IT架構(gòu)的重要性，很多企業(yè)都意識(shí)到了，這就是很多企業(yè)有CTO和CIO兩個(gè)職位，同樣重要！架構(gòu)之美，當(dāng)IT系統(tǒng)平穩(wěn)運(yùn)行的時(shí)候沒(méi)人能感受到，但是在一個(gè)煙囪林立、架構(gòu)混亂的環(huán)境中走過(guò)的人眼中，IT開(kāi)發(fā)一定要架構(gòu)現(xiàn)行，開(kāi)發(fā)在后！

3）投資人。

老板，不用說(shuō)了，老板給你吃穿，你給老板賣(mài)命，天生的基礎(chǔ)資料提供者，老板說(shuō)要有山便有了山，老板說(shuō)要做實(shí)時(shí)數(shù)據(jù)處理分析，便有了Storm，老板說(shuō)要做開(kāi)源，便有了Hadoop，老板還說(shuō)要做迭代挖掘，便有了Spark……

4）科學(xué)家。

他們是別人眼中的Geek，他們是別人眼中的高大上，他們是類(lèi)似于霍金一樣的神秘的早出晚歸晝伏夜出的眼睛男女，他們是驅(qū)動(dòng)世界技術(shù)進(jìn)步的核心力量。除了世界頂級(jí)的IT公司（往往世界技術(shù)方向掌握在他們手中），其他公司一般需要1-2個(gè)科學(xué)家足以，他們是真正投身于科學(xué)的人，不要讓他們?nèi)タ紤]業(yè)務(wù)場(chǎng)景，不要讓他們?nèi)タ紤]業(yè)務(wù)流程，不要讓他們?nèi)ビ?jì)算成本，不要讓他們?nèi)タ紤]項(xiàng)目進(jìn)度，他們唯一需要考慮的就是如何在某個(gè)指標(biāo)上擊敗對(duì)手，在某個(gè)指標(biāo)上提高0.1%已經(jīng)讓他們可以連續(xù)奮戰(zhàn)，不眠不休，讓我們都為這些科學(xué)家喝彩和歡呼吧。在中國(guó)，我認(rèn)為真正的大數(shù)據(jù)科學(xué)家不超過(guò)百人……

5）工程師。

工程師是這樣一群可愛(ài)的人，他們年輕，沖動(dòng)，有理想，又被人尊稱(chēng)為“屌絲”“鍵盤(pán)黨”，他們孜孜不倦的為自己的理想而拼搏，每次自己取得一點(diǎn)點(diǎn)進(jìn)步的時(shí)候，都在考慮是不是地鐵口的雞蛋灌餅又漲了五毛錢(qián)。他們敏感，自負(fù)，從來(lái)不屑于和業(yè)務(wù)人員去爭(zhēng)論。工程師和科學(xué)家的不同點(diǎn)在于，工程師需要頻繁改動(dòng)代碼，頻繁測(cè)試程序，頻繁上線(xiàn)，但是最后的系統(tǒng)是由若干工程師的代碼組合起來(lái)的。每個(gè)自負(fù)的工程師看到系統(tǒng)的歷史代碼都會(huì)鄙視的發(fā)出一聲“哼，這垃圾代碼”，之后便投入到被后人繼續(xù)鄙視的代碼編寫(xiě)工作中去。

6）跟風(fēng)者。

他們中有些是培訓(xùn)師，有些是殺馬特洗剪吹，有些是煤老板有些是失足少女。他們的特點(diǎn)就是炒，和炒房者唯一不同的就是，他們不用付出金錢(qián)，他們認(rèn)為只要和數(shù)據(jù)沾邊就叫大數(shù)據(jù)，他們有些人甚至從來(lái)沒(méi)碰過(guò)IT系統(tǒng)，他們是渾水摸魚(yú)、濫竽充數(shù)的高手，他們是被前幾種人鄙視的隱形人。不過(guò)我想說(shuō)，歡迎來(lái)炒，一個(gè)行業(yè)炒的越兇，真正有價(jià)值的人就更能發(fā)揮自己的作用。

誤區(qū)二：只有大數(shù)據(jù)才能拯救世界

大數(shù)據(jù)目前的技術(shù)和應(yīng)用都是在數(shù)據(jù)分析、數(shù)據(jù)倉(cāng)庫(kù)等方面，主要針對(duì)OLAP（OnlineAnalyticalSystem），從技術(shù)角度來(lái)說(shuō)，包含我總結(jié)的兩條腿：一條腿是批量數(shù)據(jù)處理（包括MR、MPP等），另一條腿實(shí)時(shí)數(shù)據(jù)流處理（Storm、內(nèi)存數(shù)據(jù)庫(kù)等）。

在此基礎(chǔ)上，部分場(chǎng)景又發(fā)現(xiàn)MR框架或?qū)崟r(shí)框架不能很好的滿(mǎn)足近線(xiàn)、迭代的挖掘需要，故又產(chǎn)生了目前非常火的基于內(nèi)存數(shù)據(jù)處理Spark框架。很多企業(yè)目前的大數(shù)據(jù)框架是，一方面以Hadoop2.0之上的Hive、Pig框架處理底層的數(shù)據(jù)加工和處理，把按照業(yè)務(wù)邏輯處理完的數(shù)據(jù)直接送入到應(yīng)用數(shù)據(jù)庫(kù)中；另一方面以Storm流處理引擎處理實(shí)時(shí)的數(shù)據(jù)，根據(jù)業(yè)務(wù)營(yíng)銷(xiāo)的規(guī)則觸發(fā)相應(yīng)的營(yíng)銷(xiāo)場(chǎng)景。同時(shí)，用基于Spark處理技術(shù)集群滿(mǎn)足對(duì)于實(shí)時(shí)數(shù)據(jù)加工、挖掘的需求。

以上描述可以看出，大數(shù)據(jù)說(shuō)白了就是還沒(méi)有進(jìn)入真正的交易系統(tǒng)，沒(méi)有在OLTP（OnlineTransactionsystem）方面做出太大的貢獻(xiàn)。至于很多文章把大數(shù)據(jù)和物聯(lián)網(wǎng)、泛在網(wǎng)、智慧城市都聯(lián)系在一起，我認(rèn)為大數(shù)據(jù)不過(guò)是條件之一，其余的OLTP系統(tǒng)是否具備，物理網(wǎng)絡(luò)甚至組織架構(gòu)都是重要因素。

最后還想說(shuō)，大數(shù)據(jù)處理技術(shù)，再炫如Google的Dataflow或成熟如Hadoop2.0、數(shù)據(jù)倉(cāng)庫(kù)、Storm等，本質(zhì)上都是數(shù)據(jù)加工工具，對(duì)于很多工程師來(lái)說(shuō)，只需要把數(shù)據(jù)處理流程搞清楚就可以了，在這個(gè)平臺(tái)上可以用固定的模版和腳本進(jìn)行數(shù)據(jù)加工已經(jīng)足夠。畢竟數(shù)據(jù)的價(jià)值70%以上是對(duì)業(yè)務(wù)應(yīng)用而言的，一個(gè)炫詞對(duì)于業(yè)務(wù)如果沒(méi)有幫助，終將只是屠龍之術(shù)。任何技術(shù)、IT架構(gòu)都要符合業(yè)務(wù)規(guī)劃、符合業(yè)務(wù)發(fā)展的要求，否則技術(shù)只會(huì)妨礙業(yè)務(wù)和生產(chǎn)力的發(fā)展。

隨著時(shí)代變遷，大浪淘沙，作為數(shù)據(jù)行業(yè)的一員，我們每個(gè)人都在不同的角色之間轉(zhuǎn)換，今天你可能是科學(xué)家，明天就會(huì)變成架構(gòu)師，今天的工程師也會(huì)變成幾年后的科學(xué)家，部分人還終將步入跟風(fēng)者的行列。
2014年我國(guó)大數(shù)據(jù)發(fā)展分析報(bào)告
三、我國(guó)大數(shù)據(jù)發(fā)展的機(jī)遇和困境

1、大數(shù)據(jù)迎來(lái)大發(fā)展的機(jī)遇

大數(shù)據(jù)的快速發(fā)展，使它成為IT領(lǐng)域的又一大新興產(chǎn)業(yè)。據(jù)中央財(cái)經(jīng)大學(xué)中國(guó)經(jīng)濟(jì)管理研究院博士張永力估算，國(guó)外大數(shù)據(jù)行業(yè)約有1000億美元的市場(chǎng)，而且每年都以10%的速度在增長(zhǎng)，增速是軟件行業(yè)的兩倍。我國(guó)2012年大數(shù)據(jù)市場(chǎng)規(guī)模大約4.7億元，2013年增速將達(dá)到138%，達(dá)到11.2億元，產(chǎn)業(yè)發(fā)展?jié)摿Ψ浅＞薮蟆?/span>

1）政府積極介入推動(dòng)

2009年，聯(lián)合國(guó)啟動(dòng)“全球脈動(dòng)計(jì)劃”，借大數(shù)據(jù)推動(dòng)落后地區(qū)發(fā)展。2012年1月，世界經(jīng)濟(jì)論壇年會(huì)把“大數(shù)據(jù)、大影響”作為重要議題。美國(guó)從開(kāi)放政府?dāng)?shù)據(jù)、開(kāi)展關(guān)鍵技術(shù)研究和推動(dòng)大數(shù)據(jù)應(yīng)用三方面布局大數(shù)據(jù)產(chǎn)業(yè)。美國(guó)在開(kāi)放政府上非常積極，通過(guò)Data.gov開(kāi)放37萬(wàn)個(gè)數(shù)據(jù)集，并開(kāi)放網(wǎng)站的API和源代碼，提供上千個(gè)數(shù)據(jù)應(yīng)用。除了推動(dòng)本國(guó)政府?dāng)?shù)據(jù)開(kāi)放，美國(guó)倡導(dǎo)發(fā)起全球開(kāi)放政府?dāng)?shù)據(jù)運(yùn)動(dòng)，已有41個(gè)國(guó)家響應(yīng)。美國(guó)政府還投資兩億美元促進(jìn)大數(shù)據(jù)核心技術(shù)研究和應(yīng)用，把大數(shù)據(jù)放在與集成電路、互聯(lián)網(wǎng)同等重要的位臵，從國(guó)家層面推進(jìn)。

2）資本市場(chǎng)也對(duì)大數(shù)據(jù)鐘愛(ài)有加

2012年4月，大數(shù)據(jù)分析公司Splunk高調(diào)宣傳大數(shù)據(jù)，引發(fā)投資者關(guān)注。12月初，為企業(yè)市場(chǎng)提供Hadoop解決方案的創(chuàng)業(yè)公司Cloudera獲得6500萬(wàn)美元融資，估值約為7億美元。近期，高盛聯(lián)席主席斯科特。斯坦福說(shuō)：“投資大數(shù)據(jù)及其運(yùn)用回報(bào)率最高”。大數(shù)據(jù)領(lǐng)域的企業(yè)并購(gòu)熱度也在上升，單筆平均并購(gòu)金額方面，大數(shù)據(jù)超過(guò)云計(jì)算位居IT領(lǐng)域榜首，在總并購(gòu)額上也位居第二。

3）人才需求巨大

據(jù)一家國(guó)際咨詢(xún)公司，蓋特納咨詢(xún)公司預(yù)測(cè)大數(shù)據(jù)將為全球帶來(lái)440萬(wàn)個(gè)IT新崗位和上千萬(wàn)個(gè)非IT崗位。麥肯錫公司預(yù)測(cè)美國(guó)到2018年需要深度數(shù)據(jù)分析人才44萬(wàn)—49萬(wàn)，缺口14萬(wàn)—19萬(wàn)人；需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應(yīng)用的管理者150萬(wàn)，這方面的人才缺口更大。中國(guó)是人才大國(guó)，但能理解與應(yīng)用大數(shù)據(jù)的創(chuàng)新人才更是稀缺資源。

4）各方積極參與

大數(shù)據(jù)的火爆，也帶動(dòng)了國(guó)內(nèi)學(xué)術(shù)界、產(chǎn)業(yè)界和政府對(duì)大數(shù)據(jù)的熱情。2011年以來(lái)，中國(guó)計(jì)算機(jī)學(xué)會(huì)、中國(guó)通信學(xué)會(huì)先后成立了大數(shù)據(jù)委員會(huì)，研究大數(shù)據(jù)中的科學(xué)與工程問(wèn)題，科技部的《中國(guó)云科技發(fā)展“十二五”專(zhuān)項(xiàng)規(guī)劃》和工信部的《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》等都把大數(shù)據(jù)技術(shù)作為一項(xiàng)重點(diǎn)予以支持。

其中工信部發(fā)布的物聯(lián)網(wǎng)“十二五”規(guī)劃上，把信息處理技術(shù)作為4項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來(lái)，其中包括了海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析，這都是大數(shù)據(jù)的重要組成部分。而另外3項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程，包括信息感知技術(shù)、信息傳輸技術(shù)、信息安全技術(shù)，也都與“大數(shù)據(jù)”密切相關(guān)。

應(yīng)用方面，中國(guó)三大通信運(yùn)營(yíng)商都在結(jié)合自身業(yè)務(wù)情況，積極推進(jìn)大數(shù)據(jù)應(yīng)用工作，并取得了較好的進(jìn)展。電子商務(wù)企業(yè)阿里巴巴提出要做中國(guó)數(shù)據(jù)分析第一平臺(tái)，通過(guò)掌握的企業(yè)交易數(shù)據(jù)，借助大數(shù)據(jù)技術(shù)自動(dòng)分析判定是否給予企業(yè)貸款，全程不會(huì)出現(xiàn)人工干預(yù)。據(jù)透露，截至目前阿里巴巴已經(jīng)放貸300多億元，壞賬率約0.3%左右，大大低于商業(yè)銀行。

研發(fā)企業(yè)方面，我國(guó)能夠處理大數(shù)據(jù)的企業(yè)并不是很多。北京永洪科技在這方面做的不錯(cuò)。永洪科技在大數(shù)據(jù)、分布式計(jì)算、數(shù)據(jù)分析等領(lǐng)域具備核心競(jìng)爭(zhēng)力、自主創(chuàng)新并擁有多項(xiàng)發(fā)明專(zhuān)利。推出的Z系列產(chǎn)品在大數(shù)據(jù)的應(yīng)用分析中在國(guó)際上也是領(lǐng)先的。

大數(shù)據(jù)的熱潮觸發(fā)了一場(chǎng)思想啟蒙運(yùn)動(dòng)，使得“大數(shù)據(jù)是資產(chǎn)，不是包袱”、“要拿數(shù)據(jù)說(shuō)話(huà)”等觀念逐步深入人心，改變了以往不重視數(shù)據(jù)積累，不相信數(shù)據(jù)分析等認(rèn)識(shí)。有了這種思維模式的改變，大數(shù)據(jù)的應(yīng)用就有了希望。

2、大數(shù)據(jù)落地面臨的困難

應(yīng)該說(shuō)，全球來(lái)看，對(duì)大數(shù)據(jù)認(rèn)識(shí)、研究和應(yīng)用還都處于初期階段。特別是對(duì)我國(guó)來(lái)說(shuō)，大數(shù)據(jù)真正落地，還需要邁過(guò)三道坎。

1）數(shù)據(jù)是否足夠豐富和開(kāi)放

豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。而我國(guó)數(shù)字化的數(shù)據(jù)資源總量遠(yuǎn)遠(yuǎn)低于美歐，每年新增數(shù)據(jù)量?jī)H為美國(guó)的7%，歐洲的12%，其中政府和制造業(yè)的數(shù)據(jù)資源積累遠(yuǎn)遠(yuǎn)落后于國(guó)外。就已有有限的數(shù)據(jù)資源來(lái)說(shuō)，還存在標(biāo)準(zhǔn)化、準(zhǔn)確性、完整性低，利用價(jià)值不高的情況，這大大降低了數(shù)據(jù)的價(jià)值。

同時(shí)，我國(guó)政府、企業(yè)和行業(yè)信息化系統(tǒng)建設(shè)往往缺少統(tǒng)一規(guī)劃和科學(xué)論證，系統(tǒng)之間缺乏統(tǒng)一的標(biāo)準(zhǔn)，形成了眾多“信息孤島”，而且受行政壟斷和商業(yè)利益所限，數(shù)據(jù)開(kāi)放程度較低，以鄰為壑、共享難，這給數(shù)據(jù)利用造成極大障礙。制約我國(guó)數(shù)據(jù)資源開(kāi)放和共享的一個(gè)重要因素是政策法規(guī)不完善，大數(shù)據(jù)挖掘缺乏相應(yīng)的立法，無(wú)法既保證共享又防止濫用，一方面欠缺推動(dòng)政府和公共數(shù)據(jù)的政策，另一方面數(shù)據(jù)保護(hù)和隱私保護(hù)方面的制度不完善抑制了開(kāi)放的積極性。因此，建立一個(gè)良性發(fā)展的數(shù)據(jù)共享生態(tài)系統(tǒng)，是我國(guó)大數(shù)據(jù)發(fā)展需要邁過(guò)去的第一道砍。

2）是否掌握強(qiáng)大的數(shù)據(jù)分析工具

要以低成本和可擴(kuò)展的方式處理大數(shù)據(jù)，這就需要對(duì)整個(gè)IT架構(gòu)進(jìn)行重構(gòu)，開(kāi)發(fā)先進(jìn)的軟件平臺(tái)和算法。這方面，國(guó)外又一次走在我們前面。特別是近年來(lái)以開(kāi)源模式發(fā)展起來(lái)的Hadoop等大數(shù)據(jù)處理軟件平臺(tái)，及其相關(guān)產(chǎn)業(yè)已經(jīng)在美國(guó)初步形成。

而我國(guó)數(shù)據(jù)處理技術(shù)基礎(chǔ)薄弱，總體上以跟隨為主，難以滿(mǎn)足大數(shù)據(jù)大規(guī)模應(yīng)用的需求。如果把大數(shù)據(jù)比作石油，那數(shù)據(jù)分析工具就是勘探、鉆井、提煉、加工的技術(shù)。我國(guó)必須掌握大數(shù)據(jù)關(guān)鍵技術(shù)，才能將資源轉(zhuǎn)化為價(jià)值。應(yīng)該說(shuō)，要邁過(guò)這道坎，開(kāi)源技術(shù)為我們提供了很好的基礎(chǔ)。

3）管理理念和運(yùn)作方式能否適配數(shù)據(jù)化決策

大數(shù)據(jù)開(kāi)發(fā)的根本目的是以數(shù)據(jù)分析為基礎(chǔ)，幫助人們做出更明智的決策，優(yōu)化企業(yè)和社會(huì)運(yùn)轉(zhuǎn)。哈佛商業(yè)評(píng)論說(shuō)，大數(shù)據(jù)本質(zhì)上是“一場(chǎng)管理革命”。大數(shù)據(jù)時(shí)代的決策不能僅憑經(jīng)驗(yàn)，而真正要“拿數(shù)據(jù)說(shuō)話(huà)”。因此，大數(shù)據(jù)能夠真正發(fā)揮作用，深層次看，還要改善我們的管理模式，需要管理方式和架構(gòu)的與大數(shù)據(jù)技術(shù)工具相適配。這或許是我們最難邁過(guò)的一道坎了。

四、對(duì)我國(guó)發(fā)展大數(shù)據(jù)產(chǎn)業(yè)的建議

大數(shù)據(jù)有巨大的社會(huì)和商業(yè)價(jià)值，就看會(huì)不會(huì)挖掘，是否善于運(yùn)用數(shù)據(jù)分析的結(jié)果。同時(shí)，它又是一個(gè)應(yīng)用驅(qū)動(dòng)性很強(qiáng)的服務(wù)，要做好大數(shù)據(jù)產(chǎn)業(yè)，為經(jīng)濟(jì)發(fā)展提供更大的動(dòng)力，需要從以下幾人方面入手。

1、建立一套運(yùn)行機(jī)制。

大數(shù)據(jù)建設(shè)是一項(xiàng)有序的、動(dòng)態(tài)的、可持續(xù)發(fā)展的系統(tǒng)工程，必須建立良好的運(yùn)行機(jī)制，以促進(jìn)建設(shè)過(guò)程中各個(gè)環(huán)節(jié)的正規(guī)有序，實(shí)現(xiàn)統(tǒng)合，搞好頂層設(shè)計(jì)。

2、規(guī)范一套建設(shè)標(biāo)準(zhǔn)。

沒(méi)有標(biāo)準(zhǔn)就沒(méi)有系統(tǒng)。應(yīng)建立面向不同主題、覆蓋各個(gè)領(lǐng)域、不斷動(dòng)態(tài)更新的大數(shù)據(jù)建設(shè)標(biāo)準(zhǔn)，為實(shí)現(xiàn)各級(jí)各類(lèi)信息系統(tǒng)的網(wǎng)絡(luò)互連、信息互通、資源共享奠定基礎(chǔ)。

3、搭建一個(gè)共享平臺(tái)。

數(shù)據(jù)只有不斷流動(dòng)和充分共享，才有生命力。應(yīng)在各專(zhuān)用數(shù)據(jù)庫(kù)建設(shè)的基礎(chǔ)上，通過(guò)數(shù)據(jù)集成，實(shí)現(xiàn)各級(jí)各類(lèi)指揮信息系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)共享。

4、培養(yǎng)一支專(zhuān)業(yè)隊(duì)伍。

大數(shù)據(jù)建設(shè)的每個(gè)環(huán)節(jié)都需要依靠專(zhuān)業(yè)人員完成，因此，必須培養(yǎng)和造就一支懂指揮、懂技術(shù)、懂管理的大數(shù)據(jù)建設(shè)專(zhuān)業(yè)隊(duì)伍。

五、結(jié)論

目前，大數(shù)據(jù)在電信、智慧城市、電子商務(wù)及社交娛樂(lè)等行業(yè)已經(jīng)出現(xiàn)規(guī)?；瘧?yīng)用，中國(guó)大數(shù)據(jù)市場(chǎng)將進(jìn)入高速發(fā)展時(shí)期。大數(shù)據(jù)真正的價(jià)值體現(xiàn)在從海量且多樣的內(nèi)容中提取用戶(hù)行為、用戶(hù)數(shù)據(jù)、特征并轉(zhuǎn)化為數(shù)據(jù)資源，對(duì)數(shù)據(jù)資源進(jìn)一步加以挖掘和分析，增強(qiáng)用戶(hù)信息獲取的便利性，實(shí)現(xiàn)從產(chǎn)品價(jià)值導(dǎo)向到以客戶(hù)體驗(yàn)價(jià)值為中心導(dǎo)向的轉(zhuǎn)換，客戶(hù)體驗(yàn)的提升也正是激發(fā)信息消費(fèi)的根本原因。

中國(guó)信息消費(fèi)市場(chǎng)規(guī)模量級(jí)巨大，增長(zhǎng)迅速。在網(wǎng)絡(luò)能力的提升、居民消費(fèi)升級(jí)和四化加快融合發(fā)展的背景下，新技術(shù)、新產(chǎn)品、新內(nèi)容、新服務(wù)、新業(yè)態(tài)不斷激發(fā)新的消費(fèi)需求，而作為提升信息消費(fèi)體驗(yàn)的重要手段，大數(shù)據(jù)將在行業(yè)領(lǐng)域獲得廣泛應(yīng)用。

大數(shù)據(jù)已經(jīng)滲透到各個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素，大數(shù)據(jù)的演進(jìn)與生產(chǎn)力的提高有著直接的關(guān)系。隨著網(wǎng)速的大幅提升，數(shù)據(jù)也將迎來(lái)爆發(fā)式增長(zhǎng)，快速獲取、處理、分析海量、多樣化的交易數(shù)據(jù)、交互數(shù)據(jù)與傳感數(shù)據(jù)，從而實(shí)現(xiàn)信息再價(jià)值化，對(duì)大數(shù)據(jù)的利用將成為企業(yè)提高核心競(jìng)爭(zhēng)力和搶占市場(chǎng)先機(jī)的關(guān)鍵。大數(shù)據(jù)因其巨大的商業(yè)價(jià)值正在成為推動(dòng)信息產(chǎn)業(yè)變革的新引擎。

中國(guó)發(fā)展大數(shù)據(jù)，具有得天獨(dú)厚的優(yōu)勢(shì)，主要體現(xiàn)在我國(guó)的特殊的國(guó)情，擁有獨(dú)特的位勢(shì)和經(jīng)濟(jì)社會(huì)高速穩(wěn)定發(fā)展，給大數(shù)據(jù)及其應(yīng)用帶來(lái)了巨大的發(fā)展空間。大數(shù)據(jù)在我國(guó)各領(lǐng)域和不同行業(yè)的應(yīng)用潛力巨大、機(jī)遇重大。大數(shù)據(jù)的核心技術(shù)進(jìn)展和大數(shù)據(jù)應(yīng)用有可能帶來(lái)我國(guó)新興戰(zhàn)略性產(chǎn)業(yè)發(fā)展的新機(jī)遇。（文章來(lái)源CDA數(shù)據(jù)分析師）