2015年大數(shù)據(jù)市場(chǎng)應(yīng)用與趨勢(shì)調(diào)研

即將逝去的2015年，被認(rèn)為是具有跨時(shí)代意義的“大數(shù)據(jù)元年”。在這一年，數(shù)據(jù)比以往任何時(shí)候都要寶貴，甚至成為可以與石油資源相媲美的新能源，大數(shù)據(jù)被認(rèn)為是繼信息化和互聯(lián)網(wǎng)后整個(gè)信息革命的又一次高峰。然而，大數(shù)據(jù)不是口號(hào)，需要更多的企業(yè)付諸實(shí)踐，從單調(diào)的數(shù)據(jù)中挖掘出潛在價(jià)值。

年初的一項(xiàng)調(diào)查曾指出，28%的全球企業(yè)和25%的中國(guó)企業(yè)已經(jīng)開(kāi)始進(jìn)行大數(shù)據(jù)實(shí)踐。為了進(jìn)一步了解中國(guó)企業(yè)大數(shù)據(jù)應(yīng)用的真實(shí)情況，IT168近期聯(lián)合ITPUB、ChinaUnix展開(kāi)了一項(xiàng)有關(guān)大數(shù)據(jù)應(yīng)用與趨勢(shì)的專項(xiàng)調(diào)查，揭示大數(shù)據(jù)給企業(yè)帶來(lái)的挑戰(zhàn)及其解決之道。

此次調(diào)查于2014年9月30日正式啟動(dòng)，歷時(shí)一個(gè)半月，通過(guò)線上線下兩種途徑回收問(wèn)卷500余份，人群覆蓋數(shù)據(jù)架構(gòu)師、數(shù)據(jù)庫(kù)管理和運(yùn)維工程師、數(shù)據(jù)庫(kù)開(kāi)發(fā)工程師、數(shù)據(jù)分析師、研發(fā)總監(jiān)和IT經(jīng)理等技術(shù)人員。

調(diào)查主要結(jié)論：

1. 每月新增數(shù)據(jù)規(guī)模在500G以上的企業(yè)由2012年的16.67%，增長(zhǎng)到18.11%。雖然擁有大數(shù)據(jù)的企業(yè)比例有所上升，但與預(yù)測(cè)中數(shù)據(jù)增長(zhǎng)速度還有很大差距。

2. 選用國(guó)產(chǎn)大數(shù)據(jù)產(chǎn)品的企業(yè)僅占5.61%，國(guó)產(chǎn)廠商若抓住大數(shù)據(jù)和信息安全的重大機(jī)遇，將迎來(lái)成長(zhǎng)的春天。

3. 企業(yè)認(rèn)為大數(shù)據(jù)的存儲(chǔ)和處理過(guò)程中三個(gè)最大的難點(diǎn)是數(shù)據(jù)安全、系統(tǒng)性能瓶頸和數(shù)據(jù)類型多樣化。

4. 在大數(shù)據(jù)時(shí)代，企業(yè)面臨的最大挑戰(zhàn)是缺乏專業(yè)的大數(shù)據(jù)人才。

5. 針對(duì)非結(jié)構(gòu)化數(shù)據(jù)，企業(yè)目前最迫切需要解決的是如何對(duì)這些數(shù)據(jù)進(jìn)行分析。

6. 當(dāng)前已經(jīng)部署大數(shù)據(jù)的企業(yè)達(dá)到21.89%，計(jì)劃1年內(nèi)部署的占27.92%，2014年將是大數(shù)據(jù)部署的高峰期。

7. 企業(yè)在大數(shù)據(jù)選型的過(guò)程中最先考慮的三個(gè)因素是產(chǎn)品的性能、服務(wù)與支持水平和與其他應(yīng)用的兼容性。

8. 大多數(shù)企業(yè)選擇大數(shù)據(jù)產(chǎn)品或解決方案的類型是大數(shù)據(jù)分析軟件。

9. 被調(diào)查者最關(guān)注的大數(shù)據(jù)技術(shù)，排在前五位的分別是大數(shù)據(jù)分析、云數(shù)據(jù)庫(kù)、Hadoop、內(nèi)存數(shù)據(jù)庫(kù)，以及數(shù)據(jù)安全。

10. 被調(diào)查者認(rèn)為在大數(shù)據(jù)分析中最重要的三個(gè)功能，分別是實(shí)時(shí)分析、豐富的挖掘模型和可視化界面。

一、企業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀

如何定義大數(shù)據(jù)?這是一個(gè)仁者見(jiàn)仁、智者見(jiàn)智的問(wèn)題。主流的有“3V”模型，即數(shù)量(Volume)、速度(Velocity)和種類(Variety);還有Gartner的定義，即大數(shù)據(jù)是超出了常用硬件環(huán)境和軟件工具在可接受的時(shí)間內(nèi)為其用戶收集、管理和處理數(shù)據(jù)的能力。

龐大的數(shù)據(jù)量無(wú)疑是大數(shù)據(jù)最明顯的一個(gè)特征。有預(yù)測(cè)稱，全球信息量正以每年59%的速度增長(zhǎng)。企業(yè)的數(shù)據(jù)規(guī)模是否達(dá)到難以承受的程度?在去年的調(diào)查中我們就曾對(duì)企業(yè)每月新增數(shù)據(jù)規(guī)模進(jìn)行摸底，結(jié)果顯示企業(yè)的數(shù)據(jù)規(guī)模不斷增大，但還未達(dá)到企業(yè)無(wú)法掌控的程度，每月新增數(shù)據(jù)規(guī)模在500G以上的企業(yè)占到16.67%。

▲企業(yè)每月新增數(shù)據(jù)規(guī)模調(diào)查

今年的情況又是如何呢?從上圖可以看出，被調(diào)查者所在企業(yè)每月新增數(shù)據(jù)規(guī)模在10G以下的占到26.79%，11-100G的占到41.89%，101-500G的占到13.21%，500G以上的達(dá)到18.11%。

對(duì)比去年的結(jié)果可以看出，企業(yè)每月新增數(shù)據(jù)規(guī)模在500G以上的由2012年的16.67%，增長(zhǎng)到2013年的18.11%，同比增長(zhǎng)8.64%。擁有大數(shù)據(jù)的企業(yè)比例有所上升，但與預(yù)測(cè)中數(shù)據(jù)增長(zhǎng)速度(59%)還有很大差距。

▲企業(yè)選用大數(shù)據(jù)廠商調(diào)查

企業(yè)更青睞哪家大數(shù)據(jù)廠商?或許從現(xiàn)有產(chǎn)品的部署情況可以看出端倪。從上圖可以看出，排在前六位的的廠商分別是IBM(18.74%)、Oracle(18.33%)、SAP(11.35%)、Microsoft(9.71%)、SAS(7.52%)和NetApp(7.52%)。

與2012年的調(diào)查數(shù)據(jù)相比，Oracle從27.93%下降到18.33%，一家獨(dú)大的狀況終止，取而代之的是遍地開(kāi)花，各個(gè)廠商所占份額相對(duì)平均。前三位中IBM和SAP份額增長(zhǎng)最為迅猛，分別由15.99%和7.66%增長(zhǎng)到現(xiàn)在的18.74%和11.35%。

在今年的調(diào)查中，新增了國(guó)產(chǎn)廠商的選項(xiàng)。相比國(guó)外的幾家IT巨頭，國(guó)產(chǎn)廠商的占有率僅為5.61%。今年震驚一時(shí)的“棱鏡門”事件給企業(yè)信息安全敲響了警鐘，也給國(guó)產(chǎn)廠商帶來(lái)巨大的機(jī)遇和挑戰(zhàn)。大數(shù)據(jù)和信息安全領(lǐng)域的需求激增，國(guó)產(chǎn)廠商將迎來(lái)成長(zhǎng)的春天。

二、企業(yè)大數(shù)據(jù)痛點(diǎn)分析

多年前，企業(yè)關(guān)注信息化和互聯(lián)網(wǎng)化，近幾年關(guān)注更多的是云計(jì)算、移動(dòng)化和社交化。無(wú)論哪種技術(shù)趨勢(shì)，都給企業(yè)的數(shù)據(jù)處理和分析帶來(lái)不少難題。數(shù)據(jù)量的激增、數(shù)據(jù)多樣性和復(fù)雜性、數(shù)據(jù)安全的問(wèn)題，都成為企業(yè)面臨的挑戰(zhàn)。為了進(jìn)一步了解企業(yè)的真實(shí)需求，此次調(diào)查針對(duì)大數(shù)據(jù)時(shí)代的企業(yè)痛點(diǎn)進(jìn)行分析。

▲企業(yè)大數(shù)據(jù)的存儲(chǔ)和處理難點(diǎn)調(diào)查

從上圖來(lái)看，企業(yè)在大數(shù)據(jù)存儲(chǔ)和處理上的難點(diǎn)分布比較均勻，所占比例最高的為數(shù)據(jù)安全(18.98%)，排在第二的是系統(tǒng)性能瓶頸(18.42%),第三位的是數(shù)據(jù)類型多樣化(18.01%)。其他還有數(shù)據(jù)分析效率低(15.24%)、數(shù)據(jù)讀寫(xiě)瓶頸(14.96%)和存儲(chǔ)壓力(14.40%)。

選項(xiàng)之間的差距非常小，也說(shuō)明這六項(xiàng)都被認(rèn)為是企業(yè)數(shù)據(jù)存儲(chǔ)和處理的難點(diǎn)，其中數(shù)據(jù)安全是企業(yè)最關(guān)注的問(wèn)題。在大數(shù)據(jù)環(huán)境下，很多企業(yè)正在重新思考信息安全策略，保護(hù)數(shù)據(jù)資源不被侵犯。

▲企業(yè)在大數(shù)據(jù)時(shí)代面臨的挑戰(zhàn)

在大數(shù)據(jù)時(shí)代，企業(yè)面臨的挑戰(zhàn)可以從上圖中看出一些端倪。缺乏專業(yè)的大數(shù)據(jù)人才(26.99%)成為企業(yè)面臨的最大挑戰(zhàn)，其次是非結(jié)構(gòu)化數(shù)據(jù)的分析和處理(26.65%)、傳統(tǒng)技術(shù)難以處理大數(shù)據(jù)(25.27%)以及新技術(shù)門檻過(guò)高(21.13%)。

大數(shù)據(jù)相關(guān)人才的欠缺將會(huì)成為影響大數(shù)據(jù)市場(chǎng)發(fā)展的一個(gè)重要因素。據(jù)Gartner預(yù)測(cè)，到2015年，全球?qū)⑿略?40萬(wàn)個(gè)與大數(shù)據(jù)相關(guān)的工作崗位，且會(huì)有25%的組織設(shè)立首席數(shù)據(jù)官職位。大數(shù)據(jù)的相關(guān)職位需要的是復(fù)合型人才，能夠?qū)?shù)學(xué)、統(tǒng)計(jì)學(xué)、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和自然語(yǔ)言處理等多方面知識(shí)綜合掌控。未來(lái)，大數(shù)據(jù)將會(huì)出現(xiàn)約100萬(wàn)的人才缺口，需要社會(huì)、高校和企業(yè)共同努力去培養(yǎng)和挖掘。

▲企業(yè)針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的挑戰(zhàn)

面對(duì)文本、圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)，企業(yè)并不擅長(zhǎng)處理。從上圖的調(diào)查結(jié)果可以看出，企業(yè)目前最迫切需要解決的是如何對(duì)這些數(shù)據(jù)進(jìn)行分析，所占比例達(dá)到38.96%。其次是與其他數(shù)據(jù)源進(jìn)行集成(32.50%)、如何保存這些數(shù)據(jù)(14.72%)，以及數(shù)據(jù)安全問(wèn)題(13.82%)。

《駕馭大數(shù)據(jù)》一書(shū)曾寫(xiě)到，數(shù)據(jù)的核心是發(fā)現(xiàn)價(jià)值，而駕馭數(shù)據(jù)的核心是分析。分析是大數(shù)據(jù)最關(guān)鍵的環(huán)節(jié)，尤其對(duì)于傳統(tǒng)方式難以應(yīng)對(duì)的非結(jié)構(gòu)化數(shù)據(jù)，人們最先想到是把它們轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，然后再處理和分析。

與企業(yè)對(duì)結(jié)構(gòu)化數(shù)據(jù)安全性的關(guān)注不同，非結(jié)構(gòu)化數(shù)據(jù)的安全問(wèn)題在企業(yè)中缺乏應(yīng)有的重視。但據(jù)統(tǒng)計(jì)，高達(dá)80%的商業(yè)數(shù)據(jù)均以非結(jié)構(gòu)化的形式保存。非結(jié)構(gòu)化數(shù)據(jù)的安全問(wèn)題也迫在眉睫，企業(yè)需要提前做好預(yù)警和規(guī)劃。

三、企業(yè)大數(shù)據(jù)選型規(guī)劃

毋庸置疑，大數(shù)據(jù)是2013年最熱門的話題。熱鬧之余，我們還應(yīng)該冷靜的思考一下，企業(yè)是否需要部署大數(shù)據(jù)、需要部署哪種類型的大數(shù)據(jù)，以及如何選擇適合的解決方案，需要做一個(gè)有針對(duì)性的選型規(guī)劃。

根據(jù)今年的一項(xiàng)調(diào)查顯示，全球企業(yè)軟件支出近300億美元，相比2012年增長(zhǎng)6.4%，預(yù)計(jì)2014年企業(yè)支出將向大數(shù)據(jù)傾斜，尤其在企業(yè)內(nèi)容管理、數(shù)據(jù)集成和數(shù)據(jù)質(zhì)量工具三個(gè)方面。

▲部署大數(shù)據(jù)應(yīng)用規(guī)劃調(diào)查

從國(guó)內(nèi)企業(yè)大數(shù)據(jù)應(yīng)用的現(xiàn)狀和規(guī)劃來(lái)看，情況有什么不同呢?通過(guò)上圖可以看出，目前已經(jīng)部署大數(shù)據(jù)應(yīng)用的企業(yè)所占比例達(dá)到21.89%，計(jì)劃1年內(nèi)部署的企業(yè)占27.92%，計(jì)劃2年內(nèi)部署的企業(yè)占14.34%，沒(méi)有相關(guān)計(jì)劃和不確定的企業(yè)分別占11.32%和24.53%。

大數(shù)據(jù)時(shí)代，企業(yè)已經(jīng)逐漸意識(shí)到數(shù)據(jù)的重要性，也慢慢開(kāi)始接受從傳統(tǒng)數(shù)據(jù)庫(kù)到大數(shù)據(jù)分析的轉(zhuǎn)變。但是大數(shù)據(jù)最大的難點(diǎn)就是落地，需要與業(yè)務(wù)需求相結(jié)合，選擇一套合適的大數(shù)據(jù)解決方案。

▲大數(shù)據(jù)選型影響因素調(diào)查

從上圖可以看出，企業(yè)在大數(shù)據(jù)選型的過(guò)程中最先考慮的三個(gè)因素是產(chǎn)品的性能(19.79%)、服務(wù)與支持(15.20%)和兼容不同應(yīng)用(13.94%)。其次是產(chǎn)品的價(jià)格(13.16%)、產(chǎn)品的易用性(12.18%)、支持移動(dòng)化(11.11%)、所屬?gòu)S商及品牌(7.80%)，以及是否開(kāi)源(6.82%)。

產(chǎn)品的性能排在第一位是毋庸置疑的。排名在產(chǎn)品價(jià)格前面的服務(wù)與支持，卻似乎印證了IT廠商向服務(wù)提供商轉(zhuǎn)型道路的正確性。另外，隨著移動(dòng)化的不斷深入，支持移動(dòng)版的大數(shù)據(jù)解決方案，將成為未來(lái)趨勢(shì)。

▲大數(shù)據(jù)產(chǎn)品或解決方案類型調(diào)查

除了產(chǎn)品選型時(shí)考慮的因素，企業(yè)選擇什么類型的大數(shù)據(jù)產(chǎn)品或解決方案更適合自己呢?從上圖可以看出，選擇大數(shù)據(jù)分析軟件的企業(yè)占32.05%、選擇大數(shù)據(jù)整體解決方案的占28.96%，選擇基礎(chǔ)架構(gòu)產(chǎn)品的占28.38%，最少選擇的是大數(shù)據(jù)一體機(jī)，所占比例達(dá)到10.62%。

除了前文所述的大數(shù)據(jù)分析的重要性之外，我們還可以看到大數(shù)據(jù)一體機(jī)沒(méi)有想象中那么受歡迎。據(jù)業(yè)內(nèi)人士透露，大數(shù)據(jù)一體機(jī)往往針對(duì)某一業(yè)務(wù)流程設(shè)計(jì)，缺乏普適性，且價(jià)格昂貴，不是一般企業(yè)能夠接受的。所以目前的大數(shù)據(jù)一體機(jī)往往針對(duì)成熟的業(yè)務(wù)流程，能極大的簡(jiǎn)化部署和維護(hù)工作。

四、企業(yè)大數(shù)據(jù)應(yīng)用趨勢(shì)

在很長(zhǎng)的一段時(shí)間中，只要一提到大數(shù)據(jù)，人們的腦海中總會(huì)浮現(xiàn)出Hadoop，它幾乎成為大數(shù)據(jù)的代名詞。但其實(shí)大數(shù)據(jù)的技術(shù)領(lǐng)域很廣，涉及數(shù)據(jù)獲取、整合、治理、分析、探索、汲取智慧的方方面面。

▲大數(shù)據(jù)技術(shù)趨勢(shì)調(diào)查

從上圖可以看出，被調(diào)查者最關(guān)注的大數(shù)據(jù)技術(shù)中，排在前五位的分別是大數(shù)據(jù)分析(12.91%)、云數(shù)據(jù)庫(kù)(11.82%)、Hadoop(11.73%)、內(nèi)存數(shù)據(jù)庫(kù)(11.64%)，以及數(shù)據(jù)安全(9.21%)。其次是NoSQL(8.21%)、數(shù)據(jù)倉(cāng)庫(kù)(8.21%)、數(shù)據(jù)集成(7.94%)、商業(yè)智能(7.13%)、列式數(shù)據(jù)庫(kù)(5.96%)、大數(shù)據(jù)(數(shù)據(jù)庫(kù))一體機(jī)(3.52%)，以及NewSQL(1.71%)。

令人欣慰的是，Hadoop已不再是人們心目中僅有的大數(shù)據(jù)技術(shù)，而大數(shù)據(jù)分析成為最被關(guān)注的技術(shù)。從中可以看出，人們對(duì)大數(shù)據(jù)的了解已經(jīng)逐漸深入，關(guān)注的技術(shù)點(diǎn)也越來(lái)越多。

▲大數(shù)據(jù)分析功能調(diào)查

既然大數(shù)據(jù)分析是最被關(guān)注的技術(shù)趨勢(shì)，那么大數(shù)據(jù)分析中的哪項(xiàng)功能是最重要的呢?從上圖可以看出，排在前三位的功能分別是實(shí)時(shí)分析(21.32%)、豐富的挖掘模型(17.97%)和可視化界面(15.91%)。其次是預(yù)測(cè)分析(13.10%)、社交數(shù)據(jù)分析(12.12%)、云端服務(wù)(11.69%)，以及移動(dòng)BI(7.90%)。

2013年也曾做過(guò)類似的調(diào)查，當(dāng)時(shí)選擇豐富的挖掘模型(27.22%)比實(shí)時(shí)分析(19.88%)多7.34%。短短一年時(shí)間內(nèi)，企業(yè)對(duì)實(shí)時(shí)分析的需求激增，成就了很多以實(shí)時(shí)分析為創(chuàng)新技術(shù)的大數(shù)據(jù)廠商。

總結(jié)

本調(diào)查針對(duì)2014年大數(shù)據(jù)應(yīng)用現(xiàn)狀和趨勢(shì)展開(kāi)，從調(diào)查結(jié)果可以看出，企業(yè)在未來(lái)一兩年中有迫切部署大數(shù)據(jù)的需求，并且已經(jīng)從一開(kāi)始的基礎(chǔ)設(shè)施建設(shè)，逐漸發(fā)展為對(duì)大數(shù)據(jù)分析和整體大數(shù)據(jù)解決方案的需求。與此同時(shí)，大數(shù)據(jù)還面臨人才的缺乏的挑戰(zhàn)，需要企業(yè)和cda數(shù)據(jù)分析師官網(wǎng)，高校聯(lián)合起來(lái)，培養(yǎng)數(shù)據(jù)領(lǐng)域的復(fù)合型人才，幫助企業(yè)打贏這場(chǎng)“數(shù)據(jù)戰(zhàn)”。