大數(shù)據(jù)市場應用與趨勢調研報告

大數(shù)據(jù)被認為是繼信息化和互聯(lián)網(wǎng)后整個信息革命的又一次高峰。然而，大數(shù)據(jù)不是口號，需要更多的企業(yè)付諸實踐，從單調的數(shù)據(jù)中挖掘出潛在價值。

年初的一項調查曾指出，28%的全球企業(yè)和25%的中國企業(yè)已經(jīng)開始進行大數(shù)據(jù)實踐。為了進一步了解中國企業(yè)大數(shù)據(jù)應用的真實情況，IT168近期聯(lián)合ITPUB、ChinaUnix展開了一項有關大數(shù)據(jù)應用與趨勢的專項調查，揭示大數(shù)據(jù)給企業(yè)帶來的挑戰(zhàn)及其解決之道。

此次調查于2013年9月30日正式啟動，歷時一個半月，通過線上線下兩種途徑回收問卷500余份，人群覆蓋數(shù)據(jù)架構師、數(shù)據(jù)庫管理和運維工程師、數(shù)據(jù)庫開發(fā)工程師、數(shù)據(jù)分析師、研發(fā)總監(jiān)和IT經(jīng)理等技術人員。

調查主要結論：

1. 每月新增數(shù)據(jù)規(guī)模在500G以上的企業(yè)由2012年的16.67%，增長到18.11%。雖然擁有大數(shù)據(jù)的企業(yè)比例有所上升，但與預測中數(shù)據(jù)增長速度還有很大差距。

2. 選用國產(chǎn)大數(shù)據(jù)產(chǎn)品的企業(yè)僅占5.61%，國產(chǎn)廠商若抓住大數(shù)據(jù)和信息安全的重大機遇，將迎來成長的春天。

3. 企業(yè)認為大數(shù)據(jù)的存儲和處理過程中三個最大的難點是數(shù)據(jù)安全、系統(tǒng)性能瓶頸和數(shù)據(jù)類型多樣化。

4. 在大數(shù)據(jù)時代，企業(yè)面臨的最大挑戰(zhàn)是缺乏專業(yè)的大數(shù)據(jù)人才。

5. 針對非結構化數(shù)據(jù)，企業(yè)目前最迫切需要解決的是如何對這些數(shù)據(jù)進行分析。

6. 當前已經(jīng)部署大數(shù)據(jù)的企業(yè)達到21.89%，計劃1年內部署的占27.92%，2014年將是大數(shù)據(jù)部署的高峰期。

7. 企業(yè)在大數(shù)據(jù)選型的過程中最先考慮的三個因素是產(chǎn)品的性能、服務與支持水平和與其他應用的兼容性。

8. 大多數(shù)企業(yè)選擇大數(shù)據(jù)產(chǎn)品或解決方案的類型是大數(shù)據(jù)分析軟件。

9. 被調查者最關注的大數(shù)據(jù)技術，排在前五位的分別是大數(shù)據(jù)分析、云數(shù)據(jù)庫、Hadoop、內存數(shù)據(jù)庫，以及數(shù)據(jù)安全。

10. 被調查者認為在大數(shù)據(jù)分析中最重要的三個功能，分別是實時分析、豐富的挖掘模型和可視化界面。

　　一、企業(yè)大數(shù)據(jù)應用現(xiàn)狀

如何定義大數(shù)據(jù)?這是一個仁者見仁、智者見智的問題。主流的有“3V”模型，即數(shù)量(Volume)、速度(Velocity)和種類(Variety);還有Gartner的定義，即大數(shù)據(jù)是超出了常用硬件環(huán)境和軟件工具在可接受的時間內為其用戶收集、管理和處理數(shù)據(jù)的能力。

龐大的數(shù)據(jù)量無疑是大數(shù)據(jù)最明顯的一個特征。有預測稱，全球信息量正以每年59%的速度增長。企業(yè)的數(shù)據(jù)規(guī)模是否達到難以承受的程度?在去年的調查中我們就曾對企業(yè)每月新增數(shù)據(jù)規(guī)模進行摸底，結果顯示企業(yè)的數(shù)據(jù)規(guī)模不斷增大，但還未達到企業(yè)無法掌控的程度，每月新增數(shù)據(jù)規(guī)模在500G以上的企業(yè)占到16.67%。 

▲企業(yè)每月新增數(shù)據(jù)規(guī)模調查

今年的情況又是如何呢?從上圖可以看出，被調查者所在企業(yè)每月新增數(shù)據(jù)規(guī)模在10G以下的占到26.79%，11-100G的占到41.89%，101-500G的占到13.21%，500G以上的達到18.11%。

對比去年的結果可以看出，企業(yè)每月新增數(shù)據(jù)規(guī)模在500G以上的由2012年的16.67%，增長到2013年的18.11%，同比增長8.64%。擁有大數(shù)據(jù)的企業(yè)比例有所上升，但與預測中數(shù)據(jù)增長速度(59%)還有很大差距。

▲企業(yè)選用大數(shù)據(jù)廠商調查

企業(yè)更青睞哪家大數(shù)據(jù)廠商?或許從現(xiàn)有產(chǎn)品的部署情況可以看出端倪。從上圖可以看出，排在前六位的的廠商分別是IBM(18.74%)、Oracle(18.33%)、SAP(11.35%)、Microsoft(9.71%)、SAS(7.52%)和NetApp(7.52%)。

與2012年的調查數(shù)據(jù)相比，Oracle從27.93%下降到18.33%，一家獨大的狀況終止，取而代之的是遍地開花，各個廠商所占份額相對平均。前三位中IBM和SAP份額增長最為迅猛，分別由15.99%和7.66%增長到現(xiàn)在的18.74%和11.35%。

在今年的調查中，新增了國產(chǎn)廠商的選項。相比國外的幾家IT巨頭，國產(chǎn)廠商的占有率僅為5.61%。今年震驚一時的“棱鏡門”事件給企業(yè)信息安全敲響了警鐘，也給國產(chǎn)廠商帶來巨大的機遇和挑戰(zhàn)。大數(shù)據(jù)和信息安全領域的需求激增，國產(chǎn)廠商將迎來成長的春天。

　　二、企業(yè)大數(shù)據(jù)痛點分析

多年前，企業(yè)關注信息化和互聯(lián)網(wǎng)化，近幾年關注更多的是云計算、移動化和社交化。無論哪種技術趨勢，都給企業(yè)的數(shù)據(jù)處理和分析帶來不少難題。數(shù)據(jù)量的激增、數(shù)據(jù)多樣性和復雜性、數(shù)據(jù)安全的問題，都成為企業(yè)面臨的挑戰(zhàn)。為了進一步了解企業(yè)的真實需求，此次調查針對大數(shù)據(jù)時代的企業(yè)痛點進行分析。

▲企業(yè)大數(shù)據(jù)的存儲和處理難點調查

從上圖來看，企業(yè)在大數(shù)據(jù)存儲和處理上的難點分布比較均勻，所占比例最高的為數(shù)據(jù)安全(18.98%)，排在第二的是系統(tǒng)性能瓶頸(18.42%),第三位的是數(shù)據(jù)類型多樣化(18.01%)。其他還有數(shù)據(jù)分析效率低(15.24%)、數(shù)據(jù)讀寫瓶頸(14.96%)和存儲壓力(14.40%)。

選項之間的差距非常小，也說明這六項都被認為是企業(yè)數(shù)據(jù)存儲和處理的難點，其中數(shù)據(jù)安全是企業(yè)最關注的問題。在大數(shù)據(jù)環(huán)境下，很多企業(yè)正在重新思考信息安全策略，保護數(shù)據(jù)資源不被侵犯。

▲企業(yè)在大數(shù)據(jù)時代面臨的挑戰(zhàn)

在大數(shù)據(jù)時代，企業(yè)面臨的挑戰(zhàn)可以從上圖中看出一些端倪。缺乏專業(yè)的大數(shù)據(jù)人才(26.99%)成為企業(yè)面臨的最大挑戰(zhàn)，其次是非結構化數(shù)據(jù)的分析和處理(26.65%)、傳統(tǒng)技術難以處理大數(shù)據(jù)(25.27%)以及新技術門檻過高(21.13%)。

大數(shù)據(jù)相關人才的欠缺將會成為影響大數(shù)據(jù)市場發(fā)展的一個重要因素。據(jù)Gartner預測，到2015年，全球將新增440萬個與大數(shù)據(jù)相關的工作崗位，且會有25%的組織設立首席數(shù)據(jù)官職位。大數(shù)據(jù)的相關職位需要的是復合型人才，能夠對數(shù)學、統(tǒng)計學、數(shù)據(jù)分析、機器學習和自然語言處理等多方面知識綜合掌控。未來，大數(shù)據(jù)將會出現(xiàn)約100萬的人才缺口，需要社會、高校和企業(yè)共同努力去培養(yǎng)和挖掘。

▲企業(yè)針對非結構化數(shù)據(jù)的挑戰(zhàn)

面對文本、圖片、視頻等非結構化數(shù)據(jù)，企業(yè)并不擅長處理。從上圖的調查結果可以看出，企業(yè)目前最迫切需要解決的是如何對這些數(shù)據(jù)進行分析，所占比例達到38.96%。其次是與其他數(shù)據(jù)源進行集成(32.50%)、如何保存這些數(shù)據(jù)(14.72%)，以及數(shù)據(jù)安全問題(13.82%)。

《駕馭大數(shù)據(jù)》一書曾寫到，數(shù)據(jù)的核心是發(fā)現(xiàn)價值，而駕馭數(shù)據(jù)的核心是分析。分析是大數(shù)據(jù)最關鍵的環(huán)節(jié)，尤其對于傳統(tǒng)方式難以應對的非結構化數(shù)據(jù)，人們最先想到是把它們轉化為結構化數(shù)據(jù)，然后再處理和分析。

與企業(yè)對結構化數(shù)據(jù)安全性的關注不同，非結構化數(shù)據(jù)的安全問題在企業(yè)中缺乏應有的重視。但據(jù)統(tǒng)計，高達80%的商業(yè)數(shù)據(jù)均以非結構化的形式保存。非結構化數(shù)據(jù)的安全問題也迫在眉睫，企業(yè)需要提前做好預警和規(guī)劃。

　　三、企業(yè)大數(shù)據(jù)選型規(guī)劃

毋庸置疑，大數(shù)據(jù)是2013年最熱門的話題。熱鬧之余，我們還應該冷靜的思考一下，企業(yè)是否需要部署大數(shù)據(jù)、需要部署哪種類型的大數(shù)據(jù)，以及如何選擇適合的解決方案，需要做一個有針對性的選型規(guī)劃。

根據(jù)今年的一項調查顯示，全球企業(yè)軟件支出近300億美元，相比2012年增長6.4%，預計2014年企業(yè)支出將向大數(shù)據(jù)傾斜，尤其在企業(yè)內容管理、數(shù)據(jù)集成和數(shù)據(jù)質量工具三個方面。

▲部署大數(shù)據(jù)應用規(guī)劃調查

從國內企業(yè)大數(shù)據(jù)應用的現(xiàn)狀和規(guī)劃來看，情況有什么不同呢?通過上圖可以看出，目前已經(jīng)部署大數(shù)據(jù)應用的企業(yè)所占比例達到21.89%，計劃1年內部署的企業(yè)占27.92%，計劃2年內部署的企業(yè)占14.34%，沒有相關計劃和不確定的企業(yè)分別占11.32%和24.53%。

大數(shù)據(jù)時代，企業(yè)已經(jīng)逐漸意識到數(shù)據(jù)的重要性，也慢慢開始接受從傳統(tǒng)數(shù)據(jù)庫到大數(shù)據(jù)分析的轉變。但是大數(shù)據(jù)最大的難點就是落地，需要與業(yè)務需求相結合，選擇一套合適的大數(shù)據(jù)解決方案。

▲大數(shù)據(jù)選型影響因素調查

從上圖可以看出，企業(yè)在大數(shù)據(jù)選型的過程中最先考慮的三個因素是產(chǎn)品的性能(19.79%)、服務與支持(15.20%)和兼容不同應用(13.94%)。其次是產(chǎn)品的價格(13.16%)、產(chǎn)品的易用性(12.18%)、支持移動化(11.11%)、所屬廠商及品牌(7.80%)，以及是否開源(6.82%)。

產(chǎn)品的性能排在第一位是毋庸置疑的。排名在產(chǎn)品價格前面的服務與支持，卻似乎印證了IT廠商向服務提供商轉型道路的正確性。另外，隨著移動化的不斷深入，支持移動版的大數(shù)據(jù)解決方案，將成為未來趨勢。

▲大數(shù)據(jù)產(chǎn)品或解決方案類型調查

除了產(chǎn)品選型時考慮的因素，企業(yè)選擇什么類型的大數(shù)據(jù)產(chǎn)品或解決方案更適合自己呢?從上圖可以看出，選擇大數(shù)據(jù)分析軟件的企業(yè)占32.05%、選擇大數(shù)據(jù)整體解決方案的占28.96%，選擇基礎架構產(chǎn)品的占28.38%，最少選擇的是大數(shù)據(jù)一體機，所占比例達到10.62%。

除了前文所述的大數(shù)據(jù)分析的重要性之外，我們還可以看到大數(shù)據(jù)一體機沒有想象中那么受歡迎。據(jù)業(yè)內人士透露，大數(shù)據(jù)一體機往往針對某一業(yè)務流程設計，缺乏普適性，且價格昂貴，不是一般企業(yè)能夠接受的。所以目前的大數(shù)據(jù)一體機往往針對成熟的業(yè)務流程，能極大的簡化部署和維護工作。

四、企業(yè)大數(shù)據(jù)應用趨勢

在很長的一段時間中，只要一提到大數(shù)據(jù)，人們的腦海中總會浮現(xiàn)出Hadoop，它幾乎成為大數(shù)據(jù)的代名詞。但其實大數(shù)據(jù)的技術領域很廣，涉及數(shù)據(jù)獲取、整合、治理、分析、探索、汲取智慧的方方面面。

▲大數(shù)據(jù)技術趨勢調查

從上圖可以看出，被調查者最關注的大數(shù)據(jù)技術中，排在前五位的分別是大數(shù)據(jù)分析(12.91%)、云數(shù)據(jù)庫(11.82%)、Hadoop(11.73%)、內存數(shù)據(jù)庫(11.64%)，以及數(shù)據(jù)安全(9.21%)。其次是NoSQL(8.21%)、數(shù)據(jù)倉庫(8.21%)、數(shù)據(jù)集成(7.94%)、商業(yè)智能(7.13%)、列式數(shù)據(jù)庫(5.96%)、大數(shù)據(jù)(數(shù)據(jù)庫)一體機(3.52%)，以及NewSQL(1.71%)。

令人欣慰的是，Hadoop已不再是人們心目中僅有的大數(shù)據(jù)技術，而大數(shù)據(jù)分析成為最被關注的技術。從中可以看出，人們對大數(shù)據(jù)的了解已經(jīng)逐漸深入，關注的技術點也越來越多。

▲大數(shù)據(jù)分析功能調查

既然大數(shù)據(jù)分析是最被關注的技術趨勢，那么大數(shù)據(jù)分析中的哪項功能是最重要的呢?從上圖可以看出，排在前三位的功能分別是實時分析(21.32%)、豐富的挖掘模型(17.97%)和可視化界面(15.91%)。其次是預測分析(13.10%)、社交數(shù)據(jù)分析(12.12%)、云端服務(11.69%)，以及移動BI(7.90%)。

2012年也曾做過類似的調查，當時選擇豐富的挖掘模型(27.22%)比實時分析(19.88%)多7.34%。短短一年時間內，企業(yè)對實時分析的需求激增，成就了很多以實時分析為創(chuàng)新技術的大數(shù)據(jù)廠商。

總結

本調查針對大數(shù)據(jù)應用現(xiàn)狀和趨勢展開，從調查結果可以看出，企業(yè)在未來一兩年中有迫切部署大數(shù)據(jù)的需求，并且已經(jīng)從一開始的基礎設施建設，逐漸發(fā)展為對大數(shù)據(jù)分析和整體大數(shù)據(jù)解決方案的需求。與此同時，大數(shù)據(jù)還面臨人才的缺乏的挑戰(zhàn)，需要企業(yè)和高校聯(lián)合起來，培養(yǎng)數(shù)據(jù)領域的復合型人才，幫助企業(yè)打贏這場“數(shù)據(jù)戰(zhàn)”。