大數(shù)據(jù)分析的價值和分析方式

對中國大數(shù)據(jù)市場趨勢的調(diào)查數(shù)據(jù)進行解析，以詮釋中國大數(shù)據(jù)市場和技術(shù)趨勢。同時，會通過在線講座和中國讀者解讀中國大數(shù)據(jù)市場趨勢，以及大數(shù)據(jù)對IT技術(shù)、架構(gòu)、管理以及格局的影響。中橋結(jié)合中國大數(shù)據(jù)市場的調(diào)研數(shù)據(jù)和分析，將分成四個系列對“中國大數(shù)據(jù)價值和趨勢”進行解讀。
　　

在前面3個系列里，中橋就大數(shù)據(jù)分析對未來24個月、企業(yè)的大數(shù)據(jù)分析投入重點以及大數(shù)據(jù)分析對IT資源的需求進行了分析。在這一系列里，中橋?qū)⒕痛髷?shù)據(jù)的分析方式和技術(shù)進行闡述。
　　

大數(shù)據(jù)分析的業(yè)務(wù)價值和數(shù)據(jù)類型

越來越多的企業(yè)認識到大數(shù)據(jù)分析能夠帶給企業(yè)業(yè)務(wù)的價值。中橋的多選項調(diào)查結(jié)果顯示(圖1)，企業(yè)認為大數(shù)據(jù)分析能夠帶來的主要業(yè)務(wù)價值依次是：提高生產(chǎn)過程的資源利用率，降低生產(chǎn)成本;根據(jù)商業(yè)分析提高商業(yè)智能的準(zhǔn)確率，降低傳統(tǒng)“憑感覺”做決策的業(yè)務(wù)風(fēng)險;動態(tài)價格優(yōu)化利潤和增長;獲取優(yōu)質(zhì)客戶。這表明大數(shù)據(jù)已經(jīng)對企業(yè)的成本、業(yè)務(wù)決策、利潤有著直接的影響。中橋的另外一組調(diào)研數(shù)據(jù)顯示，目前越來越多的企業(yè)級用戶考慮從批量分析(大數(shù)據(jù)創(chuàng)造價值的第一階段)向近實時分析(第二階段)發(fā)展，從而提高IT創(chuàng)造價值的能力。同時，數(shù)據(jù)分析在快速從商業(yè)智能向用戶智能發(fā)展。中國市場正逐步從大數(shù)據(jù)降低成本向大數(shù)據(jù)加速業(yè)務(wù)增長、提高利潤以及突破創(chuàng)新發(fā)展。

目前中國用戶主要是通過數(shù)據(jù)分析來提高整個企業(yè)的運營效率，降低運營成本。從圖2對數(shù)據(jù)類型的調(diào)查結(jié)果來看，目前，中國企業(yè)的數(shù)據(jù)分析還是以結(jié)構(gòu)化數(shù)據(jù)為主，如數(shù)據(jù)庫或事務(wù)性數(shù)據(jù)。此外辦公文件、計算機/網(wǎng)絡(luò)日志文件、文本/信息等也是企業(yè)數(shù)據(jù)增長的主要來源，同時也是能夠攫取出價值的數(shù)據(jù)類型。

而就導(dǎo)致大數(shù)據(jù)問題的數(shù)據(jù)來源調(diào)查顯示(圖3)，毫無疑問，數(shù)據(jù)庫首當(dāng)其沖，是企業(yè)大數(shù)據(jù)的主要來源;而半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)如軟件和網(wǎng)絡(luò)日志、感應(yīng)數(shù)據(jù)、社群等也已經(jīng)納入企業(yè)數(shù)據(jù)分析的主要范疇，這表明企業(yè)已經(jīng)意識到這些數(shù)據(jù)對于業(yè)務(wù)的重要性，這也是實現(xiàn)從(大)數(shù)據(jù)分析第一階段到大數(shù)據(jù)分析第二階段的必要條件。也成為未來24個月用戶通過IT創(chuàng)造價值的IT投資重點。

中國市場大數(shù)據(jù)分析方法
　　

在了解了企業(yè)大數(shù)據(jù)的來源和種類之后，如何采取有效方式對這些數(shù)據(jù)進行分析，從而最大程度攫取數(shù)據(jù)價值，轉(zhuǎn)化為最明智的商業(yè)決策以利于企業(yè)業(yè)務(wù)運營，是企業(yè)對大數(shù)據(jù)進行分析的目的所在。從目前中國大數(shù)據(jù)分析的分析方法來看(圖4)，有33.8%的企業(yè)選擇針對具體工作負載來調(diào)整通用數(shù)據(jù)庫;22.0%的受訪企業(yè)選擇數(shù)據(jù)分析云計算服務(wù)(如軟件即服務(wù)和/或基礎(chǔ)設(shè)施即服務(wù));還有20.7%的企業(yè)選擇自定義開發(fā)的解決方案。僅4.8%的用戶使用了并行處理(MPP)分析數(shù)據(jù)庫，3.3%使用了對稱處理(SMP)分析數(shù)據(jù)庫。這一結(jié)果表明，大多數(shù)的中國企業(yè)仍處于數(shù)據(jù)分析的第一階段。而且，目前中國用戶大多采用通用數(shù)據(jù)庫、云計算或自定義開發(fā)的解決方案和數(shù)據(jù)庫工具作為大數(shù)據(jù)分析方法，而沒有選擇去購買數(shù)據(jù)分析的軟件。

MapReduce可以讓用戶把半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)整合到數(shù)據(jù)處理和分析平臺，從傳統(tǒng)的核心式數(shù)據(jù)分布演進到集群或網(wǎng)格式數(shù)據(jù)分布。從圖5關(guān)于數(shù)據(jù)處理和分析平臺的調(diào)查結(jié)果來看，常用的分布式計算環(huán)境(29.0%)、自定義開發(fā)的解決方案(27.7%)、SMP(對稱處理)數(shù)據(jù)庫(16.0%)、公有云平臺(10.5%)是目前大數(shù)據(jù)環(huán)境下較為普遍采用的數(shù)據(jù)處理和分析平臺，而使用MapReduce的企業(yè)占比較低(4.8%)。這說明，目前中國企業(yè)對MapReduce的認同有限，這不僅影響著數(shù)據(jù)分析三個階段的演進速度，也制約著數(shù)據(jù)的采集管理，進一步也影響著大數(shù)據(jù)分析四個環(huán)節(jié)的后面幾個環(huán)節(jié)。