大數(shù)據(jù)小白的一些淺見(jiàn)

近期關(guān)注大數(shù)據(jù)比較多，也接觸了一些大數(shù)據(jù)領(lǐng)域的專(zhuān)業(yè)人士，收獲頗豐。聽(tīng)了諸多專(zhuān)家的觀點(diǎn)，對(duì)南大通用杜國(guó)旺總和華云數(shù)據(jù)集團(tuán)的首席技術(shù)官鄭軍博士觀點(diǎn)深有感觸。在此，基于二位的觀點(diǎn)，談?wù)勎覍?duì)大數(shù)據(jù)發(fā)展的一些看法。
要談?wù)摯髷?shù)據(jù)，如果學(xué)究一點(diǎn)，首先要弄清楚的一個(gè)問(wèn)題就是什么是大數(shù)據(jù)，怎樣來(lái)解構(gòu)大數(shù)據(jù)這個(gè)概念。對(duì)于此，杜總的分析還是比較清楚的。

在杜總看來(lái)，大數(shù)據(jù)分為三個(gè)層面：

第一，   畫(huà)像數(shù)據(jù)，包含人物靜態(tài)畫(huà)像、事件動(dòng)態(tài)畫(huà)像和群類(lèi)畫(huà)像。人物靜態(tài)畫(huà)像是以人或物為基本線(xiàn)索進(jìn)行數(shù)據(jù)關(guān)聯(lián)（如：萬(wàn)科），事件動(dòng)態(tài)畫(huà)像是以事件主題為線(xiàn)索的數(shù)據(jù)關(guān)聯(lián)（如：雷陽(yáng)事件），Hadoop技術(shù)為實(shí)現(xiàn)以上兩個(gè)需求提供了良好的技術(shù)支撐。群類(lèi)畫(huà)像是基于二級(jí)標(biāo)引的多維屬性畫(huà)像，數(shù)據(jù)源以前兩類(lèi)為基礎(chǔ)，將典型特征屬性進(jìn)行標(biāo)引，然后以某個(gè)特征屬性為線(xiàn)索進(jìn)行關(guān)聯(lián)，圖數(shù)據(jù)庫(kù)為該需求提供較好的技術(shù)支撐（如地質(zhì)測(cè)繪、套牌車(chē)發(fā)現(xiàn)）。在我看來(lái)，杜總實(shí)際指的是數(shù)據(jù)的三種類(lèi)型，這三類(lèi)數(shù)據(jù)具有某種層度的遞進(jìn)關(guān)系，后一類(lèi)比前一類(lèi)更抽象更有價(jià)值，尤其是群類(lèi)畫(huà)像數(shù)據(jù)。實(shí)際上，我們所指的大數(shù)據(jù)更多的是指群類(lèi)畫(huà)像數(shù)據(jù)，是對(duì)很多個(gè)體某一特征的抽象概括數(shù)據(jù)，這樣的數(shù)據(jù)才更有價(jià)值。

第二，   數(shù)據(jù)的統(tǒng)計(jì)分析，基于人物或事件的典型特征統(tǒng)計(jì)分析或動(dòng)態(tài)查詢(xún)，主要是基于統(tǒng)計(jì)概念的（如金融精準(zhǔn)營(yíng)銷(xiāo)），數(shù)據(jù)源一般為典型的結(jié)構(gòu)化數(shù)據(jù)，分析方法也較為成熟，mpp數(shù)據(jù)庫(kù)為該需求提供快捷方便的技術(shù)支撐。

第三，   數(shù)據(jù)挖掘，這是目前大數(shù)據(jù)應(yīng)用最難的，也是最有價(jià)值的，就是分析數(shù)據(jù)關(guān)聯(lián)關(guān)系，主要是基于邏輯概念的，如（氣象預(yù)報(bào)、風(fēng)險(xiǎn)預(yù)警、趨勢(shì)分析、 機(jī)器人、watson等等），大部分人認(rèn)為業(yè)務(wù)建模是一個(gè)非常復(fù)雜的事情，需要豐富的行業(yè)經(jīng)驗(yàn)。這也正是大數(shù)據(jù)的應(yīng)有之意。要從大量數(shù)據(jù)中挖掘有價(jià)值得信息，這與傳統(tǒng)的數(shù)據(jù)統(tǒng)計(jì)分析有很大的不同，是深入數(shù)據(jù)的價(jià)值實(shí)體的，從海量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律。

華云數(shù)據(jù)集團(tuán)的鄭軍博士認(rèn)為機(jī)器學(xué)習(xí)對(duì)于大數(shù)據(jù)的發(fā)展具有特殊的意義，我深表贊同。按照杜總對(duì)大數(shù)據(jù)的解構(gòu)分析，數(shù)據(jù)挖掘才是大數(shù)據(jù)的本質(zhì)，而要進(jìn)行數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)方面技術(shù)的發(fā)展就必不可少了。畢竟要進(jìn)行海量數(shù)據(jù)的復(fù)雜計(jì)算，靠人工來(lái)進(jìn)行傳統(tǒng)的統(tǒng)計(jì)分析是不現(xiàn)實(shí)的。
對(duì)于此，我有一個(gè)公式：云計(jì)算+大數(shù)據(jù)+機(jī)器學(xué)習(xí)=智能互聯(lián)網(wǎng)。

其實(shí)云計(jì)算、大數(shù)據(jù)、機(jī)器學(xué)習(xí)這三個(gè)概念并不是孤立的，而是相輔相成，缺一不可的。要進(jìn)行大量數(shù)據(jù)的處理，并且要將這種數(shù)據(jù)處理能力像水電一樣作為基礎(chǔ)設(shè)施提供給社會(huì)，那就必然要向全社會(huì)輸出計(jì)算能力。目前來(lái)看，云計(jì)算技術(shù)承擔(dān)了為社會(huì)提供計(jì)算能力的任務(wù)。另外，要將打通各個(gè)信息孤島，共享局部甚至是全社會(huì)的數(shù)據(jù)，必然需要一個(gè)基于云架構(gòu)的信息系統(tǒng)，云計(jì)算也承擔(dān)了打通社會(huì)數(shù)據(jù)的使命。

在擁有強(qiáng)大的計(jì)算能力之后，只有通過(guò)對(duì)海量數(shù)據(jù)的處理，通過(guò)數(shù)據(jù)挖掘發(fā)現(xiàn)其中的價(jià)值，才算是發(fā)揮了云計(jì)算的功用。所以云計(jì)算和大數(shù)據(jù)是一枚硬幣的兩面，相輔相成。云計(jì)算和大數(shù)據(jù)的緊密關(guān)系，已經(jīng)在業(yè)界得到普遍認(rèn)知，但是要將這項(xiàng)事業(yè)推向深入，機(jī)器學(xué)習(xí)技術(shù)的發(fā)展就必不可少。因?yàn)槿四X雖然具有很強(qiáng)的創(chuàng)造力，但是對(duì)大量信息的存儲(chǔ)和處理能力卻很缺乏，面對(duì)大量結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，單靠人工來(lái)進(jìn)行統(tǒng)計(jì)分析，是沒(méi)效率甚至是不可能的。為計(jì)算系統(tǒng)賦予一定的智能，發(fā)揮其強(qiáng)大的存儲(chǔ)和計(jì)算能力，是大數(shù)據(jù)發(fā)展的必然之路。

上面從概念上談了大數(shù)據(jù)的理論，但如果要將大數(shù)據(jù)技術(shù)進(jìn)行實(shí)際應(yīng)用，應(yīng)該怎么做，又會(huì)遇到什么困難呢？對(duì)于這個(gè)問(wèn)題，華云數(shù)據(jù)集團(tuán)的鄭軍博士給予了我一些啟發(fā)。鄭博士認(rèn)為，我們的信息化進(jìn)程可分為三個(gè)階段：IT化階段、數(shù)字化階段、數(shù)據(jù)化階段。目前阻礙我國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的一個(gè)重要障礙就是信息化進(jìn)程的落后。用鄭博士的話(huà)說(shuō)，要進(jìn)行大數(shù)據(jù)應(yīng)用，首先必須得有大量數(shù)據(jù)，而目前我國(guó)的很多企業(yè)尤其是小型企業(yè)，還處在IT化階段，幾乎沒(méi)有數(shù)據(jù)積累。如果“小數(shù)據(jù)”都沒(méi)有，談何大數(shù)據(jù)。阻礙大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的另一障礙就是信息孤島的大量存在，要想大數(shù)據(jù)獲得發(fā)展，首先必須進(jìn)行全社會(huì)數(shù)據(jù)的打通。

那么，我國(guó)的大數(shù)據(jù)應(yīng)用情況到底怎么樣了，是處于什么階段呢？帶著這樣的問(wèn)題，中國(guó)軟件網(wǎng)進(jìn)行了市場(chǎng)調(diào)研，并對(duì)調(diào)研結(jié)果進(jìn)行分析，得出了一些有意思的結(jié)論，在此也跟大家分享一下：

1. 大數(shù)據(jù)主要是從公司的日常運(yùn)營(yíng)中產(chǎn)生，其次是從外部引入。

2.產(chǎn)生和存儲(chǔ)的大數(shù)據(jù)類(lèi)型主要有交易數(shù)據(jù)、生產(chǎn)數(shù)據(jù)，其次為移動(dòng)數(shù)據(jù)、機(jī)器和傳感器數(shù)據(jù)，可以看到企業(yè)產(chǎn)生和存儲(chǔ)的主要數(shù)據(jù)都與其業(yè)務(wù)相關(guān)。產(chǎn)生的數(shù)據(jù)略多于存儲(chǔ)的數(shù)據(jù)，說(shuō)明還有部分產(chǎn)生的數(shù)據(jù)沒(méi)能獲得存儲(chǔ)。

3. 從數(shù)據(jù)處理的全生命周期來(lái)看，目前采用的大數(shù)據(jù)技術(shù)方案主要集中于數(shù)據(jù)采集、分布式存儲(chǔ)、分布式計(jì)算等靠前的環(huán)節(jié)。值得注意的是，在大數(shù)據(jù)分析處理環(huán)節(jié)，較多的企業(yè)也采用了相應(yīng)的技術(shù)方案。

4.目前已經(jīng)有和需求較多的大數(shù)據(jù)應(yīng)用主要集中新業(yè)務(wù)拓展、提升客戶(hù)體驗(yàn)、優(yōu)化客戶(hù)市場(chǎng)細(xì)分、精細(xì)化管理、市場(chǎng)和用戶(hù)行為預(yù)測(cè)等幾個(gè)方面。大數(shù)據(jù)應(yīng)用的需求普遍高于已經(jīng)有的大數(shù)據(jù)應(yīng)用，說(shuō)明市場(chǎng)需求還沒(méi)有得到滿(mǎn)足。但在精細(xì)化生產(chǎn)方面，已經(jīng)有的大數(shù)據(jù)應(yīng)用已經(jīng)超過(guò)需求。

5.在大數(shù)據(jù)應(yīng)用過(guò)程中的難點(diǎn)方面，主要集中在數(shù)據(jù)安全、數(shù)據(jù)存儲(chǔ)壓力、數(shù)據(jù)類(lèi)型多樣化、數(shù)據(jù)資源不豐富等幾個(gè)方面。

6. 在大數(shù)據(jù)應(yīng)用部署方面，已經(jīng)在使用、計(jì)劃1年內(nèi)部署、計(jì)劃2年內(nèi)部署的企業(yè)相當(dāng)，各占30%左右。

以上是通過(guò)走訪(fǎng)行業(yè)專(zhuān)家和我們自己的一些研究，對(duì)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的一些發(fā)現(xiàn)和看法。一方面為我國(guó)大數(shù)據(jù)領(lǐng)域的快速發(fā)展而興奮，另一方面也深感挑戰(zhàn)的艱巨。前路漫漫，我國(guó)大數(shù)據(jù)的發(fā)展還得靠大家的共同努力。但我始終堅(jiān)信，道路是曲折的，前途是異常光明的。