企業(yè)大數(shù)據(jù)應(yīng)用三段論

隨著云計(jì)算、物聯(lián)網(wǎng)和開源大數(shù)據(jù)技術(shù)生態(tài)的高速發(fā)展，企業(yè)獲得大數(shù)據(jù)相關(guān)基礎(chǔ)設(shè)施技術(shù)和服務(wù)越來越容易。雖然現(xiàn)階段大數(shù)據(jù)成熟應(yīng)用多在互聯(lián)網(wǎng)公司，但我們需認(rèn)識(shí)到，一方面，大數(shù)據(jù)應(yīng)用是非常碎片化的，這個(gè)碎片化包括業(yè)務(wù)層面和技術(shù)層面，大數(shù)據(jù)不只是谷歌，亞馬遜，BAT等互聯(lián)網(wǎng)企業(yè)，每一個(gè)行業(yè)、企業(yè)里面都有它去關(guān)注數(shù)據(jù)的痕跡：一條生產(chǎn)線上的實(shí)時(shí)傳感器數(shù)據(jù)，車輛身上的傳感數(shù)據(jù)，高鐵設(shè)備的運(yùn)行狀態(tài)數(shù)據(jù)，交通部門的監(jiān)控?cái)?shù)據(jù)，醫(yī)療機(jī)構(gòu)的病例數(shù)據(jù)，政府部門的海量數(shù)據(jù)等等；大數(shù)據(jù)不只是Hadoop和Spark，從采集、存儲(chǔ)、挖掘、預(yù)測、展示、決策各個(gè)層面的技術(shù)生態(tài)體系十分龐雜。很多企業(yè)都意識(shí)到大數(shù)據(jù)應(yīng)用潛力巨大，但說到具體業(yè)務(wù)需求就是一頭霧水，到具體技術(shù)選型還是一頭霧水；另一方面，現(xiàn)在開源大數(shù)據(jù)技術(shù)泛型下的系統(tǒng)、技術(shù)及架構(gòu)主要來源于互聯(lián)網(wǎng)巨頭，這種技術(shù)架構(gòu)真正適合傳統(tǒng)企業(yè)和機(jī)構(gòu)嗎？中小企業(yè)如何做大數(shù)據(jù)應(yīng)用？互聯(lián)網(wǎng)企業(yè)的大數(shù)據(jù)架構(gòu)是否適合傳統(tǒng)企業(yè)大數(shù)據(jù)應(yīng)用？傳統(tǒng)企業(yè)的核心數(shù)據(jù)多是結(jié)構(gòu)化的，如何對(duì)眾多業(yè)務(wù)系統(tǒng)的分析整合進(jìn)行支撐，如何對(duì)傳統(tǒng)商業(yè)智能（Business Intelligence, BI）系統(tǒng)進(jìn)行集成或逐步升級(jí)替換？諸如此類問題需要深入調(diào)研、分析和具有豐富的業(yè)務(wù)技術(shù)經(jīng)驗(yàn)才能做好規(guī)劃設(shè)計(jì)。另外大數(shù)據(jù)時(shí)代數(shù)據(jù)的壟斷趨勢在加劇，中小企業(yè)甚至處于信息化劣勢的國家，如何獲得數(shù)據(jù)話語權(quán)更值得深思，怎么樣設(shè)計(jì)實(shí)施大數(shù)據(jù)戰(zhàn)略就更重要了。

上述種種問題，說明我們對(duì)大數(shù)據(jù)應(yīng)用充滿了困惑。如何解惑，下面提出自己的一點(diǎn)粗淺看法。我們都知道，大數(shù)據(jù)成熟應(yīng)用來源于互聯(lián)網(wǎng)企業(yè)，大數(shù)據(jù)技術(shù)也發(fā)源于互聯(lián)網(wǎng)巨頭，為什么？這跟互聯(lián)網(wǎng)企業(yè)的基因有關(guān)，UGC海量數(shù)據(jù)就不說了，互聯(lián)網(wǎng)公司業(yè)務(wù)和技術(shù)都注重幾個(gè)關(guān)鍵詞：敏捷、簡潔、迭代。什么樣的數(shù)據(jù)，用哪種方式存儲(chǔ)效率最高，怎么樣處理起來速度最快成本最低，如何持續(xù)支持海量數(shù)據(jù)存儲(chǔ)和并發(fā)訪問等。企業(yè)要想應(yīng)用好大數(shù)據(jù)，就應(yīng)該大膽的拋棄傳統(tǒng)的信息化思路，從零開始，借助于互聯(lián)網(wǎng)企業(yè)敏捷和迭代理念，真正去思考這么多歷史數(shù)據(jù)對(duì)企業(yè)來講有什么意義，會(huì)產(chǎn)生什么價(jià)值，如何最佳應(yīng)用實(shí)施。說白了這就是大數(shù)據(jù)思維的變革，雖然說起來有點(diǎn)虛，但這個(gè)思維觀念不轉(zhuǎn)變過來，是很難做好大數(shù)據(jù)應(yīng)用的。接下來企業(yè)要問自己幾個(gè)核心的問題：要處理的數(shù)據(jù)類型有哪些？要處理的數(shù)據(jù)量和未來的增長規(guī)模如何？處理的速度要求快還是慢？已有的數(shù)據(jù)和系統(tǒng)現(xiàn)狀怎么樣如何和大數(shù)據(jù)應(yīng)用整合？大數(shù)據(jù)分析的背景知識(shí)和分析目標(biāo)是怎么樣的？上述問題明確之后，還必須認(rèn)識(shí)到，在企業(yè)大數(shù)據(jù)應(yīng)用實(shí)施過程中，由于成本、時(shí)間、技術(shù)和人力考慮，不可能短時(shí)間內(nèi)建設(shè)所有大數(shù)據(jù)相關(guān)的業(yè)務(wù)子系統(tǒng)，大數(shù)據(jù)應(yīng)用本身有其規(guī)律和特點(diǎn)，比如分析目標(biāo)一定是要跟數(shù)據(jù)規(guī)模匹配，分析技術(shù)的采用取決于數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)源條件，數(shù)據(jù)集成一定要覆蓋比較全面的業(yè)務(wù)背景，關(guān)鍵環(huán)節(jié)數(shù)據(jù)不能有缺失等等。

最后建議企業(yè)大數(shù)據(jù)應(yīng)用分三個(gè)階段進(jìn)行：（1）大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)階段：這個(gè)階段的重點(diǎn)是把大數(shù)據(jù)存起來，管起來，能用起來，同時(shí)要考慮大數(shù)據(jù)平臺(tái)和原有業(yè)務(wù)系統(tǒng)的互通聯(lián)合問題。一句話，做好全局數(shù)據(jù)集成解決數(shù)據(jù)孤島問題！要完成大數(shù)據(jù)基礎(chǔ)設(shè)施系統(tǒng)（主要是采集和存儲(chǔ)）搭建和集成開發(fā)，明確數(shù)據(jù)采集、存儲(chǔ)和分析各層核心組件的選型和使用，搭建穩(wěn)定的大數(shù)據(jù)集群，或選擇私有云方案的服務(wù)集群，與生產(chǎn)系統(tǒng)并線運(yùn)行，使待分析的歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)得以采集并源源不斷流入大數(shù)據(jù)系統(tǒng)。

（2）大數(shù)據(jù)基礎(chǔ)描述分析階段：此階段主要定位于離線或在線對(duì)歷史數(shù)據(jù)進(jìn)行企業(yè)全局條件下的基本描述統(tǒng)計(jì)分析，對(duì)管理起來的大數(shù)據(jù)能進(jìn)行海量存儲(chǔ)條件下的交互式查詢、匯總、統(tǒng)計(jì)和可視化，如果建設(shè)了BI系統(tǒng)的，還需整合傳統(tǒng)BI技術(shù)進(jìn)行OLAP、KPI、Report、Chart、Dashboard等分析和初步的描述型數(shù)據(jù)挖掘分析，并能快速驗(yàn)證描述分析結(jié)果進(jìn)行調(diào)整，同時(shí)對(duì)大數(shù)據(jù)系統(tǒng)進(jìn)行迭代升級(jí)開發(fā)。這個(gè)基礎(chǔ)分析階段是對(duì)數(shù)據(jù)集成質(zhì)量的檢驗(yàn)，也是對(duì)海量數(shù)據(jù)條件下的分布式存儲(chǔ)管理技術(shù)應(yīng)用穩(wěn)定性的測試，同時(shí)要能替代傳統(tǒng)BI的豪華報(bào)表就算基本成功了。

（3）大數(shù)據(jù)高級(jí)預(yù)測分析和生產(chǎn)部署階段：在初步描述分析結(jié)果合理，符合預(yù)期目標(biāo)，數(shù)據(jù)分布式管理和描述挖掘穩(wěn)定成熟的條件下，可結(jié)合進(jìn)一步業(yè)務(wù)點(diǎn)分析需求，采用如深度學(xué)習(xí)等適用海量數(shù)據(jù)處理的機(jī)器學(xué)習(xí)模型，進(jìn)行高級(jí)預(yù)測性挖掘分析。并通過逐步迭代優(yōu)化挖掘模型和數(shù)據(jù)質(zhì)量，形成穩(wěn)定可靠和性能可擴(kuò)展的預(yù)測分析模型，并在企業(yè)相關(guān)業(yè)務(wù)服務(wù)中使用分析結(jié)果進(jìn)行驗(yàn)證、支持和反饋，核心目標(biāo)就是像谷歌大腦，百度大腦計(jì)劃落地一樣，建立企業(yè)未來的決策支持中心和實(shí)現(xiàn)真正的商業(yè)智能！