企業(yè)大數(shù)據(jù)應(yīng)用三段論

隨著云計算、物聯(lián)網(wǎng)和開源大數(shù)據(jù)技術(shù)生態(tài)的高速發(fā)展，企業(yè)獲得大數(shù)據(jù)相關(guān)基礎(chǔ)設(shè)施技術(shù)和服務(wù)越來越容易。雖然現(xiàn)階段大數(shù)據(jù)成熟應(yīng)用多在互聯(lián)網(wǎng)公司，但我們需認識到，一方面，大數(shù)據(jù)應(yīng)用是非常碎片化的，這個碎片化包括業(yè)務(wù)層面和技術(shù)層面，大數(shù)據(jù)不只是谷歌，亞馬遜，BAT等互聯(lián)網(wǎng)企業(yè)，每一個行業(yè)、企業(yè)里面都有它去關(guān)注數(shù)據(jù)的痕跡：一條生產(chǎn)線上的實時傳感器數(shù)據(jù)，車輛身上的傳感數(shù)據(jù)，高鐵設(shè)備的運行狀態(tài)數(shù)據(jù)，交通部門的監(jiān)控數(shù)據(jù)，醫(yī)療機構(gòu)的病例數(shù)據(jù)，政府部門的海量數(shù)據(jù)等等；大數(shù)據(jù)不只是Hadoop和Spark，從采集、存儲、挖掘、預(yù)測、展示、決策各個層面的技術(shù)生態(tài)體系十分龐雜。很多企業(yè)都意識到大數(shù)據(jù)應(yīng)用潛力巨大，但說到具體業(yè)務(wù)需求就是一頭霧水，到具體技術(shù)選型還是一頭霧水；另一方面，現(xiàn)在開源大數(shù)據(jù)技術(shù)泛型下的系統(tǒng)、技術(shù)及架構(gòu)主要來源于互聯(lián)網(wǎng)巨頭，這種技術(shù)架構(gòu)真正適合傳統(tǒng)企業(yè)和機構(gòu)嗎？中小企業(yè)如何做大數(shù)據(jù)應(yīng)用？互聯(lián)網(wǎng)企業(yè)的大數(shù)據(jù)架構(gòu)是否適合傳統(tǒng)企業(yè)大數(shù)據(jù)應(yīng)用？傳統(tǒng)企業(yè)的核心數(shù)據(jù)多是結(jié)構(gòu)化的，如何對眾多業(yè)務(wù)系統(tǒng)的分析整合進行支撐，如何對傳統(tǒng)商業(yè)智能（Business Intelligence, BI）系統(tǒng)進行集成或逐步升級替換？諸如此類問題需要深入調(diào)研、分析和具有豐富的業(yè)務(wù)技術(shù)經(jīng)驗才能做好規(guī)劃設(shè)計。另外大數(shù)據(jù)時代數(shù)據(jù)的壟斷趨勢在加劇，中小企業(yè)甚至處于信息化劣勢的國家，如何獲得數(shù)據(jù)話語權(quán)更值得深思，怎么樣設(shè)計實施大數(shù)據(jù)戰(zhàn)略就更重要了。

上述種種問題，說明我們對大數(shù)據(jù)應(yīng)用充滿了困惑。如何解惑，下面提出自己的一點粗淺看法。我們都知道，大數(shù)據(jù)成熟應(yīng)用來源于互聯(lián)網(wǎng)企業(yè)，大數(shù)據(jù)技術(shù)也發(fā)源于互聯(lián)網(wǎng)巨頭，為什么？這跟互聯(lián)網(wǎng)企業(yè)的基因有關(guān)，UGC海量數(shù)據(jù)就不說了，互聯(lián)網(wǎng)公司業(yè)務(wù)和技術(shù)都注重幾個關(guān)鍵詞：敏捷、簡潔、迭代。什么樣的數(shù)據(jù)，用哪種方式存儲效率最高，怎么樣處理起來速度最快成本最低，如何持續(xù)支持海量數(shù)據(jù)存儲和并發(fā)訪問等。企業(yè)要想應(yīng)用好大數(shù)據(jù)，就應(yīng)該大膽的拋棄傳統(tǒng)的信息化思路，從零開始，借助于互聯(lián)網(wǎng)企業(yè)敏捷和迭代理念，真正去思考這么多歷史數(shù)據(jù)對企業(yè)來講有什么意義，會產(chǎn)生什么價值，如何最佳應(yīng)用實施。說白了這就是大數(shù)據(jù)思維的變革，雖然說起來有點虛，但這個思維觀念不轉(zhuǎn)變過來，是很難做好大數(shù)據(jù)應(yīng)用的。接下來企業(yè)要問自己幾個核心的問題：要處理的數(shù)據(jù)類型有哪些？要處理的數(shù)據(jù)量和未來的增長規(guī)模如何？處理的速度要求快還是慢？已有的數(shù)據(jù)和系統(tǒng)現(xiàn)狀怎么樣如何和大數(shù)據(jù)應(yīng)用整合？大數(shù)據(jù)分析的背景知識和分析目標(biāo)是怎么樣的？上述問題明確之后，還必須認識到，在企業(yè)大數(shù)據(jù)應(yīng)用實施過程中，由于成本、時間、技術(shù)和人力考慮，不可能短時間內(nèi)建設(shè)所有大數(shù)據(jù)相關(guān)的業(yè)務(wù)子系統(tǒng)，大數(shù)據(jù)應(yīng)用本身有其規(guī)律和特點，比如分析目標(biāo)一定是要跟數(shù)據(jù)規(guī)模匹配，分析技術(shù)的采用取決于數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)源條件，數(shù)據(jù)集成一定要覆蓋比較全面的業(yè)務(wù)背景，關(guān)鍵環(huán)節(jié)數(shù)據(jù)不能有缺失等等。

最后建議企業(yè)大數(shù)據(jù)應(yīng)用分三個階段進行：（1）大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)階段：這個階段的重點是把大數(shù)據(jù)存起來，管起來，能用起來，同時要考慮大數(shù)據(jù)平臺和原有業(yè)務(wù)系統(tǒng)的互通聯(lián)合問題。一句話，做好全局數(shù)據(jù)集成解決數(shù)據(jù)孤島問題！要完成大數(shù)據(jù)基礎(chǔ)設(shè)施系統(tǒng)（主要是采集和存儲）搭建和集成開發(fā)，明確數(shù)據(jù)采集、存儲和分析各層核心組件的選型和使用，搭建穩(wěn)定的大數(shù)據(jù)集群，或選擇私有云方案的服務(wù)集群，與生產(chǎn)系統(tǒng)并線運行，使待分析的歷史數(shù)據(jù)和實時數(shù)據(jù)得以采集并源源不斷流入大數(shù)據(jù)系統(tǒng)。

（2）大數(shù)據(jù)基礎(chǔ)描述分析階段：此階段主要定位于離線或在線對歷史數(shù)據(jù)進行企業(yè)全局條件下的基本描述統(tǒng)計分析，對管理起來的大數(shù)據(jù)能進行海量存儲條件下的交互式查詢、匯總、統(tǒng)計和可視化，如果建設(shè)了BI系統(tǒng)的，還需整合傳統(tǒng)BI技術(shù)進行OLAP、KPI、Report、Chart、Dashboard等分析和初步的描述型數(shù)據(jù)挖掘分析，并能快速驗證描述分析結(jié)果進行調(diào)整，同時對大數(shù)據(jù)系統(tǒng)進行迭代升級開發(fā)。這個基礎(chǔ)分析階段是對數(shù)據(jù)集成質(zhì)量的檢驗，也是對海量數(shù)據(jù)條件下的分布式存儲管理技術(shù)應(yīng)用穩(wěn)定性的測試，同時要能替代傳統(tǒng)BI的豪華報表就算基本成功了。

（3）大數(shù)據(jù)高級預(yù)測分析和生產(chǎn)部署階段：在初步描述分析結(jié)果合理，符合預(yù)期目標(biāo)，數(shù)據(jù)分布式管理和描述挖掘穩(wěn)定成熟的條件下，可結(jié)合進一步業(yè)務(wù)點分析需求，采用如深度學(xué)習(xí)等適用海量數(shù)據(jù)處理的機器學(xué)習(xí)模型，進行高級預(yù)測性挖掘分析。并通過逐步迭代優(yōu)化挖掘模型和數(shù)據(jù)質(zhì)量，形成穩(wěn)定可靠和性能可擴展的預(yù)測分析模型，并在企業(yè)相關(guān)業(yè)務(wù)服務(wù)中使用分析結(jié)果進行驗證、支持和反饋，核心目標(biāo)就是像谷歌大腦，百度大腦計劃落地一樣，建立企業(yè)未來的決策支持中心和實現(xiàn)真正的商業(yè)智能！