大數(shù)據(jù)應(yīng)用從小做起？咱們聊聊微服務(wù)和大數(shù)據(jù)架構(gòu)

這幾年大數(shù)據(jù)微服務(wù)成為研發(fā)設(shè)計(jì)熱點(diǎn)，從應(yīng)用的角度應(yīng)該如何解決微服務(wù)化的大數(shù)據(jù)系統(tǒng)架構(gòu)？

什么叫數(shù)據(jù)微服務(wù)？

首先我們看看什么叫微服務(wù)，敏捷之父Martin Fowler在他的《Micro services》一文中給出了如下定義：The micro service architectural style is an approach to developing a single application as a suite of small services, each running in its own process and communicating with lightweight mechanisms, fully automated deployment. minimum of centralized management of these services , which may be written in different programming languages and use different data storage technologies。

概括來(lái)說(shuō)， 微服務(wù)設(shè)計(jì)思想是一種使用若干小服務(wù)來(lái)開(kāi)發(fā)單個(gè)應(yīng)用的方法，每個(gè)服務(wù)運(yùn)行在自己的進(jìn)程中，通過(guò)輕量級(jí)的通訊機(jī)制進(jìn)行信息交互，經(jīng)常是基于HTTP資源API，每個(gè)小服務(wù)粒度基于業(yè)務(wù)能力大小構(gòu)建，最終服務(wù)能夠通過(guò)自動(dòng)化部署方式獨(dú)立部署，可以是由不同的編程語(yǔ)言實(shí)現(xiàn)。從上述定義我們可以看到，去中心化、原子化、獨(dú)立自治、組合重構(gòu)、快速原型、持續(xù)交付部署等特性是微服務(wù)的核心要素。

大數(shù)據(jù)的微服務(wù)目標(biāo)

那么大數(shù)據(jù)為什么要扯上微服務(wù)呢？首先敏捷大數(shù)據(jù)的關(guān)鍵目標(biāo)：一是快、二是小、三是證，快速出原型，小的分析目標(biāo)切入，證明有效之后再擴(kuò)張形成正反饋效應(yīng)。

借用下很多大牛的理念，不管做研究還是做企業(yè)，要頂天立地！大數(shù)據(jù)應(yīng)用如何頂天立地，很簡(jiǎn)單：

（1）大數(shù)據(jù)項(xiàng)目規(guī)劃的目標(biāo)要高遠(yuǎn)。特別是企業(yè)的大數(shù)據(jù)系統(tǒng)，一定不能是傳統(tǒng)MIS系統(tǒng)的做法，大數(shù)據(jù)一定是個(gè)動(dòng)態(tài)增量系統(tǒng)，數(shù)據(jù)規(guī)模在變，模型在變，參數(shù)在變，迭代、優(yōu)化、持續(xù)升級(jí)交付將是常態(tài)，長(zhǎng)期目標(biāo)應(yīng)該是智能化的綜合管控，從生產(chǎn)、產(chǎn)品、銷售、服務(wù)各個(gè)環(huán)節(jié)的一體化管控，最終形成企業(yè)決策中心，好比Google Brain, Baidu Brain，未來(lái)企業(yè)也需要決策神經(jīng)中樞決策大腦。

（2）大數(shù)據(jù)具體應(yīng)用要從“小”做起。小的大數(shù)據(jù)分析目標(biāo)切入，搜索引擎公司剛開(kāi)始的大數(shù)據(jù)分析目標(biāo)可能就是提高下搜索關(guān)鍵詞提示的準(zhǔn)確度，售后服務(wù)智能應(yīng)答、銷售預(yù)測(cè)、客戶細(xì)分、精準(zhǔn)營(yíng)銷、智能推薦、產(chǎn)品故障診斷，大數(shù)據(jù)應(yīng)用可以無(wú)所不在。大數(shù)據(jù)應(yīng)用要從小做起，立地解決企業(yè)的實(shí)際問(wèn)題。扯遠(yuǎn)了，回到大數(shù)據(jù)快、小、證的應(yīng)用目標(biāo)，結(jié)合微服務(wù)快速原型、快速迭代、持續(xù)交付，原子化、去中心化，組合重構(gòu)高度容錯(cuò)性等關(guān)鍵特征，可以說(shuō)微服務(wù)就是一種最天然的適合大數(shù)據(jù)應(yīng)用的設(shè)計(jì)思想和應(yīng)用架構(gòu)。

好的構(gòu)架設(shè)計(jì)是怎樣的？

大數(shù)據(jù)系統(tǒng)要成功應(yīng)用，一個(gè)好的架構(gòu)設(shè)計(jì)至關(guān)重要，由于大數(shù)據(jù)技術(shù)生態(tài)體系龐雜，大數(shù)據(jù)基礎(chǔ)技術(shù)覆蓋數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、分布式計(jì)算、NOSQL數(shù)據(jù)庫(kù)、多模式（離線、在線、實(shí)時(shí)、流、內(nèi)存等）計(jì)算、多模態(tài)（圖像、文本、視頻、音頻、網(wǎng)頁(yè)等）計(jì)算、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、可視化等各個(gè)層級(jí)。如何根據(jù)不同的業(yè)務(wù)需求設(shè)計(jì)不同的架構(gòu)，或者說(shuō)大數(shù)據(jù)架構(gòu)能否從采集、存儲(chǔ)、計(jì)算、展示多個(gè)層面，滿足不同業(yè)務(wù)分析需求的擴(kuò)張。

一般來(lái)講，大數(shù)據(jù)應(yīng)用系統(tǒng)架構(gòu)面臨幾個(gè)主要的挑戰(zhàn)：高度可擴(kuò)展性，橫向數(shù)據(jù)大規(guī)模擴(kuò)張，縱向業(yè)務(wù)大規(guī)模擴(kuò)展，大規(guī)模并行處理等；高性能，快速相應(yīng)不同的分析計(jì)算和查詢展示；高容錯(cuò)性，處理失敗時(shí)的修復(fù)重做；多源異構(gòu)環(huán)境支持，多種來(lái)源數(shù)據(jù)，多種類型結(jié)構(gòu)數(shù)據(jù)的處理；開(kāi)放接口和兼容性，對(duì)原有系統(tǒng)的兼容和集成，提供標(biāo)準(zhǔn)的開(kāi)發(fā)接口；成本效益比，要考慮時(shí)間、人力、財(cái)力等各方面的應(yīng)用性價(jià)比，還有其他未列出的問(wèn)題等。針對(duì)上述問(wèn)題，我們初步提出一種基于微服務(wù)的敏捷大數(shù)據(jù)應(yīng)用架構(gòu)（如下圖），從數(shù)據(jù)采集融合、數(shù)據(jù)大規(guī)模存儲(chǔ)、數(shù)據(jù)多模式多模態(tài)計(jì)算、數(shù)據(jù)應(yīng)用可視化展示四個(gè)層面進(jìn)行了設(shè)計(jì)。通過(guò)基于微服務(wù)的三個(gè)抽象和匯聚層處理，來(lái)實(shí)現(xiàn)大數(shù)據(jù)“小”應(yīng)用和系統(tǒng)的敏捷化服務(wù)化。

總之，大數(shù)據(jù)應(yīng)用要落地，從“小”做起是關(guān)鍵，這個(gè)“小”其實(shí)包含多個(gè)層面，以小的業(yè)務(wù)分析切入，當(dāng)然你還不能忽略小數(shù)據(jù)，更重要的是，要探索如何應(yīng)用小的微服務(wù)架構(gòu)，才能更好地承載未來(lái)的大數(shù)據(jù)應(yīng)用架構(gòu)！