美國數(shù)據(jù)分析框架、方法論與運(yùn)營效率提升

數(shù)據(jù)是一種連接。它連接4個(gè)最基本的象限，時(shí)間，地點(diǎn)，任務(wù)，事件。我們?yōu)槭裁匆f數(shù)據(jù)會(huì)是下一次技術(shù)革命浪潮的最重要的指針?大家來看一下，根據(jù)美國幾家頂級(jí)研究機(jī)構(gòu)的報(bào)告，(Gartner，IDC等等)，在未來的5年，我們會(huì)有40億人通過互聯(lián)網(wǎng)產(chǎn)生各種數(shù)據(jù)，將成就一個(gè)4萬億美元的市場，將有兩千五百萬種軟件接入，250億臺(tái)各種各樣的設(shè)備接入各種數(shù)據(jù)系統(tǒng)，五百萬億GB的數(shù)據(jù)產(chǎn)生。

美國數(shù)據(jù)分析框架和方法論

在美國，已經(jīng)形成了非常系統(tǒng)的數(shù)據(jù)分析方法論。 這種方法論在二戰(zhàn)期間就開始行駛，應(yīng)用到軍事，科技，民生等各個(gè)方面。 可以 數(shù)據(jù)分析分解為幾個(gè)步驟 ，大家仍然可以看到，這里各個(gè)環(huán)節(jié)從先到后是以價(jià)值不斷提高為條件的。

第一，也是最重要的一點(diǎn)，正確的數(shù)據(jù)采集，數(shù)據(jù)標(biāo)簽方法的實(shí)施，對未來的數(shù)據(jù)分析迅速產(chǎn)生結(jié)果有幾何倍數(shù)的促進(jìn)作用。這也是若干企業(yè)缺失或者非常忽略的部分。

第二：大數(shù)據(jù)的工程架構(gòu)，數(shù)據(jù)倉庫，分布式計(jì)算層面。現(xiàn)在的分布式計(jì)算系統(tǒng)，和以往的數(shù)據(jù)倉庫的整體構(gòu)架有了很大的分別，這要求我們的IT部門能夠跟上節(jié)奏，實(shí)施部署新的基于開源的分布式數(shù)據(jù)技術(shù)、例如已經(jīng)比較成熟的Hadoop，這個(gè)技術(shù)已經(jīng)在美國應(yīng)用了將近10年，漸漸在互聯(lián)網(wǎng)公司變成了主流。

第三：響應(yīng)性分析，這就是大部分企業(yè)也許做的最多的事情，就是不斷地用數(shù)據(jù)回答業(yè)務(wù)方提出的各種問題，制作簡單的報(bào)表，商業(yè)智能，BI等等。

第四：診斷性分析，比如說多維度的歸因，積分卡的實(shí)施等等。

第五：戰(zhàn)略型分析：競爭趨勢，價(jià)格彈性，企業(yè)財(cái)務(wù)營收的判斷等等。 過去企業(yè)的高層戰(zhàn)略分析一直被BCG，麥肯錫等公司霸占，但是現(xiàn)在為什么沒有出現(xiàn)在金字塔的頂端呢，就是因?yàn)榇髷?shù)據(jù)的出現(xiàn)。

第六：預(yù)測性分析即對未來的業(yè)務(wù)進(jìn)行基于統(tǒng)計(jì)模型，機(jī)器學(xué)習(xí)，以及各種大規(guī)模模擬和優(yōu)化的分析。

第七：即達(dá)到回到我們剛才說的全數(shù)據(jù)自動(dòng)分析和決策。

真實(shí)情況下企業(yè)數(shù)據(jù)分析的現(xiàn)狀

我們看一看大多數(shù)的企業(yè)都是如何完成這些工作的。 您們在座的各位行業(yè)領(lǐng)袖，特別是CTO專注技術(shù)的，是不是對這個(gè)圖比較熟悉。

這不就是企業(yè)內(nèi)部的數(shù)據(jù)流程圖嗎?如果我告訴您，這張圖是美國漢密爾頓河污水處理的流程圖您會(huì)怎么想? 這張圖是把美國一條污染的河變成清水的過程，也非常類似于現(xiàn)在今天數(shù)據(jù)分析的流程。很多企業(yè)內(nèi)部做數(shù)據(jù)分析的一個(gè)基本的流程正如：很多臟水流了進(jìn)來，我們需要人力對它們進(jìn)行各種監(jiān)控，把他放到一個(gè)池子里進(jìn)行沉淀。然后我們做各種清洗、聚合、再清洗、再消毒，再傳輸，一步一步，美國做過一個(gè)研究，真正從數(shù)據(jù)收集到最后數(shù)據(jù)的產(chǎn)生有用的商業(yè)價(jià)值的過程，需要三個(gè)星期到五個(gè)星期。大家想想，每做一個(gè)很簡單的決策，需要三到五個(gè)星期的流程，這是多么痛苦的過程。未來的企業(yè)如果要在數(shù)據(jù)戰(zhàn)略上成功，必須能夠有能力迅速的把污水變成清水的能力。

大家再來看一看，真正產(chǎn)生的價(jià)值的部分都在這個(gè)金字塔的上端。而根據(jù)美國白宮的首席數(shù)據(jù)科學(xué)家DJPatil的一份研究報(bào)告，90%的數(shù)據(jù)工程和分析師的時(shí)間是放在數(shù)據(jù)收集和清理部分，只有10%左右的資源放在能夠產(chǎn)生大量商業(yè)價(jià)值的工作上。在傳統(tǒng)意義上來說，整個(gè)的數(shù)據(jù)分析是由若干的部門按照順序處理，這樣效能是非常緩慢的。大家講大數(shù)據(jù)，數(shù)據(jù)是從數(shù)據(jù)標(biāo)簽的采集開始的，一般都由前端工程人員實(shí)施，然后數(shù)據(jù)傳輸?shù)墓ぷ饔蒊T來管理，ETL一般由企業(yè)內(nèi)部的數(shù)據(jù)倉庫或者數(shù)據(jù)平臺(tái)的團(tuán)隊(duì)負(fù)責(zé)，BI(商業(yè)智能)部門在分析部或者存在于業(yè)務(wù)部門之中，然后我們還有各種商業(yè)分析師，統(tǒng)計(jì)學(xué)家參與其中，這個(gè)運(yùn)行框架體系因?yàn)楦鱾€(gè)部門參與的人非常多，流程很長，大量降低了效率。特別是站在技術(shù)先頭部隊(duì)的互聯(lián)網(wǎng)企業(yè)，做過各種嘗試，比如想打破這個(gè)僵局就要對各個(gè)功能性部門進(jìn)行整合，但是因?yàn)楣δ苄缘牟块T要求人員的能力和經(jīng)驗(yàn)有千差萬別的需求，造成了懂業(yè)務(wù)的部門很難真正理解技術(shù)，懂技術(shù)的部門又沒有沒有足夠的精力完全理解業(yè)務(wù)部門五花八門的需求，這樣就產(chǎn)生了若干決策環(huán)節(jié)的緩慢與低效。為了解決不斷增加的需求，企業(yè)內(nèi)部需要內(nèi)建和定制化各種IT系統(tǒng)，這種定制化造成了企業(yè)內(nèi)部各個(gè)部門形成了若干數(shù)據(jù)微型小島，若干企業(yè)數(shù)據(jù)孤島進(jìn)一步增加IT部門的工作負(fù)荷、即對各種內(nèi)部定制化的系統(tǒng)進(jìn)行數(shù)據(jù)整合從而進(jìn)行各種統(tǒng)一的數(shù)據(jù)決策。短期之內(nèi)這種定制化的數(shù)據(jù)整合貌似解決了企業(yè)的信息決策的問題，但是在長遠(yuǎn)上看會(huì)甚至進(jìn)一步拖慢企業(yè)決策速度。 請看這張數(shù)據(jù)分析金字塔圖，在過去若干年里面，我們發(fā)現(xiàn)大數(shù)據(jù)分析真正產(chǎn)生價(jià)值就是上面10%的投入時(shí)間，會(huì)產(chǎn)生超過90%甚至超過90%的價(jià)值。但是他如果沒有時(shí)間和沒有資源做下面90%的工作，就不可能產(chǎn)生任何的價(jià)值。包括銷售的管理也是一個(gè)數(shù)字驅(qū)動(dòng)運(yùn)營化。

中國今天飛速發(fā)展?fàn)顟B(tài)下，我們要問問自己，我們的企業(yè)是否每一家都有需要內(nèi)建一個(gè)“污水處理廠”，或者重復(fù)開發(fā)和部署那么多種軟件來為實(shí)現(xiàn)企業(yè)分析服務(wù)。今天我們面前的一個(gè)機(jī)會(huì)，就是如何用非常有效地采用先進(jìn)的方法越過各種技術(shù)和管理鴻溝，讓我們企業(yè)變得更有效率。而且人口紅利的減少，企業(yè)增加效率就是我們要做的最重要一件事。

構(gòu)建數(shù)據(jù)驅(qū)動(dòng)閉環(huán)

如何提高數(shù)據(jù)分析，以及運(yùn)營決策的規(guī)模和效率?

主要的手段，就是要對現(xiàn)有的業(yè)務(wù)的數(shù)據(jù)分析流程進(jìn)行大規(guī)模的簡化，從而達(dá)到端對端的整合，讓決策分析系統(tǒng)趨于閉環(huán)。這種數(shù)據(jù)分析閉環(huán)的速度基本上等同于企業(yè)決策速度。企業(yè)大數(shù)據(jù)分析閉環(huán)至少要具備兩個(gè)組成部分，第一部分：業(yè)務(wù)端的參與度，第二部分：技術(shù)端的實(shí)施。這個(gè)決策環(huán)業(yè)務(wù)端外部參與越多，技術(shù)端內(nèi)部實(shí)施越少越快，那么效能就越高。如何理解呢，在美國最新的權(quán)威機(jī)構(gòu)的研究資料中提到了下一代數(shù)據(jù)革命中的影子CTO的概念，即IT部門應(yīng)該成為企業(yè)軟件的外部管理者，而不是內(nèi)部執(zhí)行者。而且美國的云端SaaS軟件，也就是把信息決策的功能放在云端從而跨越過若干IT的冗長流程和技術(shù)鴻溝。這已經(jīng)在硅谷若干引領(lǐng)潮流的公司中有了很好的詮釋，比如Salesforce，LinkedIn(領(lǐng)英)，F(xiàn)acebook(臉書)，Uber(優(yōu)步)以及Airbnb等一流公司的各個(gè)部門都越來越多的采用采購基于SaaS的各種解決方案，而不是全部自建得到了充分驗(yàn)證。

GrowingIO.com，我們關(guān)注如何利用企業(yè)的移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)，希望我們做的數(shù)據(jù)分析產(chǎn)品能幫助企業(yè)把90%的數(shù)據(jù)分析工作完全自動(dòng)化，彌補(bǔ)分析師資源的不足，能夠幫助幫助企業(yè)把幾個(gè)星期的信息決策變成幾分鐘內(nèi)可以做的決策，變成很多員工能夠利用數(shù)據(jù)驅(qū)動(dòng)來做決策。從而大幅度的增加運(yùn)營和決策的效率。讓互聯(lián)網(wǎng)企業(yè)能夠有更多的時(shí)間優(yōu)化他們的業(yè)務(wù)，更好的服務(wù)于他們的客戶。