美國數(shù)據(jù)分析框架、方法論與運營效率提升

數(shù)據(jù)是一種連接。它連接4個最基本的象限，時間，地點，任務，事件。我們?yōu)槭裁匆f數(shù)據(jù)會是下一次技術革命浪潮的最重要的指針?大家來看一下，根據(jù)美國幾家頂級研究機構的報告，(Gartner，IDC等等)，在未來的5年，我們會有40億人通過互聯(lián)網(wǎng)產(chǎn)生各種數(shù)據(jù)，將成就一個4萬億美元的市場，將有兩千五百萬種軟件接入，250億臺各種各樣的設備接入各種數(shù)據(jù)系統(tǒng)，五百萬億GB的數(shù)據(jù)產(chǎn)生。

美國數(shù)據(jù)分析框架和方法論

在美國，已經(jīng)形成了非常系統(tǒng)的數(shù)據(jù)分析方法論。 這種方法論在二戰(zhàn)期間就開始行駛，應用到軍事，科技，民生等各個方面。 可以 數(shù)據(jù)分析分解為幾個步驟 ，大家仍然可以看到，這里各個環(huán)節(jié)從先到后是以價值不斷提高為條件的。

第一，也是最重要的一點，正確的數(shù)據(jù)采集，數(shù)據(jù)標簽方法的實施，對未來的數(shù)據(jù)分析迅速產(chǎn)生結果有幾何倍數(shù)的促進作用。這也是若干企業(yè)缺失或者非常忽略的部分。

第二：大數(shù)據(jù)的工程架構，數(shù)據(jù)倉庫，分布式計算層面。現(xiàn)在的分布式計算系統(tǒng)，和以往的數(shù)據(jù)倉庫的整體構架有了很大的分別，這要求我們的IT部門能夠跟上節(jié)奏，實施部署新的基于開源的分布式數(shù)據(jù)技術、例如已經(jīng)比較成熟的Hadoop，這個技術已經(jīng)在美國應用了將近10年，漸漸在互聯(lián)網(wǎng)公司變成了主流。

第三：響應性分析，這就是大部分企業(yè)也許做的最多的事情，就是不斷地用數(shù)據(jù)回答業(yè)務方提出的各種問題，制作簡單的報表，商業(yè)智能，BI等等。

第四：診斷性分析，比如說多維度的歸因，積分卡的實施等等。

第五：戰(zhàn)略型分析：競爭趨勢，價格彈性，企業(yè)財務營收的判斷等等。 過去企業(yè)的高層戰(zhàn)略分析一直被BCG，麥肯錫等公司霸占，但是現(xiàn)在為什么沒有出現(xiàn)在金字塔的頂端呢，就是因為大數(shù)據(jù)的出現(xiàn)。

第六：預測性分析即對未來的業(yè)務進行基于統(tǒng)計模型，機器學習，以及各種大規(guī)模模擬和優(yōu)化的分析。

第七：即達到回到我們剛才說的全數(shù)據(jù)自動分析和決策。

真實情況下企業(yè)數(shù)據(jù)分析的現(xiàn)狀

我們看一看大多數(shù)的企業(yè)都是如何完成這些工作的。 您們在座的各位行業(yè)領袖，特別是CTO專注技術的，是不是對這個圖比較熟悉。

這不就是企業(yè)內(nèi)部的數(shù)據(jù)流程圖嗎?如果我告訴您，這張圖是美國漢密爾頓河污水處理的流程圖您會怎么想? 這張圖是把美國一條污染的河變成清水的過程，也非常類似于現(xiàn)在今天數(shù)據(jù)分析的流程。很多企業(yè)內(nèi)部做數(shù)據(jù)分析的一個基本的流程正如：很多臟水流了進來，我們需要人力對它們進行各種監(jiān)控，把他放到一個池子里進行沉淀。然后我們做各種清洗、聚合、再清洗、再消毒，再傳輸，一步一步，美國做過一個研究，真正從數(shù)據(jù)收集到最后數(shù)據(jù)的產(chǎn)生有用的商業(yè)價值的過程，需要三個星期到五個星期。大家想想，每做一個很簡單的決策，需要三到五個星期的流程，這是多么痛苦的過程。未來的企業(yè)如果要在數(shù)據(jù)戰(zhàn)略上成功，必須能夠有能力迅速的把污水變成清水的能力。

大家再來看一看，真正產(chǎn)生的價值的部分都在這個金字塔的上端。而根據(jù)美國白宮的首席數(shù)據(jù)科學家DJPatil的一份研究報告，90%的數(shù)據(jù)工程和分析師的時間是放在數(shù)據(jù)收集和清理部分，只有10%左右的資源放在能夠產(chǎn)生大量商業(yè)價值的工作上。在傳統(tǒng)意義上來說，整個的數(shù)據(jù)分析是由若干的部門按照順序處理，這樣效能是非常緩慢的。大家講大數(shù)據(jù)，數(shù)據(jù)是從數(shù)據(jù)標簽的采集開始的，一般都由前端工程人員實施，然后數(shù)據(jù)傳輸?shù)墓ぷ饔蒊T來管理，ETL一般由企業(yè)內(nèi)部的數(shù)據(jù)倉庫或者數(shù)據(jù)平臺的團隊負責，BI(商業(yè)智能)部門在分析部或者存在于業(yè)務部門之中，然后我們還有各種商業(yè)分析師，統(tǒng)計學家參與其中，這個運行框架體系因為各個部門參與的人非常多，流程很長，大量降低了效率。特別是站在技術先頭部隊的互聯(lián)網(wǎng)企業(yè)，做過各種嘗試，比如想打破這個僵局就要對各個功能性部門進行整合，但是因為功能性的部門要求人員的能力和經(jīng)驗有千差萬別的需求，造成了懂業(yè)務的部門很難真正理解技術，懂技術的部門又沒有沒有足夠的精力完全理解業(yè)務部門五花八門的需求，這樣就產(chǎn)生了若干決策環(huán)節(jié)的緩慢與低效。為了解決不斷增加的需求，企業(yè)內(nèi)部需要內(nèi)建和定制化各種IT系統(tǒng)，這種定制化造成了企業(yè)內(nèi)部各個部門形成了若干數(shù)據(jù)微型小島，若干企業(yè)數(shù)據(jù)孤島進一步增加IT部門的工作負荷、即對各種內(nèi)部定制化的系統(tǒng)進行數(shù)據(jù)整合從而進行各種統(tǒng)一的數(shù)據(jù)決策。短期之內(nèi)這種定制化的數(shù)據(jù)整合貌似解決了企業(yè)的信息決策的問題，但是在長遠上看會甚至進一步拖慢企業(yè)決策速度。 請看這張數(shù)據(jù)分析金字塔圖，在過去若干年里面，我們發(fā)現(xiàn)大數(shù)據(jù)分析真正產(chǎn)生價值就是上面10%的投入時間，會產(chǎn)生超過90%甚至超過90%的價值。但是他如果沒有時間和沒有資源做下面90%的工作，就不可能產(chǎn)生任何的價值。包括銷售的管理也是一個數(shù)字驅動運營化。

中國今天飛速發(fā)展狀態(tài)下，我們要問問自己，我們的企業(yè)是否每一家都有需要內(nèi)建一個“污水處理廠”，或者重復開發(fā)和部署那么多種軟件來為實現(xiàn)企業(yè)分析服務。今天我們面前的一個機會，就是如何用非常有效地采用先進的方法越過各種技術和管理鴻溝，讓我們企業(yè)變得更有效率。而且人口紅利的減少，企業(yè)增加效率就是我們要做的最重要一件事。

構建數(shù)據(jù)驅動閉環(huán)

如何提高數(shù)據(jù)分析，以及運營決策的規(guī)模和效率?

主要的手段，就是要對現(xiàn)有的業(yè)務的數(shù)據(jù)分析流程進行大規(guī)模的簡化，從而達到端對端的整合，讓決策分析系統(tǒng)趨于閉環(huán)。這種數(shù)據(jù)分析閉環(huán)的速度基本上等同于企業(yè)決策速度。企業(yè)大數(shù)據(jù)分析閉環(huán)至少要具備兩個組成部分，第一部分：業(yè)務端的參與度，第二部分：技術端的實施。這個決策環(huán)業(yè)務端外部參與越多，技術端內(nèi)部實施越少越快，那么效能就越高。如何理解呢，在美國最新的權威機構的研究資料中提到了下一代數(shù)據(jù)革命中的影子CTO的概念，即IT部門應該成為企業(yè)軟件的外部管理者，而不是內(nèi)部執(zhí)行者。而且美國的云端SaaS軟件，也就是把信息決策的功能放在云端從而跨越過若干IT的冗長流程和技術鴻溝。這已經(jīng)在硅谷若干引領潮流的公司中有了很好的詮釋，比如Salesforce，LinkedIn(領英)，F(xiàn)acebook(臉書)，Uber(優(yōu)步)以及Airbnb等一流公司的各個部門都越來越多的采用采購基于SaaS的各種解決方案，而不是全部自建得到了充分驗證。

GrowingIO.com，我們關注如何利用企業(yè)的移動互聯(lián)網(wǎng)數(shù)據(jù)，希望我們做的數(shù)據(jù)分析產(chǎn)品能幫助企業(yè)把90%的數(shù)據(jù)分析工作完全自動化，彌補分析師資源的不足，能夠幫助幫助企業(yè)把幾個星期的信息決策變成幾分鐘內(nèi)可以做的決策，變成很多員工能夠利用數(shù)據(jù)驅動來做決策。從而大幅度的增加運營和決策的效率。讓互聯(lián)網(wǎng)企業(yè)能夠有更多的時間優(yōu)化他們的業(yè)務，更好的服務于他們的客戶。