一文讀懂?dāng)?shù)據(jù)分析的流程和方法論

關(guān)于數(shù)據(jù)分析，這里想站在更大卻更為實(shí)際的角度講一下。

這里要講的數(shù)據(jù)分析可能并不是某一個(gè)細(xì)小的事件，更多的是站在一項(xiàng)業(yè)務(wù)上去考慮，流程和工作量都要更為龐雜些。

數(shù)據(jù)分析的方法論

講方法論之前，先思考什么情況需要數(shù)據(jù)分析？通常情況下是當(dāng)領(lǐng)導(dǎo)或者自己發(fā)現(xiàn)某個(gè)問題，比如這一陣銷售額低迷，存貨量居高不下，客戶流失率只增不減……這樣的一個(gè)一個(gè)問題，可以稱之為“點(diǎn)”。于是，第一時(shí)間對(duì)比自己的目標(biāo)，這個(gè)月的銷售額是要達(dá)到多少多少萬，但是目前的問題是完全不符合自己的KPI的，所以會(huì)促使你去分析原因，找到解決的措施。問題與目標(biāo)對(duì)接，兩點(diǎn)成為一“線”。撇開流程，在業(yè)務(wù)外，是否有外部因素影響到了數(shù)據(jù)，這也是需要考慮的，一條直線和直線外一點(diǎn)，構(gòu)成“面”，這里就強(qiáng)調(diào)分析問題要全面。多面成體，如果說能夠考慮到影響目標(biāo)結(jié)果的各個(gè)因素點(diǎn)，那么體則是從多面角度出發(fā)，能夠從“旁觀者”的角度看待整個(gè)分析“體”，更多的是強(qiáng)調(diào)全局觀。

以上就是針對(duì)實(shí)際業(yè)務(wù)的一個(gè)分析方法論，要形成體，一方面要梳理組織架構(gòu)，讓數(shù)據(jù)在各個(gè)環(huán)節(jié)流程上流通起來，另一方面則需要一套行之有效的方法體系，指導(dǎo)日常的運(yùn)營分析，而這個(gè)方法論就是我要提出的“點(diǎn)、線、面、體，四位一體方法論”。

點(diǎn)

點(diǎn)，這里是指業(yè)務(wù)上的痛點(diǎn)或high點(diǎn)，進(jìn)一步可理解為業(yè)務(wù)發(fā)展異常點(diǎn)或進(jìn)階發(fā)展點(diǎn)，未來業(yè)務(wù)拓展關(guān)鍵點(diǎn)和BOSS關(guān)注點(diǎn)等。在數(shù)據(jù)上則體現(xiàn)為業(yè)務(wù)發(fā)展趨勢中的波峰、波谷和數(shù)據(jù)離散點(diǎn)。

點(diǎn)是我們?cè)跀?shù)據(jù)運(yùn)營中首先要關(guān)注的地方，是整個(gè)數(shù)據(jù)運(yùn)營分析中的起點(diǎn)和基礎(chǔ)點(diǎn)，也是“點(diǎn)、線、面、體”四位一體方法論中最基礎(chǔ)的元素，是整個(gè)數(shù)據(jù)運(yùn)營進(jìn)程的擴(kuò)展點(diǎn)。例如我們平時(shí)在網(wǎng)站或APP分析過程中，發(fā)現(xiàn)某一天的訪客數(shù)明顯低于正常水平，那么是什么原因?qū)е逻@個(gè)異常點(diǎn)出現(xiàn)呢？又比如當(dāng)月的銷售量，某日的銷售量明顯低于其他什么原因引起的？此時(shí)的這個(gè)點(diǎn)就是我們數(shù)據(jù)運(yùn)營的切入點(diǎn)。

點(diǎn)的發(fā)現(xiàn)關(guān)鍵在于數(shù)據(jù)的統(tǒng)計(jì)整理，形成規(guī)范，找出規(guī)律和切入點(diǎn)。比如我關(guān)注流量這一指標(biāo)，通過可視化分析工具將各時(shí)段的流量數(shù)據(jù)抽取出來，前端做成一個(gè)dashboard界面，利用時(shí)間和查詢控件供自助查詢。

線

兩點(diǎn)成一線，推己及人，將業(yè)務(wù)中的異常點(diǎn)和我們?nèi)粘＿\(yùn)營目標(biāo)有效的結(jié)合起來，就能形成一條清晰的數(shù)據(jù)運(yùn)營分析線。除此之外，在數(shù)據(jù)運(yùn)營數(shù)據(jù)積累過程中，隨著時(shí)間的推進(jìn)，也能形成一條它自己的“時(shí)間序列曲線”，進(jìn)而在分析過程中實(shí)現(xiàn)數(shù)據(jù)的時(shí)間價(jià)值。線的分析是實(shí)現(xiàn)數(shù)據(jù)與數(shù)據(jù)關(guān)聯(lián)的過程，是看趨勢的過程，是實(shí)現(xiàn)數(shù)據(jù)的時(shí)間價(jià)值與串聯(lián)識(shí)別價(jià)值的過程。

另一方面，線的分析是維度分析的基礎(chǔ)，思考問題的開始，這個(gè)過程有如數(shù)據(jù)在數(shù)據(jù)庫中實(shí)現(xiàn)上下鉆取、OLAP分析的過程。理解線的分析，一方面通過對(duì)運(yùn)營目標(biāo)的分析，來反思影響這一目標(biāo)的各指標(biāo)權(quán)重影響，簡單點(diǎn)說，哪個(gè)因素發(fā)生變化會(huì)對(duì)銷售量產(chǎn)生巨大影響，那這個(gè)指標(biāo)的權(quán)重就越大，需要控制好。另一方面，比如分析流量在某一天下滑對(duì)月度銷售額的影響，從流量下滑這一點(diǎn)出發(fā)，到對(duì)目標(biāo)結(jié)果影響這一點(diǎn)關(guān)聯(lián)分析的過程。一個(gè)是從結(jié)果出發(fā)分析影響因素，一個(gè)是從過程出發(fā)預(yù)測對(duì)關(guān)注目標(biāo)的影響?！熬€”的分析在數(shù)據(jù)分析操作上體現(xiàn)在分析模型的建立，各指標(biāo)的關(guān)聯(lián)。

面

面在“直線”分析的基礎(chǔ)上將外部影響因素“點(diǎn)”考慮進(jìn)來，形成對(duì)目標(biāo)分析更周詳?shù)目紤]。面的分析一線與多點(diǎn)的考慮，面比較點(diǎn)和線多的是輻射的影響與考量，是點(diǎn)、線分析整合的基礎(chǔ)上引入了運(yùn)營場景的考量，并將不同數(shù)據(jù)運(yùn)營過程場景化，簡單的講，一個(gè)場景就代表一個(gè)面。

理解面的分析方法，應(yīng)從應(yīng)用場景方面考量，考量各方影響因素。因?yàn)椤懊妗?，所以有了?shù)據(jù)的角色化、場景化。

同樣是銷售的分析，對(duì)內(nèi)受一些列因素影響，比如營銷力度、人員分布。但放到市場環(huán)境中也會(huì)受到來自同行或者同產(chǎn)業(yè)鏈的輻射影響。有些企業(yè)會(huì)將市場環(huán)境因素納入到分析監(jiān)控中。

體

多面成體。如果說面是考慮到了影響店與目標(biāo)結(jié)果的各個(gè)因素，那么體則是從多面角度出發(fā)，能夠從“旁觀者”的角度看待整個(gè)分析“體”，更多的是強(qiáng)調(diào)全局觀，是對(duì)整個(gè)分析體系的認(rèn)知，是對(duì)點(diǎn)、線、面的全面整合，是完成的數(shù)據(jù)運(yùn)營體系。

點(diǎn)、線、面、提“四位一體”方法論是一個(gè)層層遞進(jìn)的過程，是對(duì)運(yùn)營業(yè)務(wù)場景分析從簡單到復(fù)雜的過程，從局部到全局的過程，是利用數(shù)據(jù)運(yùn)營的思維方法。

業(yè)務(wù)分析的流程

明確分析目的→梳理業(yè)務(wù)形成分析思路→搭建分析指標(biāo)體系→收集數(shù)據(jù)→處理數(shù)據(jù)→制作分析模板→可視化管理。

明確分析目的&梳理業(yè)務(wù)

分析要有目的有方向。是對(duì)現(xiàn)在面對(duì)的某個(gè)問題分析，還是梳理整體的業(yè)務(wù)現(xiàn)狀，抑或是對(duì)未來某個(gè)指標(biāo)的預(yù)測監(jiān)控。簡單來講，就是解惑、監(jiān)控、預(yù)測，目的是提效、增益。

明確目的后，需要梳理思路，怎么梳理？如果是分析近一個(gè)月銷售額普遍下降的原因點(diǎn)，就要從下至上，還原整個(gè)事情進(jìn)展的過程。購買環(huán)節(jié)涉及成交量、客單價(jià)和折扣率，然后還要分各類產(chǎn)品；瀏覽環(huán)節(jié)涉及瀏覽量、PV/UV；用戶維度還有流失率、活躍度、復(fù)購率等等，把分析目的分解成若干個(gè)不同的分析要點(diǎn)，然后針對(duì)每個(gè)分析要點(diǎn)確定分析方法和具體分析指標(biāo)。

搭建分析指標(biāo)體系

搭建分析指標(biāo)體系就是分析整個(gè)“體”，將分析框架的體系化，明確每個(gè)點(diǎn)都是什么指標(biāo)，任何一個(gè)分析路徑都能對(duì)應(yīng)到指標(biāo)（當(dāng)然現(xiàn)實(shí)是不會(huì)有這么完美的體系的）。

以電商為例，遵循“人貨場”的思維邏輯。常用的業(yè)務(wù)分析場景有銷售、商品、渠道、競品、會(huì)員等等，而商品可進(jìn)一步細(xì)分為商品的庫存、商品的利潤以及關(guān)聯(lián)銷售分析。在整個(gè)業(yè)務(wù)分析體系中，確保體系化，即先分析什么，后分析什么，使得各個(gè)分析點(diǎn)之間具有邏輯聯(lián)系，使分析結(jié)果具有說服力。

如何取數(shù)？

SQL是最基本的數(shù)據(jù)庫語言，無論從什么數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺(tái)取數(shù)，都需要掌握。

Hive和Spark都是基于大數(shù)據(jù)的，Hive可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，通過類SQL語句快速實(shí)現(xiàn)簡單的MapReduce統(tǒng)計(jì)。

清洗和處理數(shù)據(jù)

原始數(shù)據(jù)來自于各個(gè)業(yè)務(wù)系統(tǒng)，指標(biāo)口徑對(duì)不上，總會(huì)出現(xiàn)不一致、重復(fù)、不完整（感興趣的屬性沒有值）、存在錯(cuò)誤或異常（偏離期望值）的數(shù)據(jù)。這些都可以通過

數(shù)據(jù)清洗：去掉噪聲和無關(guān)數(shù)據(jù)

數(shù)據(jù)集成：將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來存放在一個(gè)一致的數(shù)據(jù)存儲(chǔ)中

數(shù)據(jù)變換：把原始數(shù)據(jù)轉(zhuǎn)換成為適合數(shù)據(jù)挖掘的形式

數(shù)據(jù)歸約：數(shù)據(jù)立方體聚集，維歸約，數(shù)據(jù)壓縮，數(shù)值歸約，離散化和概念分層等

制作模板&可視化展示

分析模板多用excel或者報(bào)表工具。如果業(yè)務(wù)部分有設(shè)立數(shù)據(jù)分析崗或者集團(tuán)有特定的數(shù)據(jù)中心團(tuán)隊(duì)，會(huì)通過搭建BI平臺(tái)來完成針對(duì)性的業(yè)務(wù)分析。

使用常規(guī)Excel或者傳統(tǒng)報(bào)表工具，可以將做成的圖表貼至PPT中，涉及Excel的高級(jí)功能，就需要學(xué)習(xí)VBA和數(shù)據(jù)透視表，但Excel適合已經(jīng)處理好的成品數(shù)據(jù)。一旦涉及大數(shù)據(jù)量或頻繁鏈接數(shù)據(jù)庫，一些帶有接口的數(shù)據(jù)可視化工具或報(bào)表工具就比較適合。