大道至簡的數(shù)據(jù)體系構(gòu)建 方法 論分析挖掘

很多企業(yè)已經(jīng)意識(shí)到，一個(gè)系統(tǒng)化的數(shù)據(jù)體系將是數(shù)據(jù)化運(yùn)營的核心支柱。那么，企業(yè)該如何清晰地打造自己的數(shù)據(jù)體系呢？作者將根據(jù)多年經(jīng)驗(yàn)總結(jié)用簡樸的語言告訴讀者一套大道至簡的方法_論。

本文是“數(shù)據(jù)化運(yùn)營方法_論系列”文章的第二篇。第一篇《大道至簡的數(shù)據(jù)分析方法_論》之后的講的是“不知道該怎么分析”的問題，本文講的是“不知道該分析什么”的問題。第一篇文章更微觀，站在個(gè)人分析師角度，本文更宏觀，站在公司層面進(jìn)行講解。

與“不知道該怎么分析”一樣，“不知道該分析什么”同樣是很多人常問的問題之一。事實(shí)上，如果知道了方法，雖然不能做到?jīng)]有一蹴而就，但是也能明晰如何一步步堅(jiān)實(shí)地打造屬于自己的數(shù)據(jù)體系路徑。

與第一篇文章一樣，本文會(huì)用最簡單質(zhì)樸的語言來講清楚數(shù)據(jù)體系構(gòu)建的路徑。簡單來講，就是先梳理出數(shù)據(jù)指標(biāo)體系，再將其落地到BI（商業(yè)智能，其實(shí)叫業(yè)務(wù)智能更對(duì)味）系統(tǒng)里。

備注：歡迎回顧作者“數(shù)據(jù)化運(yùn)營方法_論系列”文章的第一篇《大道至簡的數(shù)據(jù)分析方法_論》。作者用簡單易懂的文筆總結(jié)出一套易學(xué)易用的數(shù)據(jù)分析方****，讓初學(xué)者快速掌握數(shù)據(jù)分析方法中最核心、最常用的要點(diǎn)。

一，由上至下地梳理數(shù)據(jù)指標(biāo)體系

1.確定目標(biāo)

這是第一個(gè)應(yīng)該問自己的問題?；ù罅庾?a target="_blank">數(shù)據(jù)分析，最終為了什么呢？如果這都沒想清楚，那數(shù)據(jù)體系肯定無從下手。

是想提高用戶活躍度、增加用戶、增加銷量，還是別的什么目標(biāo)？這么一想，好像我都想要。都想要沒有問題，但是會(huì)讓工作的邊界無限蔓延，導(dǎo)致事情無法推進(jìn)。所以，應(yīng)該從最關(guān)心的那個(gè)目標(biāo)/KPI入手。

那么，什么問題才是我們最需要關(guān)心的目標(biāo)呢？

對(duì)于不同領(lǐng)域、不同階段的公司和不同角色的用戶而言，這個(gè)問題的答案都不一樣：對(duì)于很多公司老板來說，利潤就是他們最關(guān)心的目標(biāo)；對(duì)于非售賣產(chǎn)品/服務(wù)的公司或政府而言，也許客戶滿意度是最關(guān)心的目標(biāo)；對(duì)于交易平臺(tái)類公司或早期電商公司而言，利潤不是重點(diǎn)，交易量是最關(guān)心的目標(biāo)。

最關(guān)心的目標(biāo)搞定了，下面是不是可以解決都想要的問題了呢？并不是這樣。大數(shù)據(jù)帶來的最大一個(gè)誤區(qū)就是數(shù)據(jù)量和字段數(shù)越多越好。但是，在真正解決具體業(yè)務(wù)問題時(shí)，我們一定是從大數(shù)據(jù)的全集中切出相關(guān)的一個(gè)子集來使用的。

對(duì)于單人而言，無論是老板還是執(zhí)行層，同時(shí)關(guān)注的目標(biāo)/KPI都不宜過多。同時(shí)看幾十個(gè)KPI，想象一下也知道會(huì)很暈，且耗費(fèi)時(shí)間。但是，對(duì)企業(yè)而言確實(shí)有很多KPI都是非常重要的。這該怎么辦？可以分解到多人，即不同角色一起協(xié)作，每個(gè)角色關(guān)注自己的目標(biāo)，所有角色合在一起是公司所有目標(biāo)/KPI的全集。

假設(shè)老板最關(guān)注的目標(biāo)是利潤，利潤=收入-成本，可以將這個(gè)目標(biāo)分解為由銷售總監(jiān)來關(guān)注收入，運(yùn)營總監(jiān)來關(guān)注成本。當(dāng)然，并不是說老板不能看收入，而是把常規(guī)性的關(guān)注目標(biāo)鎖定在一個(gè)可行的范圍之內(nèi)。

2.分解指標(biāo)

目標(biāo)確定了，下一步是分解出相關(guān)的指標(biāo)。

針對(duì)目標(biāo)，需要哪些指標(biāo)來監(jiān)控或分析能達(dá)成目標(biāo)呢？比如利潤，相關(guān)指標(biāo)就是收入和成本，當(dāng)然這太粗了，收入有哪幾類，成本有哪幾類，都應(yīng)該考慮進(jìn)去。比如對(duì)于零售行業(yè)的銷售額，可以分解為客流量、進(jìn)店率、購買率、客單價(jià)和復(fù)購率等。

所以，分解的方式有很多種，需要遵循MECE原則（完全窮舉，相互獨(dú)立）。

3.細(xì)化字段

針對(duì)指標(biāo)的計(jì)算公式，涉及到哪些字段，分別在哪些庫的哪些表里，是否需要數(shù)據(jù)清洗，清洗規(guī)則是什么等。

比如購買率，是通過公式“購買人數(shù)/進(jìn)店人數(shù)”算出來的，購買人數(shù)又是對(duì)“客戶ID”進(jìn)行計(jì)數(shù)計(jì)算得出來的，這些指標(biāo)涉及到的字段對(duì)應(yīng)到數(shù)據(jù)庫里哪張表的哪個(gè)字段，需要梳理清楚，這部分就需要IT人員或數(shù)據(jù)庫管理員的介入和配合了。

4.非功能需求

上述第3步完成之后，我們其實(shí)已經(jīng)算是梳理完了指標(biāo)體系，可以落地了，但為了讓最終形成的數(shù)據(jù)系統(tǒng)更加完備、友好、可用，還需要一些非功能需求的梳理。

UI：偏好什么樣的展示風(fēng)格，這點(diǎn)看著無關(guān)緊要，但實(shí)際上用戶每天都會(huì)與數(shù)據(jù)系統(tǒng)打交道，美觀、體驗(yàn)好的系統(tǒng)UI會(huì)讓用戶更加喜歡。

頁面流：哪些相關(guān)指標(biāo)擺放到同一個(gè)報(bào)告頁面上，頁面之間的層次關(guān)系如何，用戶可以在頁面之間如何跳轉(zhuǎn)。

權(quán)限：誰能看哪些數(shù)據(jù)范圍，誰能看哪些字段和指標(biāo)，需要有統(tǒng)一的權(quán)限控制，避免出現(xiàn)數(shù)據(jù)安全問題。

ETL：數(shù)據(jù)從數(shù)據(jù)源同步到分析系統(tǒng)的頻率如何，規(guī)則如何。

集成：是否需要在界面、預(yù)警消息等層面與其它系統(tǒng)進(jìn)行集成。

性能：看不見摸不著，但是直接決定系統(tǒng)可用性。如果數(shù)據(jù)量大時(shí)需要幾分鐘甚至幾十分鐘才能看到結(jié)果，相信這個(gè)系統(tǒng)就不會(huì)有人愿意用了。

5.系統(tǒng)實(shí)施

上述4項(xiàng)完成之后，我們就形成了《數(shù)據(jù)運(yùn)營系統(tǒng)需求文檔/實(shí)施方案》，即可落地到數(shù)據(jù)運(yùn)營系統(tǒng)里，然后，再根據(jù)報(bào)告頁面數(shù)量、數(shù)據(jù)準(zhǔn)備復(fù)雜度等確定工作量和時(shí)間計(jì)劃。

二．由下至上地實(shí)施落地到BI系統(tǒng)

1.連接數(shù)據(jù)

根據(jù)需求文檔/實(shí)施方案，一步步進(jìn)行系統(tǒng)搭建工作。這個(gè)系統(tǒng)有的企業(yè)稱之為大數(shù)據(jù)平臺(tái)，有的企業(yè)稱之為BI系統(tǒng)。大數(shù)據(jù)平臺(tái)的范疇會(huì)更廣一些，但對(duì)企業(yè)數(shù)據(jù)化運(yùn)營而言，BI一定是核心構(gòu)成。

那么，無論是開發(fā)還是基于像永洪科技一樣的第三方工具快速實(shí)施，系統(tǒng)搭建的第一步都是連接各個(gè)數(shù)據(jù)源，打通和各個(gè)數(shù)據(jù)源之間的通路。

在企業(yè)里，數(shù)據(jù)環(huán)境往往是異構(gòu)的，數(shù)據(jù)源可能包括數(shù)據(jù)庫、Hadoop系列平臺(tái)、Excel文件、日志文件、NoSQL數(shù)據(jù)庫、第三方接口等，需要對(duì)每種數(shù)據(jù)源都有快速友好的對(duì)接方式。

最終，我們?cè)谙到y(tǒng)里能看到所需要的各個(gè)數(shù)據(jù)源中所有的表格和字段。

2.數(shù)據(jù)處理

數(shù)據(jù)源里的數(shù)據(jù)往往是有或多或少的不規(guī)范性存在的，比如有重復(fù)記錄，比如有遺漏的空值，比如有明顯不合理的異常值（比如有2020年的成交訂單），還可能有同一個(gè)事物在系統(tǒng)中存在多個(gè)名稱的情況。

這些數(shù)據(jù)如果不做一些處理或稱之為清洗的工作，是會(huì)對(duì)分析的準(zhǔn)確性產(chǎn)生很大影響的，所以需要做些預(yù)處理。這個(gè)過程往往是最耗時(shí)、最枯燥的，但也是十分重要的。

作者提醒：這個(gè)環(huán)節(jié)的問題將在下一篇《大道至簡的數(shù)據(jù)治理方法_論》文章中再深入探討。

3.數(shù)據(jù)建模

數(shù)據(jù)處理好了，下一步就該做數(shù)據(jù)建模了。

一提到建模，非技術(shù)背景的用戶就生畏，覺得高深不可理解。其實(shí)建出的模是個(gè)什么東西呢？簡單來講，把多張表關(guān)聯(lián)到一起，就是一個(gè)數(shù)據(jù)模型。

比如，公司要做績效分析，需要員工的工齡、學(xué)歷、項(xiàng)目數(shù)、項(xiàng)目金額、項(xiàng)目利潤率等指標(biāo)，其中工齡、學(xué)歷在個(gè)人信息表里，項(xiàng)目數(shù)、項(xiàng)目金額在項(xiàng)目表里，項(xiàng)目利潤率在財(cái)務(wù)表里，這三張表有個(gè)共同字段“員工編號(hào)”，通過這個(gè)字段把這三張表關(guān)聯(lián)起來，這就是一個(gè)數(shù)據(jù)模型，一個(gè)績效分析主題的數(shù)據(jù)模型。