大道至簡的數(shù)據(jù)體系構(gòu)建方法論

由上至下地梳理數(shù)據(jù)指標(biāo)體系

1.確定目標(biāo)

這是第一個應(yīng)該問自己的問題?；ù罅庾鰯?shù)據(jù)分析，最終為了什么呢？如果這都沒想清楚，那數(shù)據(jù)體系肯定無從下手。

是想提高用戶活躍度、增加用戶、增加銷量，還是別的什么目標(biāo)？這么一想，好像我都想要。都想要沒有問題，但是會讓工作的邊界無限蔓延，導(dǎo)致事情無法推進。所以，應(yīng)該從最關(guān)心的那個目標(biāo)/KPI入手。

那么，什么問題才是我們最需要關(guān)心的目標(biāo)呢？

對于不同領(lǐng)域、不同階段的公司和不同角色的用戶而言，這個問題的答案都不一樣：對于很多公司老板來說，利潤就是他們最關(guān)心的目標(biāo)；對于非售賣產(chǎn)品/服務(wù)的公司或政府而言，也許客戶滿意度是最關(guān)心的目標(biāo)；對于交易平臺類公司或早期電商公司而言，利潤不是重點，交易量是最關(guān)心的目標(biāo)。

最關(guān)心的目標(biāo)搞定了，下面是不是可以解決都想要的問題了呢？并不是這樣。大數(shù)據(jù)帶來的最大一個誤區(qū)就是數(shù)據(jù)量和字段數(shù)越多越好。但是，在真正解決具體業(yè)務(wù)問題時，我們一定是從大數(shù)據(jù)的全集中切出相關(guān)的一個子集來使用的。

對于單人而言，無論是老板還是執(zhí)行層，同時關(guān)注的目標(biāo)/KPI都不宜過多。同時看幾十個KPI，想象一下也知道會很暈，且耗費時間。但是，對企業(yè)而言確實有很多KPI都是非常重要的。這該怎么辦？可以分解到多人，即不同角色一起協(xié)作，每個角色關(guān)注自己的目標(biāo)，所有角色合在一起是公司所有目標(biāo)/KPI的全集。

假設(shè)老板最關(guān)注的目標(biāo)是利潤，利潤=收入-成本，可以將這個目標(biāo)分解為由銷售總監(jiān)來關(guān)注收入，運營總監(jiān)來關(guān)注成本。當(dāng)然，并不是說老板不能看收入，而是把常規(guī)性的關(guān)注目標(biāo)鎖定在一個可行的范圍之內(nèi)。

2.分解指標(biāo)

目標(biāo)確定了，下一步是分解出相關(guān)的指標(biāo)。

針對目標(biāo)，需要哪些指標(biāo)來監(jiān)控或分析能達(dá)成目標(biāo)呢？比如利潤，相關(guān)指標(biāo)就是收入和成本，當(dāng)然這太粗了，收入有哪幾類，成本有哪幾類，都應(yīng)該考慮進去。比如對于零售行業(yè)的銷售額，可以分解為客流量、進店率、購買率、客單價和復(fù)購率等。

所以，分解的方式有很多種，需要遵循MECE原則（完全窮舉，相互獨立）。

3.細(xì)化字段

針對指標(biāo)的計算公式，涉及到哪些字段，分別在哪些庫的哪些表里，是否需要數(shù)據(jù)清洗，清洗規(guī)則是什么等。

比如購買率，是通過公式“購買人數(shù)/進店人數(shù)”算出來的，購買人數(shù)又是對“客戶ID”進行計數(shù)計算得出來的，這些指標(biāo)涉及到的字段對應(yīng)到數(shù)據(jù)庫里哪張表的哪個字段，需要梳理清楚，這部分就需要IT人員或數(shù)據(jù)庫管理員的介入和配合了。

4.非功能需求

上述第3步完成之后，我們其實已經(jīng)算是梳理完了指標(biāo)體系，可以落地了，但為了讓最終形成的數(shù)據(jù)系統(tǒng)更加完備、友好、可用，還需要一些非功能需求的梳理。

UI：偏好什么樣的展示風(fēng)格，這點看著無關(guān)緊要，但實際上用戶每天都會與數(shù)據(jù)系統(tǒng)打交道，美觀、體驗好的系統(tǒng)UI會讓用戶更加喜歡。

頁面流：哪些相關(guān)指標(biāo)擺放到同一個報告頁面上，頁面之間的層次關(guān)系如何，用戶可以在頁面之間如何跳轉(zhuǎn)。

權(quán)限：誰能看哪些數(shù)據(jù)范圍，誰能看哪些字段和指標(biāo)，需要有統(tǒng)一的權(quán)限控制，避免出現(xiàn)數(shù)據(jù)安全問題。

ETL：數(shù)據(jù)從數(shù)據(jù)源同步到分析系統(tǒng)的頻率如何，規(guī)則如何。

集成：是否需要在界面、預(yù)警消息等層面與其它系統(tǒng)進行集成。

性能：看不見摸不著，但是直接決定系統(tǒng)可用性。如果數(shù)據(jù)量大時需要幾分鐘甚至幾十分鐘才能看到結(jié)果，相信這個系統(tǒng)就不會有人愿意用了。

5.系統(tǒng)實施

上述4項完成之后，我們就形成了《數(shù)據(jù)運營系統(tǒng)需求文檔/實施方案》，即可落地到數(shù)據(jù)運營系統(tǒng)里，然后，再根據(jù)報告頁面數(shù)量、數(shù)據(jù)準(zhǔn)備復(fù)雜度等確定工作量和時間計劃。

二．由下至上地實施落地到BI系統(tǒng)

1.連接數(shù)據(jù)

根據(jù)需求文檔/實施方案，一步步進行系統(tǒng)搭建工作。這個系統(tǒng)有的企業(yè)稱之為大數(shù)據(jù)平臺，有的企業(yè)稱之為BI系統(tǒng)。大數(shù)據(jù)平臺的范疇會更廣一些，但對企業(yè)數(shù)據(jù)化運營而言，BI一定是核心構(gòu)成。

那么，無論是開發(fā)還是基于像永洪科技一樣的第三方工具快速實施，系統(tǒng)搭建的第一步都是連接各個數(shù)據(jù)源，打通和各個數(shù)據(jù)源之間的通路。

在企業(yè)里，數(shù)據(jù)環(huán)境往往是異構(gòu)的，數(shù)據(jù)源可能包括數(shù)據(jù)庫、Hadoop系列平臺、Excel文件、日志文件、NoSQL數(shù)據(jù)庫、第三方接口等，需要對每種數(shù)據(jù)源都有快速友好的對接方式。

最終，我們在系統(tǒng)里能看到所需要的各個數(shù)據(jù)源中所有的表格和字段。

2.數(shù)據(jù)處理

數(shù)據(jù)源里的數(shù)據(jù)往往是有或多或少的不規(guī)范性存在的，比如有重復(fù)記錄，比如有遺漏的空值，比如有明顯不合理的異常值（比如有2020年的成交訂單），還可能有同一個事物在系統(tǒng)中存在多個名稱的情況。

這些數(shù)據(jù)如果不做一些處理或稱之為清洗的工作，是會對分析的準(zhǔn)確性產(chǎn)生很大影響的，所以需要做些預(yù)處理。這個過程往往是最耗時、最枯燥的，但也是十分重要的。

作者提醒：這個環(huán)節(jié)的問題將在下一篇《大道至簡的數(shù)據(jù)治理方法_論》文章中再深入探討。

3.數(shù)據(jù)建模

數(shù)據(jù)處理好了，下一步就該做數(shù)據(jù)建模了。

一提到建模，非技術(shù)背景的用戶就生畏，覺得高深不可理解。其實建出的模是個什么東西呢？簡單來講，把多張表關(guān)聯(lián)到一起，就是一個數(shù)據(jù)模型。

比如，公司要做績效分析，需要員工的工齡、學(xué)歷、項目數(shù)、項目金額、項目利潤率等指標(biāo)，其中工齡、學(xué)歷在個人信息表里，項目數(shù)、項目金額在項目表里，項目利潤率在財務(wù)表里，這三張表有個共同字段“員工編號”，通過這個字段把這三張表關(guān)聯(lián)起來，這就是一個數(shù)據(jù)模型，一個績效分析主題的數(shù)據(jù)模型。

4.制作數(shù)據(jù)報告