本篇文章將以數(shù)據(jù)產(chǎn)品的角度來(lái)看數(shù)據(jù)采集后數(shù)據(jù)流的處理過(guò)程；并講解一丟丟偏技術(shù)、但與數(shù)據(jù)產(chǎn)品產(chǎn)出息息相關(guān)的數(shù)據(jù)倉(cāng)庫(kù)。

一. 數(shù)據(jù)處理過(guò)程

數(shù)據(jù)產(chǎn)品經(jīng)理的工作中一大部分都是將不可估測(cè)的數(shù)據(jù)轉(zhuǎn)化為可見(jiàn)的報(bào)表、有結(jié)論意義的分析報(bào)告——也就是將數(shù)據(jù)從各種異構(gòu)的數(shù)據(jù)源中、匯總，最終展示為報(bào)表、儀表盤、動(dòng)態(tài)數(shù)據(jù)分析查詢、結(jié)論性的分析報(bào)告等等。

1. 有哪些異構(gòu)數(shù)據(jù)源呢？

服務(wù)端、客戶端用戶行為日志用戶的歷史信息，定性信息(e.g.性別，職業(yè)的用戶畫像數(shù)據(jù))，定量信息(e.g.近30天的某個(gè)興趣傾向程度)第三方等獲取的信息，e.g.爬蟲數(shù)據(jù)、人工整理的數(shù)據(jù)等等

2. 這信息大都需要二次加工、清洗，生成結(jié)構(gòu)化的數(shù)據(jù)

臟數(shù)據(jù)的清洗、整合，e.g.延遲數(shù)據(jù)的按照發(fā)生日歸納；生成基礎(chǔ)性的表，以提高數(shù)據(jù)的易用性，e.g.用戶基礎(chǔ)數(shù)據(jù)、行為數(shù)據(jù)的基礎(chǔ)表；生成可以直接應(yīng)用于報(bào)表、分析的用戶&行為結(jié)構(gòu)化業(yè)務(wù)應(yīng)用表；

輕描淡寫的2個(gè)步驟，卻是影響報(bào)表展示、分析結(jié)論的關(guān)鍵點(diǎn)，也是數(shù)據(jù)產(chǎn)品經(jīng)理最需要細(xì)心處理的地方。

二. 數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse)

數(shù)據(jù)處理過(guò)程往往比較模糊，但“異構(gòu)數(shù)據(jù)源->結(jié)構(gòu)化的數(shù)據(jù)表->報(bào)表/分析報(bào)告”的過(guò)程中，我們常見(jiàn)的各種數(shù)據(jù)庫(kù)表就是數(shù)據(jù)倉(cāng)庫(kù)的實(shí)體，如常見(jiàn)的hive，spark，Oracle等。那在數(shù)據(jù)產(chǎn)品經(jīng)理日常數(shù)據(jù)處理中應(yīng)該注意哪些數(shù)據(jù)倉(cāng)庫(kù)知識(shí)點(diǎn)呢？

1. 數(shù)據(jù)倉(cāng)庫(kù)分層

為什么要做分層呢？

更清晰的管理、追蹤數(shù)據(jù)(清洗的數(shù)據(jù)結(jié)構(gòu)、明確的血緣關(guān)系)：有助于我們?nèi)ゲ檎覕?shù)據(jù)處理的整條鏈路；通過(guò)建立通用的中間表，減少重復(fù)計(jì)算：一張通用的中間表，能夠有效提供能夠直接貢獻(xiàn)于下游業(yè)務(wù)數(shù)據(jù)表，以避免每次都從原數(shù)據(jù)中產(chǎn)出業(yè)務(wù)數(shù)據(jù)表；清晰的數(shù)據(jù)倉(cāng)庫(kù)分層，將能夠有助于我們分解數(shù)據(jù)處理過(guò)程：將復(fù)雜的數(shù)據(jù)->業(yè)務(wù)應(yīng)用，拆解成多個(gè)步驟，每一層只處理單一的步驟；

數(shù)據(jù)分層具體是指？每一層應(yīng)該注意什么呢？

操作數(shù)據(jù)層(ODS，Operational Data Store)：該層級(jí)的數(shù)據(jù)，最接近數(shù)據(jù)源的原始面貌(內(nèi)容和粒度與原始數(shù)據(jù)一致)，通常是數(shù)據(jù)源直接經(jīng)過(guò)ETL后，存儲(chǔ)于此。從原始數(shù)據(jù)到ODS層，不建議做復(fù)雜的數(shù)據(jù)清洗，以免破壞原始數(shù)據(jù)，引起不必要的排查成本。

建議僅進(jìn)行——

將json記錄的日志，映射到各字段中;作弊數(shù)據(jù)的清洗；數(shù)據(jù)轉(zhuǎn)碼：將編碼映射成具有真實(shí)含義的值數(shù)據(jù)標(biāo)準(zhǔn)化，e.g.把所有的日期都格式化成YYYY-MM-DD的格式；異常值修復(fù)，e.g.視頻播放表：（包含用戶id、視頻id、播主、播放時(shí)間等）。

如果一個(gè)表劃分為ODS層，那么一定要確認(rèn)是否將原數(shù)據(jù)的有意義字段均清洗過(guò)來(lái)。

明細(xì)數(shù)據(jù)層(DWD，Data Warehouse Detail)：對(duì)ODS層做一些業(yè)務(wù)層面的數(shù)據(jù)清洗和規(guī)范化的操作，e.g.用戶播放視頻的日志級(jí)表;

如果一個(gè)表劃分為DWD層，是否清晰、明確的記錄了業(yè)務(wù)層面的明細(xì)數(shù)據(jù)？

匯總數(shù)據(jù)層(DWS, Data Warehouse Summary)：依據(jù)業(yè)務(wù)需求對(duì)ODS/DWD層的數(shù)據(jù)進(jìn)行了匯總，e.g.帶有用戶畫像信息的播放視頻；

如果是DWS層的表，是否能夠有效、便利的服務(wù)于業(yè)務(wù)方向統(tǒng)計(jì)需求？

應(yīng)用數(shù)據(jù)層(ADS，Application Data Store)：業(yè)務(wù)需要進(jìn)行的統(tǒng)計(jì)數(shù)據(jù)結(jié)果，e.g.各類型用戶的視頻播放統(tǒng)計(jì)。

如果是ADS層的表，是否能夠得到業(yè)務(wù)需要的統(tǒng)計(jì)數(shù)據(jù)？

維度表(DIM)：存放基礎(chǔ)信息，如用戶屬性表-性別、年齡等等。

如果是DIM層的表，是否全面記錄了后續(xù)分析或統(tǒng)計(jì)需要用的各個(gè)維度？

除了固定為分層外，當(dāng)然還有臨時(shí)表(TEM)。

阿里/華為的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)分級(jí)：操作數(shù)據(jù)層（ODS）、明細(xì)數(shù)據(jù)層(DWD)、匯總數(shù)據(jù)層(DWS)和應(yīng)用數(shù)據(jù)層(ADS)，維度表(DIM)； 操作數(shù)據(jù)層、明細(xì)數(shù)據(jù)層、匯總數(shù)據(jù)層都是公共數(shù)據(jù)層。

此外，涉及表時(shí)，需要充分考慮這張表后續(xù)是哪個(gè)角色的同學(xué)使用，表是否足夠易用？是否內(nèi)容冗余？是否安全？

業(yè)務(wù)線的同學(xué)是否能夠通過(guò)幾條簡(jiǎn)單的SQL語(yǔ)句，拿到數(shù)據(jù)結(jié)果？可以通過(guò)單張表格統(tǒng)計(jì)到數(shù)據(jù)還是需要多表關(guān)聯(lián)獲??？單張表是不是內(nèi)容冗余，是否會(huì)影響查詢效率？多表關(guān)聯(lián)時(shí)，是否會(huì)有業(yè)務(wù)理解上的坑，e.g.多表間的字段是一對(duì)一，一對(duì)多，還是多對(duì)多，如何讓使用者清晰的理解？表中是否涉及敏感的字段，比如金額等，使用群體是否有足夠的權(quán)限獲取這些信息？

2. 元數(shù)據(jù)管理

元數(shù)據(jù)及應(yīng)用也是數(shù)據(jù)倉(cāng)庫(kù)的重要組成部分，它是描述數(shù)據(jù)的數(shù)據(jù)（data about data)，描述數(shù)據(jù)的屬性信息，可以幫助我們非常方便地找到他們所關(guān)心的數(shù)據(jù)。

元數(shù)據(jù)記錄了哪些信息？

數(shù)據(jù)的表結(jié)構(gòu)：字段信息、分區(qū)信息、索引信息等；數(shù)據(jù)的使用&權(quán)限：空間存儲(chǔ)、讀寫記錄、修改記錄、權(quán)限歸屬、審核記錄等其他信息；數(shù)據(jù)的血緣關(guān)系信息：血緣信息簡(jiǎn)單的說(shuō)就是數(shù)據(jù)的上下游關(guān)系，數(shù)據(jù)從哪里來(lái)到哪里去？我們通過(guò)血緣關(guān)系，可以了解到建立起生產(chǎn)這些數(shù)據(jù)的任務(wù)之間的依賴關(guān)系，進(jìn)而輔助調(diào)度系統(tǒng)的工作調(diào)度，或者用來(lái)判斷一個(gè)失敗或錯(cuò)誤的任務(wù)可能對(duì)哪些下游數(shù)據(jù)造成影響等等；而在數(shù)據(jù)排查過(guò)程中也可以幫助我們定位問(wèn)題。數(shù)據(jù)的業(yè)務(wù)屬性信息：記錄這張表的業(yè)務(wù)用途，各個(gè)字段的具體統(tǒng)計(jì)口徑、業(yè)務(wù)描述、歷史變遷記錄、變遷原因等。這部分?jǐn)?shù)據(jù)多是我們手動(dòng)填寫，但卻能大大提升數(shù)據(jù)使用過(guò)程中的便利性。

3. 離線數(shù)據(jù)倉(cāng)庫(kù)&實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)

此外，根據(jù)數(shù)據(jù)實(shí)時(shí)性，數(shù)據(jù)倉(cāng)庫(kù)可以分為離線數(shù)據(jù)倉(cāng)庫(kù)、實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)。

離線數(shù)據(jù)倉(cāng)庫(kù)主要記錄t-1以上的數(shù)據(jù)，以天、周、月數(shù)據(jù)計(jì)算為主；實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)是隨著人們對(duì)實(shí)時(shí)數(shù)據(jù)展示、分析、算法的需求而出現(xiàn)的。

4. 總結(jié)

數(shù)據(jù)處理過(guò)程是數(shù)據(jù)產(chǎn)品經(jīng)理 產(chǎn)出報(bào)表、分析報(bào)告耗時(shí)最久的部分，了解數(shù)據(jù)倉(cāng)庫(kù)的概念&關(guān)鍵點(diǎn)，有助于我們清晰、有效的處理數(shù)據(jù)，提高工作效率，將更多的時(shí)間用于業(yè)務(wù)洞察。