全面解析數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的建設(shè)過(guò)程和方法

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的建設(shè)過(guò)程和方法不同于建設(shè)傳統(tǒng)的操作型處理系統(tǒng)的過(guò)程和方法，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)"數(shù)據(jù)分析師"有兩個(gè)難點(diǎn)：一是如何保證數(shù)據(jù)質(zhì)量，使得數(shù)據(jù)準(zhǔn)確可信；二是如何構(gòu)造應(yīng)用體系，使之滿足不同角色用戶的分析決策需要。 

受生產(chǎn)系統(tǒng)現(xiàn)狀的影響，如數(shù)據(jù)源的數(shù)據(jù)不完整、不一致，數(shù)據(jù)抽取時(shí)間點(diǎn)不能同步，本地網(wǎng)之間存在市場(chǎng)競(jìng)爭(zhēng)及業(yè)務(wù)規(guī)則的差異性，各專業(yè)之間統(tǒng)計(jì)口徑的不一致等，數(shù)據(jù)質(zhì)量問(wèn)題客觀存在，數(shù)據(jù)質(zhì)量問(wèn)題的管控工作將貫穿數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)的整個(gè)過(guò)程。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)應(yīng)用來(lái)源于用戶需求，來(lái)源于開(kāi)發(fā)商的商業(yè)理解，應(yīng)用的開(kāi)發(fā)和完善也受到數(shù)據(jù)質(zhì)量的制約。因此，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)需要實(shí)現(xiàn)數(shù)據(jù)和應(yīng)用的互動(dòng)。

 數(shù)據(jù)倉(cāng)庫(kù)對(duì)數(shù)據(jù)質(zhì)量的要求 

數(shù)據(jù)倉(cāng)庫(kù)對(duì)數(shù)據(jù)質(zhì)量的要求總體上歸納為：數(shù)據(jù)完整性，包括數(shù)據(jù)源是否完整、數(shù)據(jù)取值是否完整、維度取值是否完整等。數(shù)據(jù)準(zhǔn)確性，包括數(shù)據(jù)源是否準(zhǔn)確、編碼映射關(guān)系是否準(zhǔn)確、處理邏輯是否準(zhǔn)確等。數(shù)據(jù)核對(duì)準(zhǔn)確的判斷是要么結(jié)果一致，要么不一致但原因是可解釋的。"數(shù)據(jù)分析師"數(shù)據(jù)一致性，包括源系統(tǒng)之間同一數(shù)據(jù)是否一致，源數(shù)據(jù)與抽取的數(shù)據(jù)是否一致，數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部各處理環(huán)節(jié)數(shù)據(jù)是否一致等。

數(shù)據(jù)邏輯合理性，主要從業(yè)務(wù)邏輯的角度判斷數(shù)據(jù)是否正確，如帳目類型的金額、時(shí)長(zhǎng)、次數(shù)的邏輯關(guān)系是否滿足等；月租費(fèi)用不能出現(xiàn)通話次數(shù)、通話時(shí)長(zhǎng)等。數(shù)據(jù)時(shí)效性，包括數(shù)據(jù)處理（獲取、整理、加載等）的及時(shí)性，數(shù)據(jù)異常檢測(cè)的及時(shí)性，數(shù)據(jù)處理回退的及時(shí)性等。 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)于經(jīng)營(yíng)決策，經(jīng)營(yíng)決策依據(jù)的數(shù)據(jù)應(yīng)該是全面的、真實(shí)可靠的、有意義的。數(shù)據(jù)時(shí)效性如果得不到保證，就可能延誤了市場(chǎng)人員的分析，失去商機(jī)。 "數(shù)據(jù)分析師"從數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)過(guò)程來(lái)看，它本身修復(fù)數(shù)據(jù)以提高數(shù)據(jù)質(zhì)量的能力并不是很強(qiáng)，但是它能發(fā)現(xiàn)生產(chǎn)系統(tǒng)存在的一些數(shù)據(jù)質(zhì)量問(wèn)題從而提醒用戶哪些數(shù)據(jù)有質(zhì)量問(wèn)題，將數(shù)據(jù)問(wèn)題反饋到業(yè)務(wù)支撐系統(tǒng)中，由后者做數(shù)據(jù)修正。

 源數(shù)據(jù)質(zhì)量現(xiàn)狀分析 

傳統(tǒng)的業(yè)務(wù)支撐系統(tǒng)以滿足生產(chǎn)的業(yè)務(wù)處理為目標(biāo)，以內(nèi)部管理需求為出發(fā)點(diǎn)，各種支撐系統(tǒng)獨(dú)立設(shè)計(jì)，缺乏對(duì)企業(yè)整體業(yè)務(wù)流程的考慮，缺乏對(duì)資源的有效利用，在企業(yè)內(nèi)部形成了許多信息孤島。主要體現(xiàn)在： 數(shù)據(jù)過(guò)于分散，手工處理數(shù)據(jù)和系統(tǒng)處理數(shù)據(jù)并存，數(shù)據(jù)格式多樣。 在數(shù)據(jù)模型上，實(shí)體語(yǔ)義定義、屬性定義、命名規(guī)則、編碼規(guī)則自成體系，難于與其他系統(tǒng)做匹配。 系統(tǒng)間存在同一實(shí)體數(shù)據(jù)記錄數(shù)不一致的現(xiàn)象，例如計(jì)費(fèi)系統(tǒng)和九七系統(tǒng)中客戶數(shù)量不一致。 存在信息殘缺現(xiàn)象，沒(méi)有完整的統(tǒng)一客戶視圖。

在生產(chǎn)系統(tǒng)中存在需要拆分為具有原子性的數(shù)據(jù)， 源數(shù)據(jù)的粒度太粗不能滿足分析要求。 在同一省公司，不同本地網(wǎng)出帳時(shí)不一樣，造成數(shù)據(jù)提供時(shí)間不統(tǒng)一。 數(shù)據(jù)質(zhì)量的改進(jìn)存在以下難點(diǎn)： 數(shù)據(jù)量大，數(shù)據(jù)格式不統(tǒng)一。 數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)不容易制定。"數(shù)據(jù)分析師"數(shù)據(jù)清理的邊界不容易定義。 生產(chǎn)系統(tǒng)不斷升級(jí)改造、人員崗位調(diào)整等因素容易造成前清后亂。 由于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)來(lái)源于計(jì)費(fèi)、營(yíng)賬、客服、網(wǎng)管等多種業(yè)務(wù)系統(tǒng)，在各種源數(shù)據(jù)的整合過(guò)程中常發(fā)現(xiàn)不同系統(tǒng)中的數(shù)據(jù)不一致，同時(shí)源數(shù)據(jù)的質(zhì)量問(wèn)題比較突出。在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)初期數(shù)據(jù)質(zhì)量不高在所難免，這需要在系統(tǒng)建設(shè)和使用過(guò)程中不斷進(jìn)行修正和補(bǔ)充，從而逐步完善并最終解決系統(tǒng)的數(shù)據(jù)質(zhì)量問(wèn)題。

 數(shù)據(jù)質(zhì)量改進(jìn)目標(biāo) 

目標(biāo)是清理、標(biāo)準(zhǔn)化、提高和匹配現(xiàn)有數(shù)據(jù)。 通過(guò)數(shù)據(jù)整合，建立完整的、準(zhǔn)確的、一致的統(tǒng)一客戶視圖，完善企業(yè)共享信息數(shù)據(jù)，并使企業(yè)共享信息數(shù)據(jù)服務(wù)于經(jīng)營(yíng)分析，為生產(chǎn)系統(tǒng)的改進(jìn)提供標(biāo)準(zhǔn)。 建立數(shù)據(jù)整合流程，實(shí)現(xiàn)流程定義、流程配置和流程管控。 建立數(shù)據(jù)整合的規(guī)章制度，落實(shí)數(shù)據(jù)質(zhì)量的分級(jí)負(fù)責(zé)。建立起數(shù)據(jù)整合隊(duì)伍，使數(shù)據(jù)質(zhì)量能夠得以持續(xù)改進(jìn)。 數(shù)據(jù)質(zhì)量改進(jìn)是一個(gè)持續(xù)的過(guò)程，在系統(tǒng)建設(shè)及應(yīng)用推廣過(guò)程中，需要針對(duì)不同重要程度的數(shù)據(jù)，制定相應(yīng)的數(shù)據(jù)質(zhì)量評(píng)測(cè)及接受標(biāo)準(zhǔn)。對(duì)于階段目標(biāo)應(yīng)按照“近期打基礎(chǔ)，中期見(jiàn)成效，長(zhǎng)期促戰(zhàn)略”的原則制定。

數(shù)據(jù)質(zhì)量改進(jìn)方法 

數(shù)據(jù)質(zhì)量控制要從技術(shù)、流程和管理三個(gè)方面進(jìn)行。 從技術(shù)層面上，生產(chǎn)系統(tǒng)存在的噪音數(shù)據(jù)、遺漏數(shù)據(jù)和不一致性數(shù)據(jù)，需要進(jìn)行數(shù)據(jù)清洗；同時(shí)需要對(duì)源數(shù)據(jù)做稽核，如總量稽核和分量稽核。 在流程層面上，對(duì)于源數(shù)據(jù)的抽取要遵從一定的業(yè)務(wù)規(guī)則，"數(shù)據(jù)分析師"數(shù)據(jù)的抽取和轉(zhuǎn)換需要很多步驟來(lái)完成，這就需要將過(guò)程流程化，并且流程可通過(guò)配置來(lái)實(shí)現(xiàn)。 在管理層面上，要求生產(chǎn)系統(tǒng)報(bào)送數(shù)據(jù)，按照“誰(shuí)提供數(shù)據(jù)，誰(shuí)負(fù)責(zé)”的原則由生產(chǎn)系統(tǒng)保證源數(shù)據(jù)的完整性、準(zhǔn)確性、一致性、時(shí)效性。 應(yīng)用推動(dòng)數(shù)據(jù)質(zhì)量改進(jìn) 數(shù)據(jù)整合的目的是為了支撐應(yīng)用，讓經(jīng)營(yíng)分析系統(tǒng)真正能夠被用起來(lái)，核心的問(wèn)題還是要找到應(yīng)用的“驅(qū)動(dòng)力”。

對(duì)中國(guó)電信而言，滿足精確化管理、精確資源配置、上市公司信息披露要求是重點(diǎn)。 各地的具體情況不同，因此應(yīng)遵循“因地制宜、總體規(guī)劃、分步實(shí)施、迅速受益、不斷完善”的原則進(jìn)行應(yīng)用推廣。不追求一步到位，建議以點(diǎn)帶面，通過(guò)“亮點(diǎn)”應(yīng)用帶動(dòng)相關(guān)數(shù)據(jù)質(zhì)量整改。例如通過(guò)收入分析主題，可以發(fā)現(xiàn)量收不匹配的問(wèn)題，促使生產(chǎn)系統(tǒng)檢查收入的計(jì)算規(guī)則。 這樣通過(guò)應(yīng)用發(fā)現(xiàn)數(shù)據(jù)中存在的問(wèn)題，并將問(wèn)題反饋給生產(chǎn)系統(tǒng)；通過(guò)應(yīng)用讓用戶看到效果，調(diào)動(dòng)起用戶的熱情，并為其樹(shù)立起信心；通過(guò)應(yīng)用引起領(lǐng)導(dǎo)的重視，保證資源的有效投入；讓各級(jí)部門關(guān)注數(shù)據(jù)問(wèn)題，讓責(zé)任部門有壓力也有動(dòng)力。

 數(shù)據(jù)質(zhì)量改進(jìn)案例分析

 從實(shí)施中國(guó)電信6省營(yíng)銷分析情況來(lái)看，數(shù)據(jù)質(zhì)量改進(jìn)普遍存在如何定義數(shù)據(jù)質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)、如何實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管理的閉環(huán)過(guò)程、如何界定數(shù)據(jù)質(zhì)量改進(jìn)過(guò)程中各系統(tǒng)間的功能邊界三個(gè)難點(diǎn)問(wèn)題。 如何定義數(shù)據(jù)質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)――首先前端、后端、管控部門根據(jù)其專業(yè)對(duì)數(shù)據(jù)的不同要求，評(píng)價(jià)標(biāo)準(zhǔn)各有不同（如后端業(yè)務(wù)支撐部門對(duì)數(shù)據(jù)的要求是保障其系統(tǒng)的正常運(yùn)行；前端業(yè)務(wù)部門對(duì)數(shù)據(jù)的要求是真實(shí)反映市場(chǎng)情況；管控部門要求數(shù)據(jù)要和財(cái)務(wù)報(bào)表保持一致）。數(shù)據(jù)倉(cāng)庫(kù)建設(shè)也要結(jié)合實(shí)際情況，合理制定各階段數(shù)據(jù)質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，以保障系統(tǒng)建設(shè)的順利進(jìn)行。 

如何實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管理的閉環(huán)過(guò)程――在實(shí)際操作中，由于沒(méi)有形成數(shù)據(jù)質(zhì)量的改進(jìn)閉環(huán)，很容易出現(xiàn)“前清后亂”的情況，這需要制定一個(gè)完善的數(shù)據(jù)質(zhì)量管理流程，以實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的持續(xù)改進(jìn)。 如何界定數(shù)據(jù)質(zhì)量改進(jìn)過(guò)程中各系統(tǒng)間的功能邊界――數(shù)據(jù)質(zhì)量問(wèn)題牽涉到提供源數(shù)據(jù)的生產(chǎn)系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，在質(zhì)量改進(jìn)中必然存在由誰(shuí)來(lái)進(jìn)行改進(jìn)的問(wèn)題，界定改進(jìn)過(guò)程中系統(tǒng)間功能邊界也是數(shù)據(jù)質(zhì)量管理的難點(diǎn)問(wèn)題。 針對(duì)這三個(gè)問(wèn)題，通常在各省基本采用以下方法加以解決 建立由管理層牽頭的數(shù)據(jù)管理機(jī)構(gòu)，推動(dòng)數(shù)據(jù)質(zhì)量的改進(jìn)工作 數(shù)據(jù)質(zhì)量改進(jìn)與管理的關(guān)系密不可分。

在數(shù)據(jù)質(zhì)量的管理上，需要建立一個(gè)由省公司主管部門牽頭，相關(guān)部門和集成商參與的項(xiàng)目小組負(fù)責(zé)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)定義和控制。責(zé)任人落實(shí)到各個(gè)分公司的生產(chǎn)系統(tǒng)業(yè)務(wù)主管或省公司各生產(chǎn)系統(tǒng)業(yè)務(wù)主管。如果發(fā)現(xiàn)有質(zhì)量問(wèn)題向各個(gè)本地網(wǎng)分公司進(jìn)行通報(bào)，從而保障了數(shù)據(jù)質(zhì)量改進(jìn)的有效推行。

 制定可操作的數(shù)據(jù)質(zhì)量管理制度 管理部門需要和集成商一起根據(jù)實(shí)際情況制定可操作的管理制度，主要的管理制度包括，分階段定義的數(shù)據(jù)質(zhì)量目標(biāo)、數(shù)據(jù)評(píng)價(jià)辦法、數(shù)據(jù)管控流程、統(tǒng)一編碼、數(shù)據(jù)核對(duì)規(guī)則等。 ◎完善的數(shù)據(jù)質(zhì)量控制流程是持續(xù)改進(jìn)的基礎(chǔ) 在進(jìn)行數(shù)據(jù)質(zhì)量改進(jìn)實(shí)施過(guò)程中，需要根據(jù)數(shù)據(jù)質(zhì)量問(wèn)題的特點(diǎn)制定一套數(shù)據(jù)質(zhì)量控制流程，為提高數(shù)據(jù)質(zhì)量水平起到了關(guān)鍵的作用。

ETL集中監(jiān)控和元數(shù)據(jù)管理的技術(shù)實(shí)現(xiàn) 自行開(kāi)發(fā)了ETL集中監(jiān)控模塊和元數(shù)據(jù)管理功能模塊。 在元數(shù)據(jù)管理中對(duì)數(shù)據(jù)和處理過(guò)程做了定義，用戶有了一個(gè)數(shù)據(jù)倉(cāng)庫(kù)地圖。如果數(shù)據(jù)源或者抽取邏輯發(fā)生變化，用戶可以分析對(duì)其他元數(shù)據(jù)的影響。

 通過(guò)ETL集中監(jiān)控模塊可以對(duì)數(shù)據(jù)的整體處理流程進(jìn)行定義；將數(shù)據(jù)質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)以數(shù)據(jù)校驗(yàn)程序化，并作為流程中的一個(gè)環(huán)節(jié)配置到流程中；用戶可以對(duì)處理過(guò)程實(shí)施監(jiān)控，對(duì)于數(shù)據(jù)異常能夠及時(shí)得到告警信息和錯(cuò)誤報(bào)告。 通過(guò)以上措施，在數(shù)據(jù)質(zhì)量上可以取得以下實(shí)際效果： 數(shù)據(jù)整合過(guò)程得以規(guī)范化，也減輕了維護(hù)人員的工作負(fù)擔(dān)。 各級(jí)人員對(duì)數(shù)據(jù)質(zhì)量變得敏感，如果發(fā)現(xiàn)有質(zhì)量問(wèn)題向各個(gè)本地網(wǎng)分公司進(jìn)行通報(bào)，從領(lǐng)導(dǎo)到具體責(zé)任人都關(guān)心數(shù)據(jù)質(zhì)量問(wèn)題，提高了相關(guān)人員對(duì)數(shù)據(jù)質(zhì)量的重視程度和工作責(zé)任心。 數(shù)據(jù)質(zhì)量穩(wěn)步提高，例如通過(guò)對(duì)計(jì)費(fèi)、九七、渠道系統(tǒng)客戶數(shù)據(jù)的對(duì)比、過(guò)濾、合并等方法，使得客戶資料逐步趨于完整和一致。 

持續(xù)改進(jìn)思路

 通過(guò)數(shù)據(jù)清理，將逐漸形成完整和準(zhǔn)確的企業(yè)數(shù)據(jù)視圖，為經(jīng)營(yíng)分析和生產(chǎn)支撐提供可靠的數(shù)據(jù)來(lái)源。由于數(shù)據(jù)源系統(tǒng)會(huì)不斷升級(jí)，同時(shí)經(jīng)營(yíng)分析系統(tǒng)的數(shù)據(jù)模型也存在優(yōu)化和發(fā)展。數(shù)據(jù)質(zhì)量是一個(gè)持續(xù)改進(jìn)、反復(fù)迭代、螺旋上升的過(guò)程。

數(shù)據(jù)質(zhì)量任重道遠(yuǎn)，不可能一勞永逸，要作為長(zhǎng)期的任務(wù)來(lái)抓。 例如在客戶資料的清理上，可以按照“先大客戶，然后商業(yè)客戶，再次公眾客戶”，在客戶屬性上“先保證客戶消費(fèi)屬性，后社會(huì)屬性”的思路做清理。對(duì)每一種客戶類型也可以劃分成幾個(gè)階段： 第一階段 整理客戶、用戶、帳戶三戶模型，通過(guò)歸并、篩選、補(bǔ)充等方法在現(xiàn)有生產(chǎn)系統(tǒng)上先建立起統(tǒng)一的客戶標(biāo)識(shí)、帳戶標(biāo)識(shí)、用戶（銷售品實(shí)例）標(biāo)識(shí)；建立起客戶與用戶之間的對(duì)應(yīng)關(guān)系、客戶與帳戶的對(duì)應(yīng)關(guān)系，用戶與帳戶之間的對(duì)應(yīng)關(guān)系。 第二階段 整理產(chǎn)品/銷售品，定義新的產(chǎn)品目錄表，按產(chǎn)品/優(yōu)惠套餐定義銷售品目錄；將原有產(chǎn)品映射到新定義的產(chǎn)品目錄表中；將新功能映射成附屬產(chǎn)品；并定義出產(chǎn)品與產(chǎn)品實(shí)例對(duì)應(yīng)關(guān)系、產(chǎn)品實(shí)例間的對(duì)應(yīng)關(guān)系、產(chǎn)品實(shí)例與定價(jià)計(jì)劃和客戶協(xié)議之間的對(duì)應(yīng)關(guān)系。 第三階段 補(bǔ)充客戶社會(huì)屬性，通過(guò)第一階段和第二階段建立起客戶消費(fèi)屬性，再通過(guò)CRM系統(tǒng)和CSS系統(tǒng)補(bǔ)充客戶社會(huì)屬性，形成統(tǒng)一的企業(yè)客戶視圖。數(shù)據(jù)分析師培訓(xùn)