企業(yè)數(shù)據(jù)質(zhì)量管理核心要素和技術(shù)原則

在這個(gè)環(huán)境和趨勢(shì)中，數(shù)據(jù)是得以實(shí)現(xiàn)整個(gè)規(guī)劃布局的前提。

在將數(shù)據(jù)作為資產(chǎn)的前提下，企業(yè)的運(yùn)營(yíng)需要準(zhǔn)確的、完整的、及時(shí)的、高價(jià)值、高質(zhì)量的數(shù)據(jù)。

一、數(shù)據(jù)質(zhì)量管理的三個(gè)要素

數(shù)據(jù)是企業(yè)數(shù)字化轉(zhuǎn)型的核心要素，企業(yè)的決策者根據(jù)數(shù)據(jù)背后所反映出來的現(xiàn)象或趨勢(shì)。分析并洞察出其背后有價(jià)值的信息，進(jìn)而在決策和行動(dòng)中，贏得先機(jī)，做出正確的判斷。

企業(yè)產(chǎn)品生產(chǎn)過程中數(shù)字化能力已經(jīng)逐步取代傳統(tǒng)的產(chǎn)品制作模式，以生產(chǎn)男式西裝為主紅領(lǐng)集團(tuán)為例，用戶在手機(jī)APP上下單之后，測(cè)量師會(huì)到你家里做定式測(cè)量，然后在版型庫(kù)里做自動(dòng)設(shè)計(jì)，自動(dòng)排產(chǎn)之后就能生產(chǎn)使用了。整個(gè)過程都是基于高質(zhì)量的數(shù)據(jù)驅(qū)動(dòng)的，數(shù)據(jù)質(zhì)量成為業(yè)務(wù)的生命線。

在企業(yè)數(shù)字化轉(zhuǎn)型的進(jìn)程中，數(shù)據(jù)的質(zhì)量成為了一個(gè)制約因素。

數(shù)據(jù)能發(fā)揮價(jià)值的大小依賴于其數(shù)據(jù)的質(zhì)量的高低，高質(zhì)量的數(shù)據(jù)是企業(yè)業(yè)務(wù)能力的基礎(chǔ)。

但劣質(zhì)的數(shù)據(jù)還不如沒有數(shù)據(jù)依據(jù)經(jīng)驗(yàn)的進(jìn)行決策，通過錯(cuò)誤的數(shù)據(jù)分析出的結(jié)果會(huì)帶來災(zāi)難。

數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因有很多方面，比如在技術(shù)、管理、流程方面都會(huì)碰到。企業(yè)要在把這些方面的數(shù)據(jù)質(zhì)量問題都管控到，監(jiān)控好，才能從整體上提高質(zhì)量水平。

今天我們先談一下在技術(shù)領(lǐng)域中該注意哪些。

在技術(shù)問題域中要提高數(shù)據(jù)質(zhì)量水平，數(shù)據(jù)的梳理、數(shù)據(jù)規(guī)范以及數(shù)據(jù)生命周期是三個(gè)關(guān)鍵的要素。

我們先來看數(shù)據(jù)梳理，數(shù)據(jù)梳理有兩個(gè)目的：

摸清楚企業(yè)當(dāng)前有哪些數(shù)據(jù)，分別在什么地方，表現(xiàn)形態(tài)是什么樣子的，是哪些業(yè)務(wù)部門使用，哪些技術(shù)部門支撐，它能為數(shù)據(jù)質(zhì)量提升提供一個(gè)全面的數(shù)據(jù)現(xiàn)狀參考。

理清楚企業(yè)當(dāng)下數(shù)據(jù)的分類以及分類之間的關(guān)系，進(jìn)而知道哪些數(shù)據(jù)是基礎(chǔ)數(shù)據(jù)，哪些是由基礎(chǔ)數(shù)據(jù)組裝成的衍生數(shù)據(jù)，明確了這些也就找到了提升數(shù)據(jù)質(zhì)量水平的突破點(diǎn)。

在項(xiàng)目實(shí)踐中，對(duì)數(shù)據(jù)梳理核心的一環(huán)是對(duì)企業(yè)內(nèi)的元數(shù)據(jù)梳理，對(duì)元數(shù)據(jù)的梳理能解決理清企業(yè)數(shù)據(jù)現(xiàn)狀和明晰核心基礎(chǔ)數(shù)據(jù)，是數(shù)據(jù)梳理的核心工作內(nèi)容，被一些企業(yè)形象的比喻成摸家底工程。

如上圖所示，我們對(duì)企業(yè)交易數(shù)據(jù)進(jìn)行剖析發(fā)現(xiàn)，交易數(shù)據(jù)的組成其核心是由主數(shù)據(jù)、參考數(shù)據(jù)和元數(shù)據(jù)組成。如果每一類數(shù)據(jù)的元數(shù)據(jù)在名稱和格式上存在差異的話，那么數(shù)據(jù)的質(zhì)量必然不高。

例如：在交易數(shù)據(jù)里面有產(chǎn)品名稱和描述這兩個(gè)元數(shù)據(jù)，而在主數(shù)據(jù)中表述這兩個(gè)對(duì)象的名稱是產(chǎn)品名稱和產(chǎn)品描述，若兩邊的字段類型長(zhǎng)度也存在不一致，那數(shù)據(jù)有質(zhì)量問題那是必然的。

下面我們介紹數(shù)據(jù)規(guī)范，這里的規(guī)范主要指數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)模型，我們分開介紹。

數(shù)據(jù)模型是獲取和定義企業(yè)信息需求和數(shù)據(jù)需求的一種方法，它表述了全企業(yè)范圍內(nèi)的數(shù)據(jù)整合的主藍(lán)圖，是系統(tǒng)開發(fā)項(xiàng)目的關(guān)鍵輸入，也是項(xiàng)目數(shù)據(jù)需求分析和數(shù)據(jù)建模工作的基線。

如電力行業(yè)的CIM模型，電信行業(yè)的ETOM模型，指導(dǎo)這電力和電信信息系統(tǒng)的建設(shè)，以確保數(shù)據(jù)質(zhì)量從開始就能得到保證，還可以為現(xiàn)有應(yīng)用軟件的數(shù)據(jù)質(zhì)量水平提供衡量標(biāo)準(zhǔn)。

數(shù)據(jù)標(biāo)準(zhǔn)是對(duì)企業(yè)數(shù)據(jù)模型的一種補(bǔ)充，是對(duì)企業(yè)數(shù)據(jù)模型中重要數(shù)據(jù)制定的規(guī)范性文件，是數(shù)據(jù)質(zhì)量管理和監(jiān)控的手段。

它促進(jìn)企業(yè)數(shù)據(jù)模型落地，也擔(dān)負(fù)著對(duì)企業(yè)存量系統(tǒng)中關(guān)鍵數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的任務(wù)。

企業(yè)數(shù)據(jù)模型在落地的過程中，各部門看待問題的角度不一樣，加之有些外購(gòu)產(chǎn)品的限制，不能很好的按企業(yè)數(shù)據(jù)模型的規(guī)范進(jìn)行落實(shí)，導(dǎo)致數(shù)據(jù)在集成，互聯(lián)互通的時(shí)候碰到數(shù)據(jù)不一致的問題，數(shù)據(jù)質(zhì)量問題隨處可見。

如果系統(tǒng)(項(xiàng)目)模型設(shè)計(jì)的時(shí)候,有一套能遵循的規(guī)范，那么就能解決這一問題。數(shù)據(jù)標(biāo)準(zhǔn)就扮演了這么一個(gè)角色，它從企業(yè)數(shù)據(jù)模型中剝離出重要的業(yè)務(wù)實(shí)體，在系統(tǒng)(項(xiàng)目)模型設(shè)計(jì)的時(shí)候，實(shí)現(xiàn)了對(duì)模型設(shè)計(jì)是否符合企業(yè)數(shù)據(jù)模型規(guī)范的監(jiān)控和評(píng)審，并從管理和認(rèn)責(zé)的角度切入進(jìn)去，很好的解決了上述問題。

數(shù)據(jù)和貨幣一樣，流通起來的價(jià)值遠(yuǎn)遠(yuǎn)大于它靜態(tài)的價(jià)值。因此我們要對(duì)數(shù)據(jù)生命周期的每個(gè)環(huán)節(jié)進(jìn)行監(jiān)控把關(guān)，知道在每個(gè)環(huán)節(jié)數(shù)據(jù)發(fā)生了什么變化，才能采取相應(yīng)的手段來處理質(zhì)量問題。

比如在規(guī)劃階段，我們要參考企業(yè)數(shù)據(jù)模型進(jìn)行系統(tǒng)模型的設(shè)計(jì)，并且要遵循數(shù)據(jù)標(biāo)準(zhǔn)的規(guī)范要求。在獲取階段要重點(diǎn)關(guān)注數(shù)據(jù)的及時(shí)性問題，數(shù)據(jù)傳輸?shù)膯栴};

在存儲(chǔ)和共享過程中要重點(diǎn)關(guān)注數(shù)據(jù)的整合問題，數(shù)據(jù)一致性，完整性問題。

數(shù)據(jù)生命周期我們?cè)趯?shí)踐中總結(jié)了幾個(gè)技術(shù)原則，在第二部分的分享中給大家做介紹。

這里，我們針對(duì)數(shù)據(jù)生命周期再介紹一種分析數(shù)據(jù)質(zhì)量問題的應(yīng)用場(chǎng)景，它對(duì)我們實(shí)施數(shù)據(jù)質(zhì)量項(xiàng)目，是一個(gè)不錯(cuò)的參考。

上圖是客戶信息產(chǎn)生，維護(hù)和使用的一個(gè)樣例場(chǎng)景。

在圖中每個(gè)節(jié)點(diǎn)是企業(yè)中的一個(gè)部門，客戶信息從左至右流動(dòng)，在這個(gè)場(chǎng)景中我們發(fā)現(xiàn)銷售部、市場(chǎng)部、客戶信息管理部都有維護(hù)客戶信息的權(quán)利，且所使用的系統(tǒng)不統(tǒng)一。

在系統(tǒng)建設(shè)時(shí)，元數(shù)據(jù)，數(shù)據(jù)格式，信息校驗(yàn)方式都不一致，這導(dǎo)致商務(wù)職能部，市場(chǎng)策劃部通過數(shù)據(jù)進(jìn)行分析是產(chǎn)生了很大的困惑，他們必須經(jīng)過大量的調(diào)查明晰數(shù)據(jù)的含義，進(jìn)過清洗，轉(zhuǎn)換，標(biāo)準(zhǔn)化數(shù)據(jù)的格式后才能使用。

利用數(shù)據(jù)生命周期的分析思路，若能在管理和流程上明確數(shù)據(jù)維護(hù)的責(zé)任主體，在源頭處切入質(zhì)量監(jiān)控節(jié)點(diǎn)，對(duì)關(guān)鍵元數(shù)據(jù)進(jìn)行統(tǒng)一，將能有效的解決這些問題，數(shù)據(jù)質(zhì)量也能大幅度的提升。

二、 數(shù)據(jù)質(zhì)量管理的技術(shù)關(guān)鍵點(diǎn)

在技術(shù)實(shí)踐上，如何利用技術(shù)能力，幫助企業(yè)更容易的實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的提升，我們?cè)陧?xiàng)目中提煉了四項(xiàng)技術(shù)原則。

原則1：:從需求開始控制數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量一直是企業(yè)的痛點(diǎn)，數(shù)據(jù)質(zhì)量不高，分析和挖掘無從談起，但是企業(yè)容易出現(xiàn)的問題是只對(duì)已經(jīng)產(chǎn)生的數(shù)據(jù)做檢查，然后再將錯(cuò)誤數(shù)據(jù)剔除，這種方法治標(biāo)不治本，不能從根本上解決問題。

要想真正解決數(shù)據(jù)質(zhì)量問題，應(yīng)該從需求開始，將數(shù)據(jù)質(zhì)量的服務(wù)集成到需求分析人員、模型設(shè)計(jì)人員與開發(fā)人員的工作環(huán)境中，讓大家在日常的工作環(huán)境中自動(dòng)控制數(shù)據(jù)質(zhì)量，在數(shù)據(jù)的全生命周期中控制數(shù)據(jù)質(zhì)量。

原則2：在集成點(diǎn)檢查數(shù)據(jù)質(zhì)量

在企業(yè)大數(shù)據(jù)治理過程中，對(duì)于大數(shù)據(jù)生產(chǎn)線中的每個(gè)集成點(diǎn)，都需要做數(shù)據(jù)質(zhì)量的檢查，嚴(yán)格控制輸入數(shù)據(jù)的質(zhì)量。比如在數(shù)據(jù)采集過程，集成過程，分析過程等等都需要做檢查。

但在大數(shù)據(jù)環(huán)境中，每個(gè)集成點(diǎn)都會(huì)有海量數(shù)據(jù)量流過，把數(shù)據(jù)逐條檢查這種傳統(tǒng)方式是行不通的，應(yīng)該采用抽樣的方式，對(duì)一批數(shù)據(jù)做數(shù)據(jù)質(zhì)量的檢查，來確定這批數(shù)據(jù)是否滿足一定的質(zhì)量區(qū)間，再?zèng)Q定是否需要對(duì)這批數(shù)據(jù)做詳細(xì)的檢查。

原則3：持續(xù)積累檢核規(guī)則

目前企業(yè)內(nèi)的數(shù)據(jù)主要分為外部數(shù)據(jù)和內(nèi)部數(shù)據(jù)，大數(shù)據(jù)時(shí)代到來讓各企業(yè)廣泛采購(gòu)第三方數(shù)據(jù)，第三方數(shù)據(jù)的質(zhì)量逐漸成為決定企業(yè)數(shù)據(jù)質(zhì)量的關(guān)鍵因素。

對(duì)于企業(yè)的內(nèi)部數(shù)據(jù)，可以通過業(yè)務(wù)梳理直接獲得質(zhì)量檢核規(guī)則。但是對(duì)于外部第三方數(shù)據(jù)，需要先對(duì)這些數(shù)據(jù)進(jìn)行采樣，并應(yīng)用關(guān)聯(lián)算法自動(dòng)發(fā)現(xiàn)其中的質(zhì)量檢核規(guī)則，并將這些檢核規(guī)則持續(xù)積累，形成外部數(shù)據(jù)的檢核規(guī)則庫(kù)。

原則4：自動(dòng)化質(zhì)量評(píng)分

企業(yè)的數(shù)據(jù)管理需要對(duì)整個(gè)企業(yè)大數(shù)據(jù)的質(zhì)量有評(píng)判機(jī)制，需要能夠自動(dòng)化的對(duì)企業(yè)數(shù)據(jù)評(píng)分，促進(jìn)整改。通過控制防止問題數(shù)據(jù)進(jìn)入大數(shù)據(jù)平臺(tái)。特別對(duì)于第三方數(shù)據(jù)，第三方數(shù)據(jù)的質(zhì)量需要建立一定的評(píng)估模型，對(duì)于第三方數(shù)據(jù)的質(zhì)量做一定的控制，從而能夠保護(hù)企業(yè)的投資，使企業(yè)購(gòu)買的數(shù)據(jù)真正有價(jià)值和意義。

三、數(shù)據(jù)質(zhì)量管理實(shí)戰(zhàn)

上面介紹了數(shù)據(jù)質(zhì)量管理的核心三要素，以及基于三要素在實(shí)戰(zhàn)中抽取出來的四項(xiàng)技術(shù)原則。下面我們看一個(gè)完整案例。

這是一個(gè)新建系統(tǒng)從需求到投產(chǎn)的場(chǎng)景案例，數(shù)據(jù)質(zhì)量管控和切入共包含五個(gè)步驟。

基于系統(tǒng)建設(shè)的業(yè)務(wù)需求，分析數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，建立需求和標(biāo)準(zhǔn)的映射。從企業(yè)角度通過映射標(biāo)準(zhǔn)了解到需求是解決那個(gè)數(shù)據(jù)主題域的業(yè)務(wù)問題。數(shù)據(jù)標(biāo)準(zhǔn)的映射也統(tǒng)一了業(yè)務(wù)術(shù)語，實(shí)現(xiàn)了源頭出控制質(zhì)量的目的。

參考企業(yè)數(shù)據(jù)模型，依據(jù)本次業(yè)務(wù)需求設(shè)計(jì)出系統(tǒng)(項(xiàng)目)模型，系統(tǒng)模型的核心數(shù)據(jù)模型來源于企業(yè)數(shù)據(jù)模型。企業(yè)數(shù)據(jù)模型的參考從模型層面避免了，字段類型，字段長(zhǎng)度，字段命名不統(tǒng)一，不一致的問題。

上述兩步驟完成了數(shù)據(jù)生命周期的規(guī)劃階段，也按數(shù)據(jù)管理要素二思路落實(shí)企業(yè)數(shù)據(jù)模型。步驟三實(shí)現(xiàn)了本次系統(tǒng)建設(shè)的元數(shù)據(jù)管理，附加實(shí)現(xiàn)了核查系統(tǒng)元數(shù)據(jù)是否符合企業(yè)數(shù)據(jù)模型規(guī)范，是否符合數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范的工作。

對(duì)涉及數(shù)據(jù)集成整合的場(chǎng)景，要對(duì)數(shù)據(jù)生命周期中數(shù)據(jù)傳輸?shù)膸讉€(gè)環(huán)節(jié)進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)控和檢核，也就是在集成點(diǎn)處進(jìn)行監(jiān)控。在此階段設(shè)計(jì)到數(shù)據(jù)質(zhì)量規(guī)則制定的工作內(nèi)容。實(shí)現(xiàn)傳輸過程中數(shù)據(jù)質(zhì)量的把關(guān)。

若本次系統(tǒng)建設(shè)導(dǎo)致其他系統(tǒng)發(fā)生變更時(shí)，需要協(xié)同變更，是否發(fā)生變更時(shí)基于數(shù)據(jù)梳理實(shí)現(xiàn)元數(shù)據(jù)自動(dòng)化管理所帶來的直接保證。