數(shù)據(jù)模型梳理：一個(gè)自下而上的數(shù)據(jù)治理方法

一、數(shù)據(jù)模型梳理背景

我們?cè)趥鹘y(tǒng)企業(yè)（如電信、航空、電力、政府等）實(shí)施一個(gè)個(gè)數(shù)據(jù)治理項(xiàng)目的時(shí)候，總會(huì)發(fā)現(xiàn)基本類(lèi)似的問(wèn)題：

●企業(yè)內(nèi)IT系統(tǒng)越來(lái)越多，其復(fù)雜度也越來(lái)越高，沒(méi)有人能說(shuō)明清楚整個(gè)系統(tǒng)的數(shù)據(jù)架構(gòu)和數(shù)據(jù)流向，數(shù)據(jù)架構(gòu)與業(yè)務(wù)流程 、應(yīng)用架構(gòu)之間的關(guān)系不清晰?！昂诎怠睌?shù)據(jù)（指存在于系統(tǒng)中但無(wú)法說(shuō)明與業(yè)務(wù)間的關(guān)系，后續(xù)亦無(wú)法對(duì)數(shù)據(jù)進(jìn)行分析和應(yīng)用）現(xiàn)象非常明顯。

●數(shù)據(jù)模型管理能力自身在不斷減弱；開(kāi)發(fā)團(tuán)隊(duì)出于現(xiàn)實(shí)壓力，以實(shí)現(xiàn)功能為主，對(duì)非功能性需求不太在意，導(dǎo)致模型設(shè)計(jì)質(zhì)量不高。IT系統(tǒng)出現(xiàn)先實(shí)現(xiàn)后優(yōu)化的現(xiàn)象，優(yōu)化效果滯后。

●數(shù)據(jù)模型變更失控，大多數(shù)系統(tǒng)都處于積術(shù)式疊代開(kāi)發(fā)，新需求就加一堆表，系統(tǒng)數(shù)據(jù)模型越來(lái)越雍腫；數(shù)據(jù)模型變更長(zhǎng)期缺少基線化，大量已經(jīng)廢棄業(yè)務(wù)以及相關(guān)數(shù)據(jù)模型仍然存在于數(shù)據(jù)庫(kù)，無(wú)人敢動(dòng)。

●數(shù)據(jù)無(wú)序增長(zhǎng)，企業(yè)核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)無(wú)有效的退出機(jī)制，業(yè)務(wù)系統(tǒng)容量無(wú)序增長(zhǎng)，長(zhǎng)期處于“系統(tǒng)擴(kuò)容-數(shù)據(jù)膨脹-性能低下-系統(tǒng)擴(kuò)容”的怪圈之中。

●數(shù)據(jù)標(biāo)準(zhǔn)缺失，缺少企業(yè)級(jí)別統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)模型相關(guān)含義令開(kāi)發(fā)和運(yùn)維人員難以理解；同時(shí)，亦使得企業(yè)不同應(yīng)用間的數(shù)據(jù)集成和數(shù)據(jù)共享困難。

●數(shù)據(jù)安全突出，對(duì)企業(yè)的敏感數(shù)據(jù)、用戶、訪問(wèn)權(quán)限仍然缺少認(rèn)識(shí)和控制，數(shù)據(jù)敏感數(shù)據(jù)泄漏的安全事件屢見(jiàn)不鮮。

●數(shù)據(jù)質(zhì)量參差，數(shù)據(jù)處理環(huán)節(jié)中產(chǎn)生大量的錯(cuò)誤和質(zhì)量差的數(shù)據(jù)，數(shù)據(jù)錯(cuò)誤發(fā)現(xiàn)和處理流程不及時(shí)，導(dǎo)致更多的后續(xù)錯(cuò)誤。

從這些問(wèn)題之中亦反映了一個(gè)現(xiàn)實(shí)：在當(dāng)今，數(shù)據(jù)作為一種企業(yè)的重要資產(chǎn)而被人們廣泛接納的時(shí)候，對(duì)于廣大的傳統(tǒng)企業(yè)，正是由于企業(yè)在觀念和技術(shù)上的缺少而導(dǎo)致數(shù)據(jù)模型管理方面的缺失，使企業(yè)連讀懂自身的數(shù)據(jù)都是如此困難的一件事，更難以談得上后續(xù)的數(shù)據(jù)分析和應(yīng)用。

二、一種自下而上的數(shù)據(jù)治理

由上面問(wèn)題的分析和歸納，在數(shù)據(jù)治理這個(gè)范疇上，我們應(yīng)該首先解決的是企業(yè)對(duì)其數(shù)據(jù)的了解和認(rèn)知。

由于IT系統(tǒng)數(shù)據(jù)模型反映了應(yīng)用關(guān)系型數(shù)據(jù)庫(kù)在數(shù)據(jù)存儲(chǔ)及數(shù)據(jù)結(jié)構(gòu)，是元數(shù)據(jù)的主要組成部分。在今天關(guān)系型數(shù)據(jù)庫(kù)仍然大行其道的當(dāng)下，一種清晰并且與系統(tǒng)應(yīng)用實(shí)踐高度一致的數(shù)據(jù)模型可以促進(jìn)了各種應(yīng)用數(shù)據(jù)的管理、基于角色的有價(jià)值數(shù)據(jù)資產(chǎn)訪問(wèn)以及持續(xù)的數(shù)據(jù)集成。并且強(qiáng)化了元數(shù)據(jù)管理，使組織理解它們所擁有的數(shù)據(jù)，以及數(shù)據(jù)與業(yè)務(wù)流程之間的關(guān)系，不管數(shù)據(jù)來(lái)自于什么數(shù)據(jù)，什么樣的產(chǎn)品平臺(tái)以及任何地方。

因此，數(shù)據(jù)模型梳理，也正是傳統(tǒng)企業(yè)必需一個(gè)自下而上的數(shù)據(jù)治理方法之一。

經(jīng)過(guò)完整數(shù)據(jù)模型梳理可以預(yù)期可以達(dá)到什么樣的效果：

●克服黑暗數(shù)據(jù)現(xiàn)象，通過(guò)清晰的元數(shù)據(jù)和數(shù)據(jù)模型管理讓企業(yè)可以真正理解和運(yùn)用自身的數(shù)據(jù)，并不斷擴(kuò)大應(yīng)用和分析數(shù)據(jù)的范圍和規(guī)模。

●明確數(shù)據(jù)含義，了解數(shù)據(jù)訪問(wèn)與業(yè)務(wù)流程之間的關(guān)系，幫助企業(yè)業(yè)務(wù)使用者（不僅包括IT）可以使用數(shù)據(jù)和應(yīng)用數(shù)據(jù)幫助他們更好完成工作，推動(dòng)全面數(shù)據(jù)化運(yùn)營(yíng)。

●連接和映射更多數(shù)據(jù)，充分發(fā)掘現(xiàn)有的數(shù)據(jù)之間的關(guān)系，擴(kuò)大數(shù)據(jù)規(guī)模效應(yīng)，讓數(shù)據(jù)可以充分發(fā)揮其作用和價(jià)值。

●為其他的數(shù)據(jù)資產(chǎn)管理活動(dòng)，包括數(shù)據(jù)質(zhì)量、數(shù)據(jù)生命周期管理、數(shù)據(jù)操作、數(shù)據(jù)安全、主數(shù)據(jù)管理等提供一個(gè)高質(zhì)量的基礎(chǔ)。

其實(shí)，在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域中，元數(shù)據(jù)管理正是用來(lái)解決這個(gè)問(wèn)題的但由于種種原因，實(shí)際上傳統(tǒng)企業(yè)中元數(shù)據(jù)管理也不盡如人意，出現(xiàn)元數(shù)據(jù)與實(shí)際環(huán)境嚴(yán)重脫節(jié)，不能反映其真實(shí)數(shù)據(jù)架構(gòu)等現(xiàn)象。我們?cè)谀畴娦胚\(yùn)營(yíng)商實(shí)現(xiàn)數(shù)據(jù)治理項(xiàng)目時(shí)，曾經(jīng)遇到的最真實(shí)情況是，大多數(shù)的系統(tǒng)（或者項(xiàng)目）沒(méi)有數(shù)據(jù)模型設(shè)計(jì)文檔，而其中最核心的業(yè)務(wù)系統(tǒng)之一的數(shù)據(jù)模型最新版本是2年前的，進(jìn)行初步稽核之后，數(shù)據(jù)模型與實(shí)際生產(chǎn)環(huán)境對(duì)得上的只有40%左右。

三、數(shù)據(jù)模型梳理實(shí)施方法

一般而言，數(shù)據(jù)模型梳理的實(shí)施步驟大致分為三個(gè)步驟：

1.物理模型梳理和優(yōu)化

物理模型梳理的實(shí)質(zhì)在于數(shù)據(jù)模型從關(guān)系數(shù)據(jù)庫(kù)，形成一份穩(wěn)定的物理模型設(shè)計(jì)。但它也不等同于單純應(yīng)用PowerDesigner等工具從數(shù)據(jù)庫(kù)中進(jìn)行反向工程（reverse engeering）的結(jié)果，或者可以這樣講，反向工程只是其中的初始步驟。初始反向工程出來(lái)的結(jié)果，經(jīng)過(guò)層層的篩選、過(guò)濾、合并和優(yōu)化以后，最終經(jīng)各方確認(rèn)后形成物理模型基線，供后續(xù)邏輯模型梳理的基礎(chǔ)，以及作為后續(xù)數(shù)據(jù)模型變更作為基線。

2.邏輯模型梳理

邏輯模型梳理的實(shí)質(zhì)，就是在在數(shù)據(jù)物理模型的基礎(chǔ)上，通過(guò)實(shí)體關(guān)系分析、字段含義梳理，字段取值梳理等手段，形成企業(yè)IT系統(tǒng)邏輯模型。在這個(gè)階段，需要引入數(shù)據(jù)架構(gòu)師，業(yè)務(wù)專(zhuān)家，DBA，業(yè)務(wù)人員等不同角色的人員共同努力實(shí)現(xiàn)數(shù)據(jù)邏輯模型的梳理。在相應(yīng)工具的支持下，以應(yīng)用系統(tǒng)核心實(shí)體和關(guān)鍵實(shí)體為突破點(diǎn)，逐步展開(kāi)和梳理邏輯模型梳理的步驟。

由于完全的邏輯模型梳理往往會(huì)引發(fā)大量的工作量，一般而言，可以因應(yīng)不同的系統(tǒng)、系統(tǒng)中不同的業(yè)務(wù)有重點(diǎn)地（分不同層次地）進(jìn)行邏輯模型梳理。

3.業(yè)務(wù)數(shù)據(jù)地圖梳理

最后，在自動(dòng)化的手段下，以業(yè)務(wù)專(zhuān)家為主梳理和形成業(yè)務(wù)與數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，并以圖形化、可視化方式展現(xiàn)出來(lái)。業(yè)務(wù)數(shù)據(jù)地圖，著重體現(xiàn)業(yè)務(wù)-應(yīng)用-數(shù)據(jù)之間的關(guān)系和影響。

四、小結(jié)

企業(yè)進(jìn)行數(shù)據(jù)治理的目的在于為企業(yè)數(shù)據(jù)化運(yùn)營(yíng)提供一個(gè)高質(zhì)量的數(shù)據(jù)環(huán)境，包括數(shù)據(jù)完整性，數(shù)據(jù)安全性，數(shù)據(jù)一致性，數(shù)據(jù)標(biāo)準(zhǔn)化，數(shù)據(jù)準(zhǔn)確和及時(shí)等。其中，數(shù)據(jù)模型梳理作為一種有效的自下而上的數(shù)據(jù)治理方式，可以提供一個(gè)關(guān)鍵手段來(lái)控制表面上變得日益復(fù)雜的數(shù)據(jù)管理環(huán)境，使人們可以驅(qū)動(dòng)數(shù)據(jù)：更有效地管理他們的數(shù)據(jù)，可以更有效的使用分析，讓數(shù)據(jù)發(fā)揮和創(chuàng)造更大的價(jià)值，真正指引企業(yè)的整體運(yùn)營(yíng)。