大數(shù)據(jù)時(shí)代,數(shù)據(jù)管理的12條鐵則

在大數(shù)據(jù)的時(shí)代，大家都在重視數(shù)據(jù)存儲和一系列大數(shù)據(jù)相關(guān)技術(shù)，但是很多人忽略了數(shù)據(jù)是需要管理的，沒有經(jīng)過管理的數(shù)據(jù)，只能叫數(shù)據(jù)，而不能成為信息，無法真正體現(xiàn)出其內(nèi)在價(jià)值。

懂?dāng)?shù)據(jù)技術(shù)再加上知道數(shù)據(jù)該怎么管理，那么很可能就是CDO了。

我今天就來給大家講講如何更有效地管理數(shù)據(jù)，先舉個(gè)小例子：管家還是機(jī)器人？

1管家還是機(jī)器人？

假設(shè)你有一天回到家，看到家里非常臟亂，但是工作了一天的你不想自己動手打掃房間，所以你打算花錢請個(gè)管家。

但是管家告訴你，我自己沒辦法幫你打掃，我有一個(gè)辦公室，里面有男清潔工和女清潔工，你需要先給這些清潔工制定一系列制度流程，給他們分配好掃地的區(qū)域，然后這些清潔工需要拿著抹布、笤帚、垃圾桶，到你家去掃地，之后你還需要給這些清潔工評分，因?yàn)槲覀冇蠯PI機(jī)制…

“請管家”實(shí)在是太麻煩，但如果你親自來打掃，沒有專用的工具，有些角落無法打掃干凈。

其實(shí)你不需要專門設(shè)立辦公室，也不需要制定一系列制度流程，不需要準(zhǔn)備抹布、笤帚、垃圾桶，也不用評分，沒有KPI綁定——因?yàn)槟憧梢灾苯诱乙粋€(gè)機(jī)器人！

言歸正傳，對于數(shù)據(jù)治理來說，目前大部分企業(yè)還在沿用傳統(tǒng)的數(shù)據(jù)治理路線，相當(dāng)于還是在“請管家”，傳統(tǒng)數(shù)據(jù)治理方式存在著組織架構(gòu)龐大、管理流程復(fù)雜、人工錄入工作多、管理范圍狹窄等諸多弊端：

1. 組織架構(gòu)龐大

傳統(tǒng)數(shù)據(jù)治理需要多個(gè)部門參與，多個(gè)部門之間復(fù)雜的從屬關(guān)系讓數(shù)據(jù)治理組織架構(gòu)變得異常龐大，這樣的組織架構(gòu)在后期維護(hù)和管理上非常不方便，最終影響了數(shù)據(jù)治理任務(wù)分配和執(zhí)行的效率。

2. 管理流程復(fù)雜

傳統(tǒng)數(shù)據(jù)治理無論是在數(shù)據(jù)標(biāo)準(zhǔn)的建立、審批、修訂上，還是在IT任務(wù)分配與數(shù)據(jù)質(zhì)量報(bào)告的生成上，都需要經(jīng)過一系列復(fù)雜的流程，這些流程的審批與中間的周轉(zhuǎn)大大增加了數(shù)據(jù)治理落地的難度。

3. 人工錄入工作多

傳統(tǒng)數(shù)據(jù)治理缺乏平臺和工具的支撐，自動化能力缺失，導(dǎo)致大部分?jǐn)?shù)據(jù)相關(guān)的錄入工作都由人工來完成，涉及到的人員眾多，人工成本過高，效率比較低而且容易出錯，人員管理上也存在一定困難，不利于長期發(fā)展。

4. 管理范圍狹窄

傳統(tǒng)數(shù)據(jù)管理最終的結(jié)果往往不盡如人意，傳統(tǒng)數(shù)據(jù)治理只能管理DW（數(shù)據(jù)倉庫）中的數(shù)據(jù)而不是全企業(yè)的數(shù)據(jù)。

傳統(tǒng)數(shù)據(jù)治理的這些弊端，讓企業(yè)無法真正體驗(yàn)到數(shù)據(jù)管理帶來的收益，企業(yè)應(yīng)該慢慢摒棄傳統(tǒng)數(shù)據(jù)治理這種“請管家”的路線。采用敏捷數(shù)據(jù)管理的方法，尋找適合的“機(jī)器人”，簡化數(shù)據(jù)管理組織架構(gòu)和流程，以自動化方式代替人工錄入，拓寬數(shù)據(jù)管理的范疇。

2選擇掃地機(jī)器人的12個(gè)技術(shù)原則

為實(shí)現(xiàn)敏捷數(shù)據(jù)管理，一方面，企業(yè)應(yīng)該明確數(shù)據(jù)治理的價(jià)值導(dǎo)向，其價(jià)值應(yīng)該體現(xiàn)在幫助企業(yè)管理數(shù)據(jù)，打破部門間的壁壘，使數(shù)據(jù)的管理成為日常工作的一部分；

另一方面，更為重要的是，企業(yè)在實(shí)現(xiàn)敏捷數(shù)據(jù)管理的過程中，應(yīng)該以技術(shù)實(shí)踐為核心，利用一系列技術(shù)手段以最小的工作量，幫助業(yè)務(wù)部門明確數(shù)據(jù)脈絡(luò)，落地?cái)?shù)據(jù)標(biāo)準(zhǔn)，提高數(shù)據(jù)質(zhì)量，最終管理好企業(yè)內(nèi)的所有數(shù)據(jù)，實(shí)現(xiàn)企業(yè)級的數(shù)據(jù)管理。

在技術(shù)實(shí)踐上，如何挑選“機(jī)器人”，來實(shí)現(xiàn)敏捷數(shù)據(jù)管理，才是企業(yè)應(yīng)該關(guān)注的重點(diǎn)。

我對企業(yè)數(shù)據(jù)管理過程中應(yīng)該遵循的一系列技術(shù)原則進(jìn)行了如下總結(jié)，從技術(shù)上告訴大家如何對“機(jī)器人”進(jìn)行挑選。

這十二個(gè)技術(shù)原則分別是：

我們再來好好看看這個(gè)機(jī)器人的12個(gè)特性每個(gè)是干什么的？

1. 統(tǒng)一管理企業(yè)資產(chǎn)

不會擦地的掃地機(jī)器人，不是好清潔工。一個(gè)合格的掃地機(jī)器人，應(yīng)該能夠把整個(gè)家都收拾整齊，而不只是掃地。

對于敏捷數(shù)據(jù)管理來說，應(yīng)該能夠在技術(shù)上管理企業(yè)內(nèi)部所有資產(chǎn)，也就是所有的元數(shù)據(jù)。這是企業(yè)實(shí)現(xiàn)敏捷數(shù)據(jù)管理最基礎(chǔ)、最重要的原則。

目前企業(yè)元數(shù)據(jù)管理的技術(shù)架構(gòu)一般都是基于CWM標(biāo)準(zhǔn)，OMG模型規(guī)范體系分為M3，M2，M1，M0四層，CWM標(biāo)準(zhǔn)位于M2層，是一個(gè)偏上層的規(guī)范，這從一定程度上限制了技術(shù)架構(gòu)的擴(kuò)展性，這種元數(shù)據(jù)管理技術(shù)架構(gòu)只能管理企業(yè)數(shù)據(jù)相關(guān)資產(chǎn)，并不能管理對象、接口、業(yè)務(wù)、服務(wù)等其他企業(yè)信息。

為了增強(qiáng)技術(shù)架構(gòu)的擴(kuò)展性，實(shí)現(xiàn)對企業(yè)內(nèi)部所有數(shù)據(jù)資產(chǎn)的管理，企業(yè)元數(shù)據(jù)管理技術(shù)架構(gòu)需要基于更底層的規(guī)范，也就是位于OMG模型規(guī)范體系M3層能夠描述CWM標(biāo)準(zhǔn)的MOF規(guī)范，基于MOF規(guī)范的元數(shù)據(jù)管理架構(gòu)能夠幫助企業(yè)擴(kuò)展出其所需要的所有元模型，進(jìn)而實(shí)現(xiàn)企業(yè)所有資產(chǎn)的統(tǒng)一管理。

2. 自動獲取資產(chǎn)信息

機(jī)器人應(yīng)該能夠通過“采集器”自動獲取主人的指令，而不是所有的指令都要主人通過按鈕來手工控制。

對于企業(yè)來說，要想統(tǒng)一管理所有信息資產(chǎn)，還依靠原來人工錄入資產(chǎn)的方式肯定是不行的。

企業(yè)需要從技術(shù)上提供各種自動化能力，實(shí)現(xiàn)對資產(chǎn)信息的自動獲取，包括自動數(shù)據(jù)信息采集、自動服務(wù)信息采集與自動業(yè)務(wù)信息采集等。

這要求企業(yè)使用的數(shù)據(jù)管理工具支持一系列的采集器，并且多采用直連的方式來采集相關(guān)信息。

3. 識別與管理業(yè)務(wù)語義

合格的機(jī)器人要能夠聽懂主人的指令，最好內(nèi)置Siri，能夠人機(jī)對話。

企業(yè)數(shù)據(jù)管理也一樣，很多業(yè)務(wù)的語義十分依賴業(yè)務(wù)人員的人工梳理，難度大效率低，很可能出現(xiàn)因?yàn)槭崂砣藛T沒有及時(shí)梳理，而造成業(yè)務(wù)語義難以被及時(shí)發(fā)現(xiàn)和管理的問題。

未來企業(yè)將會面臨數(shù)字化轉(zhuǎn)型，從非結(jié)構(gòu)化的文檔中，將大部分業(yè)務(wù)語義抽取出來，并統(tǒng)一管理，成為未來的發(fā)展趨勢（比如對于保險(xiǎn)企業(yè)來說，可以利用業(yè)務(wù)語義抽取技術(shù)，從相關(guān)文檔中自動識別出短期保險(xiǎn)的定義）。

這種能力可以通過自然語言分析技術(shù)來實(shí)現(xiàn)，企業(yè)可以通過綜合多個(gè)材料中對同一業(yè)務(wù)的描述，分析出最新與最廣泛認(rèn)可的業(yè)務(wù)定義，由業(yè)務(wù)人員確認(rèn)之后，識別出業(yè)務(wù)語義，這樣大大減少了業(yè)務(wù)人員的工作量，提升了業(yè)務(wù)人員梳理業(yè)務(wù)語義的積極性。

4. 業(yè)務(wù)語義與技術(shù)關(guān)聯(lián)

合格的機(jī)器人，需要聽懂主人的語言，并根據(jù)主人的不同指示，啟動不同的程序。

對于企業(yè)數(shù)據(jù)管理來說，技術(shù)能弄懂業(yè)務(wù)的前提是技術(shù)與業(yè)務(wù)之間要有對應(yīng)，讓企業(yè)能夠通過技術(shù)手段，對業(yè)務(wù)進(jìn)行理解和分析。

目前大部分企業(yè)還是靠人工梳理對應(yīng)業(yè)務(wù)與技術(shù)，業(yè)務(wù)部門負(fù)擔(dān)很重，若能夠利用數(shù)據(jù)治理工具提供商的行業(yè)實(shí)踐積累，形成業(yè)務(wù)與技術(shù)的自動關(guān)聯(lián)庫，自動完成業(yè)務(wù)與技術(shù)對應(yīng)，將能大大減少業(yè)務(wù)人員的工作量，同時(shí)提升技術(shù)與業(yè)務(wù)關(guān)聯(lián)的準(zhǔn)確度，消除業(yè)務(wù)與技術(shù)之間的鴻溝。

5. 從需求開始控制數(shù)據(jù)質(zhì)量

要想讓房間徹底變干凈，這個(gè)機(jī)器人不能只是在房間亂了之后再進(jìn)行打掃，要想真正解決房間衛(wèi)生問題，機(jī)器人需要在主人的日常生活中時(shí)刻提醒主人保持良好的衛(wèi)生習(xí)慣，從根源防止衛(wèi)生問題的出現(xiàn)。

其實(shí)數(shù)據(jù)質(zhì)量一直是企業(yè)的痛點(diǎn)，數(shù)據(jù)質(zhì)量不高，分析和挖掘無從談起，但是企業(yè)容易犯一個(gè)錯誤，就是只對已經(jīng)產(chǎn)生的數(shù)據(jù)做檢查，然后再將錯誤數(shù)據(jù)剔除，這種方法治標(biāo)不治本，不能從根本上解決問題。

要想真正解決數(shù)據(jù)質(zhì)量問題，應(yīng)該從需求開始，將數(shù)據(jù)質(zhì)量的服務(wù)集成到需求分析人員、模型設(shè)計(jì)人員與開發(fā)人員的工作環(huán)境中，讓大家在日常的工作環(huán)境中自動控制數(shù)據(jù)質(zhì)量，在數(shù)據(jù)的全生命周期中控制數(shù)據(jù)質(zhì)量。

6. 在集成點(diǎn)檢查數(shù)據(jù)質(zhì)量

合格的機(jī)器人需要對主人日?；顒又械母鱾€(gè)重要時(shí)刻進(jìn)行檢查，比如吃飯之前、睡覺之前等，嚴(yán)格控制主人的衛(wèi)生情況，當(dāng)房間內(nèi)的人數(shù)比較多時(shí)，要通過抽查的方式檢查人們的衛(wèi)生情況。

在企業(yè)大數(shù)據(jù)治理過程中，對于大數(shù)據(jù)生產(chǎn)線中的每個(gè)集成點(diǎn)，都需要做數(shù)據(jù)質(zhì)量的檢查，嚴(yán)格控制輸入數(shù)據(jù)的質(zhì)量。

但在企業(yè)實(shí)際場景中，每個(gè)集成點(diǎn)的數(shù)據(jù)量會非常大，把數(shù)據(jù)一條條拿出來做檢查這種傳統(tǒng)方式是行不通的，應(yīng)該先對數(shù)據(jù)進(jìn)行抽樣，根據(jù)抽樣檢查的結(jié)果，決定是否采用這批數(shù)據(jù)。

7. 持續(xù)積累檢核規(guī)則

主人自己在家時(shí)，機(jī)器人可以直接根據(jù)主人的生活習(xí)慣制定出檢查規(guī)則，但是當(dāng)有外來客人時(shí)，就需要對這些客人進(jìn)行抽查，啟動相關(guān)程序自動制定出檢查規(guī)則并對這些規(guī)則進(jìn)行存儲，形成外來客人的檢查規(guī)則庫。

目前企業(yè)內(nèi)的數(shù)據(jù)主要分為外部數(shù)據(jù)和內(nèi)部數(shù)據(jù)，大數(shù)據(jù)時(shí)代到來讓各企業(yè)廣泛采購第三方數(shù)據(jù)，第三方數(shù)據(jù)的質(zhì)量逐漸成為決定企業(yè)數(shù)據(jù)質(zhì)量的關(guān)鍵因素。

對于企業(yè)的內(nèi)部數(shù)據(jù)，可以通過業(yè)務(wù)梳理直接獲得質(zhì)量檢核規(guī)則。

但是對于外部第三方數(shù)據(jù)，需要先對這些數(shù)據(jù)進(jìn)行采樣，并應(yīng)用關(guān)聯(lián)算法自動發(fā)現(xiàn)其中的質(zhì)量檢核規(guī)則，并將這些檢核規(guī)則持續(xù)積累，形成外部數(shù)據(jù)的檢核規(guī)則庫。

8. 自動化質(zhì)量評分

無論是主人還是外來客人，進(jìn)入房間之前，都要先在走廊上接受機(jī)器人的衛(wèi)生打分和整改，衛(wèi)生條件合格的人才可以進(jìn)入房間。

在企業(yè)數(shù)據(jù)治理中，應(yīng)該與數(shù)據(jù)采集工具、交換工具相連接，對數(shù)據(jù)湖泊中的數(shù)據(jù)進(jìn)行評分和整改，評分和整改通過的數(shù)據(jù)才能進(jìn)一步進(jìn)入大數(shù)據(jù)平臺。

9. 管理核心數(shù)據(jù)定義

機(jī)器人只需要針對主人身上的關(guān)鍵部位制定相應(yīng)的衛(wèi)生標(biāo)準(zhǔn)，就可以大體控制主人的衛(wèi)生情況，并不需要為主人全身各個(gè)部位都制定出專門的衛(wèi)生標(biāo)準(zhǔn)。

在企業(yè)數(shù)據(jù)治理中，數(shù)據(jù)標(biāo)準(zhǔn)是很重要的內(nèi)容，但是建立有效的數(shù)據(jù)標(biāo)準(zhǔn)并落地，是有一定難度的，傳統(tǒng)數(shù)據(jù)管理的模式需要建立一套規(guī)范數(shù)據(jù)模型，即使企業(yè)實(shí)際數(shù)據(jù)模型中有上萬個(gè)字段，也需要將每個(gè)字段與規(guī)范數(shù)據(jù)模型進(jìn)行比對，這種方式往往難以落地。

其實(shí)只需要在眾多數(shù)據(jù)中挑選出核心數(shù)據(jù)，只管理這些核心數(shù)據(jù)定義，依照核心數(shù)據(jù)建立標(biāo)準(zhǔn)，就可以實(shí)現(xiàn)企業(yè)數(shù)據(jù)治理的目標(biāo)，還能提升數(shù)據(jù)治理的效率。

10. 以數(shù)據(jù)標(biāo)準(zhǔn)添加技術(shù)屬性

合格的機(jī)器人應(yīng)該能夠把所有的衛(wèi)生標(biāo)準(zhǔn)，轉(zhuǎn)換為機(jī)器可以理解的語言，比如主人規(guī)定飯桌干凈的標(biāo)準(zhǔn)是飯桌上沒有任何東西，機(jī)器人需要將這條標(biāo)準(zhǔn)翻譯成機(jī)器語言，相當(dāng)于為這條標(biāo)準(zhǔn)增加技術(shù)屬性，比如“if(things() == false)”之類的。

在企業(yè)數(shù)據(jù)治理中，任何一個(gè)數(shù)據(jù)標(biāo)準(zhǔn)，如何沒有對應(yīng)的技術(shù)手段，都將難以落地，所以企業(yè)建立數(shù)據(jù)標(biāo)準(zhǔn)時(shí)，需要加入信息項(xiàng)的英文名稱，來和實(shí)際數(shù)據(jù)庫表中的字段相對應(yīng)。

在數(shù)據(jù)標(biāo)準(zhǔn)中加入信息項(xiàng)的英文名稱能給企業(yè)數(shù)據(jù)治理帶來兩方面的好處：

1. 在做模型設(shè)計(jì)的時(shí)候，標(biāo)準(zhǔn)可以直接與模型設(shè)計(jì)工具集成，設(shè)計(jì)模型時(shí)就可以直接引用標(biāo)準(zhǔn)。

2. 對已有系統(tǒng)，標(biāo)準(zhǔn)能夠通過英文名稱直接和應(yīng)用系統(tǒng)的相關(guān)字段對應(yīng)，自動發(fā)現(xiàn)與不符合標(biāo)準(zhǔn)的字段，并通過元數(shù)據(jù)直接通知給相應(yīng)的系統(tǒng)。

11. 隨業(yè)務(wù)持續(xù)更新數(shù)據(jù)標(biāo)準(zhǔn)

優(yōu)秀的機(jī)器人能夠自動更新衛(wèi)生標(biāo)準(zhǔn)，隨著時(shí)間的積累，讓這些衛(wèi)生標(biāo)準(zhǔn)越來越符合主人的要求。

對于企業(yè)數(shù)據(jù)治理來說，有很多數(shù)據(jù)標(biāo)準(zhǔn)建立以后，往往只是一套書，沒有根據(jù)企業(yè)業(yè)務(wù)發(fā)展及時(shí)做出更新，時(shí)間長了就成為了擺設(shè)。

實(shí)際上，數(shù)據(jù)標(biāo)準(zhǔn)是需要隨著企業(yè)的業(yè)務(wù)變化而不斷進(jìn)行修訂的，比如在企業(yè)拓展新業(yè)務(wù)的時(shí)候，需要增加相應(yīng)的標(biāo)準(zhǔn)進(jìn)去，對于沒有價(jià)值的標(biāo)準(zhǔn)，也要及時(shí)廢棄。

12. 數(shù)據(jù)管理能力服務(wù)化

機(jī)器人是用來為主人“服務(wù)”的，其作用是幫助主人清理房間，而不是來“管理”主人的。

對于企業(yè)數(shù)據(jù)治理來說，數(shù)據(jù)管理服務(wù)化是企業(yè)能否實(shí)現(xiàn)敏捷數(shù)據(jù)管理的重要原則，敏捷數(shù)據(jù)管理強(qiáng)調(diào)企業(yè)把所有的技術(shù)能力全面共享成為服務(wù)，并融入到企業(yè)的各個(gè)系統(tǒng)中“幫助”各個(gè)系統(tǒng)控制數(shù)據(jù)質(zhì)量，規(guī)范數(shù)據(jù)，而不是對企業(yè)各個(gè)部門的人員進(jìn)行“管理”，這樣就能使數(shù)據(jù)管理融入到各部門人員的工作環(huán)境中，讓大家在日常的工作環(huán)境中自動控制數(shù)據(jù)質(zhì)量。

3敏捷數(shù)據(jù)管理實(shí)戰(zhàn)案例

以上這些原則我們在某個(gè)大型銀行都有落地。 比如管理了所有的元數(shù)據(jù)，自動化的獲取了資產(chǎn)信息等等，限于時(shí)間關(guān)系，就不一一贅述。

未來在大數(shù)據(jù)時(shí)代，數(shù)據(jù)除了要存儲起來，更加重要的是要管理好，相信未來會有更多的企業(yè)重視數(shù)據(jù)的管理。這樣企業(yè)的數(shù)據(jù)湖才能一直清澈下去，而不是成為數(shù)據(jù)沼澤。