大數(shù)據(jù)時代,數(shù)據(jù)管理的12條鐵則

在大數(shù)據(jù)的時代，大家都在重視數(shù)據(jù)存儲和一系列大數(shù)據(jù)相關技術，但是很多人忽略了數(shù)據(jù)是需要管理的，沒有經(jīng)過管理的數(shù)據(jù)，只能叫數(shù)據(jù)，而不能成為信息，無法真正體現(xiàn)出其內在價值。

懂數(shù)據(jù)技術再加上知道數(shù)據(jù)該怎么管理，那么很可能就是CDO了。

我今天就來給大家講講如何更有效地管理數(shù)據(jù)，先舉個小例子：管家還是機器人？

1管家還是機器人？

假設你有一天回到家，看到家里非常臟亂，但是工作了一天的你不想自己動手打掃房間，所以你打算花錢請個管家。

但是管家告訴你，我自己沒辦法幫你打掃，我有一個辦公室，里面有男清潔工和女清潔工，你需要先給這些清潔工制定一系列制度流程，給他們分配好掃地的區(qū)域，然后這些清潔工需要拿著抹布、笤帚、垃圾桶，到你家去掃地，之后你還需要給這些清潔工評分，因為我們有KPI機制…

“請管家”實在是太麻煩，但如果你親自來打掃，沒有專用的工具，有些角落無法打掃干凈。

其實你不需要專門設立辦公室，也不需要制定一系列制度流程，不需要準備抹布、笤帚、垃圾桶，也不用評分，沒有KPI綁定——因為你可以直接找一個機器人！

言歸正傳，對于數(shù)據(jù)治理來說，目前大部分企業(yè)還在沿用傳統(tǒng)的數(shù)據(jù)治理路線，相當于還是在“請管家”，傳統(tǒng)數(shù)據(jù)治理方式存在著組織架構龐大、管理流程復雜、人工錄入工作多、管理范圍狹窄等諸多弊端：

1. 組織架構龐大

傳統(tǒng)數(shù)據(jù)治理需要多個部門參與，多個部門之間復雜的從屬關系讓數(shù)據(jù)治理組織架構變得異常龐大，這樣的組織架構在后期維護和管理上非常不方便，最終影響了數(shù)據(jù)治理任務分配和執(zhí)行的效率。

2. 管理流程復雜

傳統(tǒng)數(shù)據(jù)治理無論是在數(shù)據(jù)標準的建立、審批、修訂上，還是在IT任務分配與數(shù)據(jù)質量報告的生成上，都需要經(jīng)過一系列復雜的流程，這些流程的審批與中間的周轉大大增加了數(shù)據(jù)治理落地的難度。

3. 人工錄入工作多

傳統(tǒng)數(shù)據(jù)治理缺乏平臺和工具的支撐，自動化能力缺失，導致大部分數(shù)據(jù)相關的錄入工作都由人工來完成，涉及到的人員眾多，人工成本過高，效率比較低而且容易出錯，人員管理上也存在一定困難，不利于長期發(fā)展。

4. 管理范圍狹窄

傳統(tǒng)數(shù)據(jù)管理最終的結果往往不盡如人意，傳統(tǒng)數(shù)據(jù)治理只能管理DW（數(shù)據(jù)倉庫）中的數(shù)據(jù)而不是全企業(yè)的數(shù)據(jù)。

傳統(tǒng)數(shù)據(jù)治理的這些弊端，讓企業(yè)無法真正體驗到數(shù)據(jù)管理帶來的收益，企業(yè)應該慢慢摒棄傳統(tǒng)數(shù)據(jù)治理這種“請管家”的路線。采用敏捷數(shù)據(jù)管理的方法，尋找適合的“機器人”，簡化數(shù)據(jù)管理組織架構和流程，以自動化方式代替人工錄入，拓寬數(shù)據(jù)管理的范疇。

2選擇掃地機器人的12個技術原則

為實現(xiàn)敏捷數(shù)據(jù)管理，一方面，企業(yè)應該明確數(shù)據(jù)治理的價值導向，其價值應該體現(xiàn)在幫助企業(yè)管理數(shù)據(jù)，打破部門間的壁壘，使數(shù)據(jù)的管理成為日常工作的一部分；

另一方面，更為重要的是，企業(yè)在實現(xiàn)敏捷數(shù)據(jù)管理的過程中，應該以技術實踐為核心，利用一系列技術手段以最小的工作量，幫助業(yè)務部門明確數(shù)據(jù)脈絡，落地數(shù)據(jù)標準，提高數(shù)據(jù)質量，最終管理好企業(yè)內的所有數(shù)據(jù)，實現(xiàn)企業(yè)級的數(shù)據(jù)管理。

在技術實踐上，如何挑選“機器人”，來實現(xiàn)敏捷數(shù)據(jù)管理，才是企業(yè)應該關注的重點。

我對企業(yè)數(shù)據(jù)管理過程中應該遵循的一系列技術原則進行了如下總結，從技術上告訴大家如何對“機器人”進行挑選。

這十二個技術原則分別是：

我們再來好好看看這個機器人的12個特性每個是干什么的？

1. 統(tǒng)一管理企業(yè)資產

不會擦地的掃地機器人，不是好清潔工。一個合格的掃地機器人，應該能夠把整個家都收拾整齊，而不只是掃地。

對于敏捷數(shù)據(jù)管理來說，應該能夠在技術上管理企業(yè)內部所有資產，也就是所有的元數(shù)據(jù)。這是企業(yè)實現(xiàn)敏捷數(shù)據(jù)管理最基礎、最重要的原則。

目前企業(yè)元數(shù)據(jù)管理的技術架構一般都是基于CWM標準，OMG模型規(guī)范體系分為M3，M2，M1，M0四層，CWM標準位于M2層，是一個偏上層的規(guī)范，這從一定程度上限制了技術架構的擴展性，這種元數(shù)據(jù)管理技術架構只能管理企業(yè)數(shù)據(jù)相關資產，并不能管理對象、接口、業(yè)務、服務等其他企業(yè)信息。

為了增強技術架構的擴展性，實現(xiàn)對企業(yè)內部所有數(shù)據(jù)資產的管理，企業(yè)元數(shù)據(jù)管理技術架構需要基于更底層的規(guī)范，也就是位于OMG模型規(guī)范體系M3層能夠描述CWM標準的MOF規(guī)范，基于MOF規(guī)范的元數(shù)據(jù)管理架構能夠幫助企業(yè)擴展出其所需要的所有元模型，進而實現(xiàn)企業(yè)所有資產的統(tǒng)一管理。

2. 自動獲取資產信息

機器人應該能夠通過“采集器”自動獲取主人的指令，而不是所有的指令都要主人通過按鈕來手工控制。

對于企業(yè)來說，要想統(tǒng)一管理所有信息資產，還依靠原來人工錄入資產的方式肯定是不行的。

企業(yè)需要從技術上提供各種自動化能力，實現(xiàn)對資產信息的自動獲取，包括自動數(shù)據(jù)信息采集、自動服務信息采集與自動業(yè)務信息采集等。

這要求企業(yè)使用的數(shù)據(jù)管理工具支持一系列的采集器，并且多采用直連的方式來采集相關信息。

3. 識別與管理業(yè)務語義

合格的機器人要能夠聽懂主人的指令，最好內置Siri，能夠人機對話。

企業(yè)數(shù)據(jù)管理也一樣，很多業(yè)務的語義十分依賴業(yè)務人員的人工梳理，難度大效率低，很可能出現(xiàn)因為梳理人員沒有及時梳理，而造成業(yè)務語義難以被及時發(fā)現(xiàn)和管理的問題。

未來企業(yè)將會面臨數(shù)字化轉型，從非結構化的文檔中，將大部分業(yè)務語義抽取出來，并統(tǒng)一管理，成為未來的發(fā)展趨勢（比如對于保險企業(yè)來說，可以利用業(yè)務語義抽取技術，從相關文檔中自動識別出短期保險的定義）。

這種能力可以通過自然語言分析技術來實現(xiàn)，企業(yè)可以通過綜合多個材料中對同一業(yè)務的描述，分析出最新與最廣泛認可的業(yè)務定義，由業(yè)務人員確認之后，識別出業(yè)務語義，這樣大大減少了業(yè)務人員的工作量，提升了業(yè)務人員梳理業(yè)務語義的積極性。

4. 業(yè)務語義與技術關聯(lián)

合格的機器人，需要聽懂主人的語言，并根據(jù)主人的不同指示，啟動不同的程序。

對于企業(yè)數(shù)據(jù)管理來說，技術能弄懂業(yè)務的前提是技術與業(yè)務之間要有對應，讓企業(yè)能夠通過技術手段，對業(yè)務進行理解和分析。

目前大部分企業(yè)還是靠人工梳理對應業(yè)務與技術，業(yè)務部門負擔很重，若能夠利用數(shù)據(jù)治理工具提供商的行業(yè)實踐積累，形成業(yè)務與技術的自動關聯(lián)庫，自動完成業(yè)務與技術對應，將能大大減少業(yè)務人員的工作量，同時提升技術與業(yè)務關聯(lián)的準確度，消除業(yè)務與技術之間的鴻溝。

5. 從需求開始控制數(shù)據(jù)質量

要想讓房間徹底變干凈，這個機器人不能只是在房間亂了之后再進行打掃，要想真正解決房間衛(wèi)生問題，機器人需要在主人的日常生活中時刻提醒主人保持良好的衛(wèi)生習慣，從根源防止衛(wèi)生問題的出現(xiàn)。

其實數(shù)據(jù)質量一直是企業(yè)的痛點，數(shù)據(jù)質量不高，分析和挖掘無從談起，但是企業(yè)容易犯一個錯誤，就是只對已經(jīng)產生的數(shù)據(jù)做檢查，然后再將錯誤數(shù)據(jù)剔除，這種方法治標不治本，不能從根本上解決問題。

要想真正解決數(shù)據(jù)質量問題，應該從需求開始，將數(shù)據(jù)質量的服務集成到需求分析人員、模型設計人員與開發(fā)人員的工作環(huán)境中，讓大家在日常的工作環(huán)境中自動控制數(shù)據(jù)質量，在數(shù)據(jù)的全生命周期中控制數(shù)據(jù)質量。

6. 在集成點檢查數(shù)據(jù)質量

合格的機器人需要對主人日?；顒又械母鱾€重要時刻進行檢查，比如吃飯之前、睡覺之前等，嚴格控制主人的衛(wèi)生情況，當房間內的人數(shù)比較多時，要通過抽查的方式檢查人們的衛(wèi)生情況。

在企業(yè)大數(shù)據(jù)治理過程中，對于大數(shù)據(jù)生產線中的每個集成點，都需要做數(shù)據(jù)質量的檢查，嚴格控制輸入數(shù)據(jù)的質量。

但在企業(yè)實際場景中，每個集成點的數(shù)據(jù)量會非常大，把數(shù)據(jù)一條條拿出來做檢查這種傳統(tǒng)方式是行不通的，應該先對數(shù)據(jù)進行抽樣，根據(jù)抽樣檢查的結果，決定是否采用這批數(shù)據(jù)。

7. 持續(xù)積累檢核規(guī)則

主人自己在家時，機器人可以直接根據(jù)主人的生活習慣制定出檢查規(guī)則，但是當有外來客人時，就需要對這些客人進行抽查，啟動相關程序自動制定出檢查規(guī)則并對這些規(guī)則進行存儲，形成外來客人的檢查規(guī)則庫。

目前企業(yè)內的數(shù)據(jù)主要分為外部數(shù)據(jù)和內部數(shù)據(jù)，大數(shù)據(jù)時代到來讓各企業(yè)廣泛采購第三方數(shù)據(jù)，第三方數(shù)據(jù)的質量逐漸成為決定企業(yè)數(shù)據(jù)質量的關鍵因素。

對于企業(yè)的內部數(shù)據(jù)，可以通過業(yè)務梳理直接獲得質量檢核規(guī)則。

但是對于外部第三方數(shù)據(jù)，需要先對這些數(shù)據(jù)進行采樣，并應用關聯(lián)算法自動發(fā)現(xiàn)其中的質量檢核規(guī)則，并將這些檢核規(guī)則持續(xù)積累，形成外部數(shù)據(jù)的檢核規(guī)則庫。

8. 自動化質量評分

無論是主人還是外來客人，進入房間之前，都要先在走廊上接受機器人的衛(wèi)生打分和整改，衛(wèi)生條件合格的人才可以進入房間。

在企業(yè)數(shù)據(jù)治理中，應該與數(shù)據(jù)采集工具、交換工具相連接，對數(shù)據(jù)湖泊中的數(shù)據(jù)進行評分和整改，評分和整改通過的數(shù)據(jù)才能進一步進入大數(shù)據(jù)平臺。

9. 管理核心數(shù)據(jù)定義

機器人只需要針對主人身上的關鍵部位制定相應的衛(wèi)生標準，就可以大體控制主人的衛(wèi)生情況，并不需要為主人全身各個部位都制定出專門的衛(wèi)生標準。

在企業(yè)數(shù)據(jù)治理中，數(shù)據(jù)標準是很重要的內容，但是建立有效的數(shù)據(jù)標準并落地，是有一定難度的，傳統(tǒng)數(shù)據(jù)管理的模式需要建立一套規(guī)范數(shù)據(jù)模型，即使企業(yè)實際數(shù)據(jù)模型中有上萬個字段，也需要將每個字段與規(guī)范數(shù)據(jù)模型進行比對，這種方式往往難以落地。

其實只需要在眾多數(shù)據(jù)中挑選出核心數(shù)據(jù)，只管理這些核心數(shù)據(jù)定義，依照核心數(shù)據(jù)建立標準，就可以實現(xiàn)企業(yè)數(shù)據(jù)治理的目標，還能提升數(shù)據(jù)治理的效率。

10. 以數(shù)據(jù)標準添加技術屬性

合格的機器人應該能夠把所有的衛(wèi)生標準，轉換為機器可以理解的語言，比如主人規(guī)定飯桌干凈的標準是飯桌上沒有任何東西，機器人需要將這條標準翻譯成機器語言，相當于為這條標準增加技術屬性，比如“if(things() == false)”之類的。

在企業(yè)數(shù)據(jù)治理中，任何一個數(shù)據(jù)標準，如何沒有對應的技術手段，都將難以落地，所以企業(yè)建立數(shù)據(jù)標準時，需要加入信息項的英文名稱，來和實際數(shù)據(jù)庫表中的字段相對應。

在數(shù)據(jù)標準中加入信息項的英文名稱能給企業(yè)數(shù)據(jù)治理帶來兩方面的好處：

1. 在做模型設計的時候，標準可以直接與模型設計工具集成，設計模型時就可以直接引用標準。

2. 對已有系統(tǒng)，標準能夠通過英文名稱直接和應用系統(tǒng)的相關字段對應，自動發(fā)現(xiàn)與不符合標準的字段，并通過元數(shù)據(jù)直接通知給相應的系統(tǒng)。

11. 隨業(yè)務持續(xù)更新數(shù)據(jù)標準

優(yōu)秀的機器人能夠自動更新衛(wèi)生標準，隨著時間的積累，讓這些衛(wèi)生標準越來越符合主人的要求。

對于企業(yè)數(shù)據(jù)治理來說，有很多數(shù)據(jù)標準建立以后，往往只是一套書，沒有根據(jù)企業(yè)業(yè)務發(fā)展及時做出更新，時間長了就成為了擺設。

實際上，數(shù)據(jù)標準是需要隨著企業(yè)的業(yè)務變化而不斷進行修訂的，比如在企業(yè)拓展新業(yè)務的時候，需要增加相應的標準進去，對于沒有價值的標準，也要及時廢棄。

12. 數(shù)據(jù)管理能力服務化

機器人是用來為主人“服務”的，其作用是幫助主人清理房間，而不是來“管理”主人的。

對于企業(yè)數(shù)據(jù)治理來說，數(shù)據(jù)管理服務化是企業(yè)能否實現(xiàn)敏捷數(shù)據(jù)管理的重要原則，敏捷數(shù)據(jù)管理強調企業(yè)把所有的技術能力全面共享成為服務，并融入到企業(yè)的各個系統(tǒng)中“幫助”各個系統(tǒng)控制數(shù)據(jù)質量，規(guī)范數(shù)據(jù)，而不是對企業(yè)各個部門的人員進行“管理”，這樣就能使數(shù)據(jù)管理融入到各部門人員的工作環(huán)境中，讓大家在日常的工作環(huán)境中自動控制數(shù)據(jù)質量。

3敏捷數(shù)據(jù)管理實戰(zhàn)案例

以上這些原則我們在某個大型銀行都有落地。 比如管理了所有的元數(shù)據(jù)，自動化的獲取了資產信息等等，限于時間關系，就不一一贅述。

未來在大數(shù)據(jù)時代，數(shù)據(jù)除了要存儲起來，更加重要的是要管理好，相信未來會有更多的企業(yè)重視數(shù)據(jù)的管理。這樣企業(yè)的數(shù)據(jù)湖才能一直清澈下去，而不是成為數(shù)據(jù)沼澤。