論主數(shù)據(jù)管理及實現(xiàn)

在企業(yè)信息化建設(shè)過程中，對于多個業(yè)務(wù)系統(tǒng)中共有的信息，如：基礎(chǔ)代碼指標，供應(yīng)商信息，客戶信息等等，難免存在數(shù)據(jù)不一致，標準不統(tǒng)一等問題，造成系統(tǒng)之間不能共享信息，重復建設(shè)等問題，大大增加企業(yè)成本。信息作為重要的戰(zhàn)略資產(chǎn)，需要在各個系統(tǒng)中共享。主數(shù)據(jù)管理（Master Data Management,MDM）是實現(xiàn)信息共享的一種解決方案，提供一套方法、流程和技術(shù)，確保企業(yè)（政府）內(nèi)數(shù)據(jù)的準確性、完整性、及時性和一致性。Master Data Management（MDM）采用SOA架構(gòu)。MDM能夠集成分散在現(xiàn)有業(yè)務(wù)系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)，形成統(tǒng)一的共享主數(shù)據(jù)源，為業(yè)務(wù)應(yīng)用提供一致主數(shù)據(jù)服務(wù)。此外MDM還能為政府行業(yè)建設(shè)基礎(chǔ)代碼體系，提供標準一致的行業(yè)基礎(chǔ)代碼。

   2、主數(shù)據(jù)管理特性

   主數(shù)據(jù)管理是對行業(yè)代碼提供統(tǒng)一的管理，并為解決原有業(yè)務(wù)系統(tǒng)的共享數(shù)據(jù)提供了有效的管理。在數(shù)據(jù)的集成與使用、安全保障和快速定制方面提供強大的能力。

    在數(shù)據(jù)的集成與使用方面：支持多種源系統(tǒng)類型和數(shù)據(jù)格式，提供多種調(diào)用協(xié)議：MQ和Web Service,提供Net與Java的二次開發(fā)SDK數(shù)據(jù)的安全保障：數(shù)據(jù)導入重復性和格式檢查。數(shù)據(jù)申請與發(fā)布管理，數(shù)據(jù)分發(fā)的補發(fā)，權(quán)限控制。數(shù)據(jù)的快速定制：靈活的數(shù)據(jù)標準定義?？焖俨樵兣c錄入界面生成。

   3、主數(shù)據(jù)管理實現(xiàn)

   主數(shù)據(jù)管理實現(xiàn)主要內(nèi)容包括：源系統(tǒng)管理，主數(shù)據(jù)導入導出，共享業(yè)務(wù)數(shù)據(jù)對象管理，主數(shù)據(jù)蕞點數(shù)據(jù)同步，主數(shù)據(jù)權(quán)限管理。通過這幾方面的配合，建成分布式的主數(shù)據(jù)管理體系，作到各個企業(yè)節(jié)點間數(shù)據(jù)信息的統(tǒng)一，保證企業(yè)主數(shù)據(jù)的準時與一致。

    3.1 源系統(tǒng)管理

    源系統(tǒng)是指在企業(yè)環(huán)境中進行主數(shù)據(jù)管理時，提供數(shù)據(jù)來源和需要數(shù)據(jù)共享服務(wù)的系統(tǒng)。例如CRM系統(tǒng)和ERP系統(tǒng)。源系統(tǒng)的管理包括應(yīng)用系統(tǒng)注冊和源系統(tǒng)通道注冊，多種不同類型源系統(tǒng)實例的注冊。源系統(tǒng)通道的類型包括：數(shù)據(jù)交換平臺、文件系統(tǒng)、FTP）系統(tǒng)、關(guān)系型數(shù)據(jù)庫和自定義的適配器。

    根據(jù)應(yīng)用系統(tǒng)的數(shù)據(jù)存儲和共享方式不同，選擇不同類型通道的源系統(tǒng)進行注冊，被主數(shù)據(jù)系統(tǒng)統(tǒng)一管理。其中，主數(shù)據(jù)系統(tǒng)本身也可以作為一種源系統(tǒng)被管理起來。

    應(yīng)用系統(tǒng)注冊將應(yīng)用系統(tǒng)進行描述性注冊，包括名稱、概述和作用等。

    對注冊的應(yīng)用系統(tǒng)和主數(shù)據(jù)系統(tǒng)之間注冊數(shù)據(jù)通道，以此建立起能夠與主數(shù)據(jù)系統(tǒng)進行數(shù)據(jù)交互的源系統(tǒng)。通道的注冊分為雙向和單向，每個方向都可以設(shè)置目標或者來源的類型，例如數(shù)據(jù)交換集成平臺、文件系統(tǒng)、FTP系統(tǒng)、關(guān)系型數(shù)據(jù)庫和自定義的適配器。

    3.2 主數(shù)據(jù)導入導出

    主數(shù)據(jù)導入：基于數(shù)據(jù)定義的格式標準（XML Schema）。手工方式通過將指定源系統(tǒng)的指定數(shù)據(jù)文件全量或增量方式導入到主數(shù)據(jù)系統(tǒng)中。

    主數(shù)據(jù)導出：通過用戶所擁有的角色權(quán)限，主數(shù)據(jù)系統(tǒng)將符合權(quán)限的數(shù)據(jù)輸出為不同格式的文件，例如XML、Excel、csv格式。

    3.3 共享業(yè)務(wù)數(shù)據(jù)對象管理

    業(yè)務(wù)數(shù)據(jù)對象描述的是各行業(yè)內(nèi)的核心業(yè)務(wù)數(shù)據(jù)對象，這些數(shù)據(jù)對象分散在不同的業(yè)務(wù)應(yīng)用系統(tǒng)中，它是具有高業(yè)務(wù)價值的?？梢栽谄髽I(yè)內(nèi)跨越各個應(yīng)用系統(tǒng)被重復使用的數(shù)據(jù)對象，如供應(yīng)商、客戶、產(chǎn)品等業(yè)務(wù)數(shù)據(jù)。

    共享業(yè)務(wù)數(shù)據(jù)對象管理主要是集中管理和共享分散在不同應(yīng)用系統(tǒng)中的需要共享的業(yè)務(wù)數(shù)據(jù)對象。保證共享數(shù)據(jù)的完整性、一致性和準確性。主要功能包括數(shù)據(jù)共享管理、數(shù)據(jù)接收、數(shù)據(jù)訂閱分發(fā)、共享數(shù)據(jù)服務(wù)、預定義業(yè)務(wù)對象管理等功能。

圖1

數(shù)據(jù)共享管理提供以下功能：

    >業(yè)務(wù)數(shù)據(jù)對象定義

    業(yè)務(wù)數(shù)據(jù)對象提供標準的業(yè)務(wù)數(shù)據(jù)對象模型及其屬性信息，為共享數(shù)據(jù)提供方、共享數(shù)據(jù)使用方提供標準統(tǒng)一的數(shù)據(jù)模型。

    >業(yè)務(wù)數(shù)據(jù)查詢

    查詢業(yè)務(wù)數(shù)據(jù)對象的基本信息和屬性信息。

    >業(yè)務(wù)數(shù)據(jù)對象發(fā)布與停用

    業(yè)務(wù)數(shù)據(jù)對象定義之后，需要發(fā)布才能向數(shù)據(jù)使用者共享有效的業(yè)務(wù)數(shù)據(jù)；也可以停止已經(jīng)發(fā)布的業(yè)務(wù)數(shù)據(jù)對象，不再向應(yīng)用系統(tǒng)共享業(yè)務(wù)數(shù)據(jù)。

    >業(yè)務(wù)數(shù)據(jù)對象狀態(tài)與屬性的關(guān)系

    數(shù)據(jù)對象屬性的修改受到業(yè)務(wù)數(shù)據(jù)對象發(fā)布狀態(tài)及屬性本身的一些限制，基本的限制詳情如下：

*有條件指的是當屬性沒有被第三方訂閱。或者不作為條件被第三方訂閱時可以被刪除。

[page]    （1）數(shù)據(jù)訂閱分發(fā)

   主數(shù)據(jù)管理系統(tǒng)提供數(shù)據(jù)訂閱分發(fā)功能。通過制定訂閱任務(wù)定時或手動將共享業(yè)務(wù)數(shù)據(jù)即時提供給各應(yīng)用系統(tǒng)，訂閱能夠及時地反饋業(yè)務(wù)數(shù)據(jù)的變化情況，以保證業(yè)務(wù)數(shù)據(jù)使用的及時性和完整性。

    數(shù)據(jù)訂閱分發(fā)主要提供以下功能：

    >訂閱條件管理。訂閱條件管理豐要包括：訂閱查詢、增加、刪除、發(fā)布、暫停、恢復訂閱、數(shù)據(jù)過濾條件定義等；

    >訂閱分發(fā)。系統(tǒng)將符合條件的共享數(shù)據(jù)分發(fā)給訂閱方時可以采用兩種方式：定時分發(fā)，通過靈活的任務(wù)調(diào)度向訂閱方發(fā)送共享數(shù)據(jù)：手工分發(fā)，通過手動即時向訂閱方發(fā)送共享數(shù)據(jù)；

    >訂閱分發(fā)監(jiān)控。系統(tǒng)提供業(yè)務(wù)數(shù)據(jù)訂閱分發(fā)任務(wù)監(jiān)控功能，通過監(jiān)控功能可以：查詢每一項定時分發(fā)任務(wù)的執(zhí)行狀態(tài)，如開始時間、結(jié)束時間、執(zhí)行次數(shù)、下次執(zhí)行時間、上次執(zhí)行結(jié)果等；查詢訂閱日志、訂閱分發(fā)日志等信息。

    （2）數(shù)據(jù)接收

    系統(tǒng)實時偵聽并接收應(yīng)用系統(tǒng)共享的業(yè)務(wù)數(shù)據(jù)，通過數(shù)據(jù)校驗保存業(yè)務(wù)數(shù)據(jù)到主數(shù)據(jù)系統(tǒng)中，共享給其它應(yīng)用系統(tǒng)，保證跨系統(tǒng)的業(yè)務(wù)數(shù)據(jù)準確、一致、有效。數(shù)據(jù)接收主要包括數(shù)據(jù)獲取、數(shù)據(jù)校驗、數(shù)據(jù)解析、數(shù)據(jù)入庫、數(shù)據(jù)接收日志等功。數(shù)據(jù)接收時，通過數(shù)據(jù)校驗保證數(shù)據(jù)質(zhì)量，支持以下校驗規(guī)則：重復性檢查、唯一性檢查、自定義校驗規(guī)則等；

    數(shù)據(jù)接收支持從以下數(shù)據(jù)源接收數(shù)據(jù)：

    *數(shù)據(jù)交換平臺

    *文件系統(tǒng)（Xml、Excel…）

    *關(guān)系型數(shù)據(jù)庫

    *適配器

    （3）共享數(shù)據(jù)服務(wù)

    除數(shù)據(jù)訂閱分發(fā)外，共享業(yè)務(wù)數(shù)據(jù)支持兩種直接獲取共享業(yè)務(wù)數(shù)據(jù)的服務(wù)接口：

    a.應(yīng)用程序API接口：用于在本地獲取共享業(yè)務(wù)數(shù)據(jù)。

    b.Web Service接口：可以遠程獲取共享業(yè)務(wù)數(shù)據(jù)。

    共享數(shù)據(jù)服務(wù)提供的接口主要包括：獲取指定的業(yè)務(wù)數(shù)據(jù)對象定義、獲取指定的業(yè)務(wù)對象全部數(shù)據(jù)、獲取按照指定條件查詢的數(shù)據(jù)等功能。

    3.4 主數(shù)據(jù)節(jié)點數(shù)據(jù)同步

    （1）同步節(jié)點管理

    多級問步節(jié)點管理包括：注冊多級的主數(shù)據(jù)節(jié)點信息，設(shè)置主數(shù)據(jù)節(jié)點點對點之間的單向或雙向同步通道。節(jié)點同步規(guī)則管理包括：設(shè)定節(jié)點與節(jié)點之間同步數(shù)據(jù)的行級條件和主題范圍。

    （2）數(shù)據(jù)同步

    數(shù)據(jù)同步包括如下

    >定時同步：主數(shù)據(jù)系統(tǒng)定時通過節(jié)點之間的同步通道將符合同步范圍的數(shù)據(jù)推送到接受節(jié)點。達到節(jié)點與節(jié)點之間的數(shù)據(jù)同步。

    >手動同步：通過手動方式，主動觸發(fā)同步過程，將節(jié)點之間的數(shù)據(jù)進行同步。

    >數(shù)據(jù)同步監(jiān)控：數(shù)據(jù)的同步過程和相關(guān)信息被記錄，并且提供實時的監(jiān)控界面。為管理人員對了解同步的每個步驟和狀態(tài)提供幫助。

    >數(shù)據(jù)同步補發(fā)：當同步過程中出現(xiàn)了失敗。通過監(jiān)控和日志管理人員能夠?qū)⑼绞〉臄?shù)據(jù)進行再次補發(fā)，確保數(shù)據(jù)的準確性。

    3.5 主數(shù)據(jù)權(quán)限管理

    通過該功能將外部系統(tǒng)的人員組織信息進行映射關(guān)系的管理。角色與人員組織關(guān)系的添加、修改、刪除和查詢。外部系統(tǒng)的人員組織接入。授權(quán)管理針對用戶對不同主數(shù)據(jù)的讀寫操作進行授權(quán)。授權(quán)功能：主數(shù)據(jù)屬性的訪問與修改授權(quán)，主數(shù)據(jù)行級記錄的訪問與修改授權(quán)。

   4、總結(jié)

   主數(shù)據(jù)管理（Master Data Management,MDM）是實現(xiàn)信息共享的一種解決方案，提供一套方法、流程和技術(shù)，確保企業(yè)（政府）內(nèi)數(shù)據(jù)的準確性、完整性、及時性和一致性。