論主數(shù)據(jù)管理及實(shí)現(xiàn)

在企業(yè)信息化建設(shè)過(guò)程中，對(duì)于多個(gè)業(yè)務(wù)系統(tǒng)中共有的信息，如：基礎(chǔ)代碼指標(biāo)，供應(yīng)商信息，客戶信息等等，難免存在數(shù)據(jù)不一致，標(biāo)準(zhǔn)不統(tǒng)一等問(wèn)題，造成系統(tǒng)之間不能共享信息，重復(fù)建設(shè)等問(wèn)題，大大增加企業(yè)成本。信息作為重要的戰(zhàn)略資產(chǎn)，需要在各個(gè)系統(tǒng)中共享。主數(shù)據(jù)管理（Master Data Management,MDM）是實(shí)現(xiàn)信息共享的一種解決方案，提供一套方法、流程和技術(shù)，確保企業(yè)（政府）內(nèi)數(shù)據(jù)的準(zhǔn)確性、完整性、及時(shí)性和一致性。Master Data Management（MDM）采用SOA架構(gòu)。MDM能夠集成分散在現(xiàn)有業(yè)務(wù)系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)，形成統(tǒng)一的共享主數(shù)據(jù)源，為業(yè)務(wù)應(yīng)用提供一致主數(shù)據(jù)服務(wù)。此外MDM還能為政府行業(yè)建設(shè)基礎(chǔ)代碼體系，提供標(biāo)準(zhǔn)一致的行業(yè)基礎(chǔ)代碼。

   2、主數(shù)據(jù)管理特性

   主數(shù)據(jù)管理是對(duì)行業(yè)代碼提供統(tǒng)一的管理，并為解決原有業(yè)務(wù)系統(tǒng)的共享數(shù)據(jù)提供了有效的管理。在數(shù)據(jù)的集成與使用、安全保障和快速定制方面提供強(qiáng)大的能力。

    在數(shù)據(jù)的集成與使用方面：支持多種源系統(tǒng)類(lèi)型和數(shù)據(jù)格式，提供多種調(diào)用協(xié)議：MQ和Web Service,提供Net與Java的二次開(kāi)發(fā)SDK數(shù)據(jù)的安全保障：數(shù)據(jù)導(dǎo)入重復(fù)性和格式檢查。數(shù)據(jù)申請(qǐng)與發(fā)布管理，數(shù)據(jù)分發(fā)的補(bǔ)發(fā)，權(quán)限控制。數(shù)據(jù)的快速定制：靈活的數(shù)據(jù)標(biāo)準(zhǔn)定義?？焖俨樵?xún)與錄入界面生成。

   3、主數(shù)據(jù)管理實(shí)現(xiàn)

   主數(shù)據(jù)管理實(shí)現(xiàn)主要內(nèi)容包括：源系統(tǒng)管理，主數(shù)據(jù)導(dǎo)入導(dǎo)出，共享業(yè)務(wù)數(shù)據(jù)對(duì)象管理，主數(shù)據(jù)蕞點(diǎn)數(shù)據(jù)同步，主數(shù)據(jù)權(quán)限管理。通過(guò)這幾方面的配合，建成分布式的主數(shù)據(jù)管理體系，作到各個(gè)企業(yè)節(jié)點(diǎn)間數(shù)據(jù)信息的統(tǒng)一，保證企業(yè)主數(shù)據(jù)的準(zhǔn)時(shí)與一致。

    3.1 源系統(tǒng)管理

    源系統(tǒng)是指在企業(yè)環(huán)境中進(jìn)行主數(shù)據(jù)管理時(shí)，提供數(shù)據(jù)來(lái)源和需要數(shù)據(jù)共享服務(wù)的系統(tǒng)。例如CRM系統(tǒng)和ERP系統(tǒng)。源系統(tǒng)的管理包括應(yīng)用系統(tǒng)注冊(cè)和源系統(tǒng)通道注冊(cè)，多種不同類(lèi)型源系統(tǒng)實(shí)例的注冊(cè)。源系統(tǒng)通道的類(lèi)型包括：數(shù)據(jù)交換平臺(tái)、文件系統(tǒng)、FTP）系統(tǒng)、關(guān)系型數(shù)據(jù)庫(kù)和自定義的適配器。

    根據(jù)應(yīng)用系統(tǒng)的數(shù)據(jù)存儲(chǔ)和共享方式不同，選擇不同類(lèi)型通道的源系統(tǒng)進(jìn)行注冊(cè)，被主數(shù)據(jù)系統(tǒng)統(tǒng)一管理。其中，主數(shù)據(jù)系統(tǒng)本身也可以作為一種源系統(tǒng)被管理起來(lái)。

    應(yīng)用系統(tǒng)注冊(cè)將應(yīng)用系統(tǒng)進(jìn)行描述性注冊(cè)，包括名稱(chēng)、概述和作用等。

    對(duì)注冊(cè)的應(yīng)用系統(tǒng)和主數(shù)據(jù)系統(tǒng)之間注冊(cè)數(shù)據(jù)通道，以此建立起能夠與主數(shù)據(jù)系統(tǒng)進(jìn)行數(shù)據(jù)交互的源系統(tǒng)。通道的注冊(cè)分為雙向和單向，每個(gè)方向都可以設(shè)置目標(biāo)或者來(lái)源的類(lèi)型，例如數(shù)據(jù)交換集成平臺(tái)、文件系統(tǒng)、FTP系統(tǒng)、關(guān)系型數(shù)據(jù)庫(kù)和自定義的適配器。

    3.2 主數(shù)據(jù)導(dǎo)入導(dǎo)出

    主數(shù)據(jù)導(dǎo)入：基于數(shù)據(jù)定義的格式標(biāo)準(zhǔn)（XML Schema）。手工方式通過(guò)將指定源系統(tǒng)的指定數(shù)據(jù)文件全量或增量方式導(dǎo)入到主數(shù)據(jù)系統(tǒng)中。

    主數(shù)據(jù)導(dǎo)出：通過(guò)用戶所擁有的角色權(quán)限，主數(shù)據(jù)系統(tǒng)將符合權(quán)限的數(shù)據(jù)輸出為不同格式的文件，例如XML、Excel、csv格式。

    3.3 共享業(yè)務(wù)數(shù)據(jù)對(duì)象管理

    業(yè)務(wù)數(shù)據(jù)對(duì)象描述的是各行業(yè)內(nèi)的核心業(yè)務(wù)數(shù)據(jù)對(duì)象，這些數(shù)據(jù)對(duì)象分散在不同的業(yè)務(wù)應(yīng)用系統(tǒng)中，它是具有高業(yè)務(wù)價(jià)值的?？梢栽谄髽I(yè)內(nèi)跨越各個(gè)應(yīng)用系統(tǒng)被重復(fù)使用的數(shù)據(jù)對(duì)象，如供應(yīng)商、客戶、產(chǎn)品等業(yè)務(wù)數(shù)據(jù)。

    共享業(yè)務(wù)數(shù)據(jù)對(duì)象管理主要是集中管理和共享分散在不同應(yīng)用系統(tǒng)中的需要共享的業(yè)務(wù)數(shù)據(jù)對(duì)象。保證共享數(shù)據(jù)的完整性、一致性和準(zhǔn)確性。主要功能包括數(shù)據(jù)共享管理、數(shù)據(jù)接收、數(shù)據(jù)訂閱分發(fā)、共享數(shù)據(jù)服務(wù)、預(yù)定義業(yè)務(wù)對(duì)象管理等功能。

圖1

數(shù)據(jù)共享管理提供以下功能：

    >業(yè)務(wù)數(shù)據(jù)對(duì)象定義

    業(yè)務(wù)數(shù)據(jù)對(duì)象提供標(biāo)準(zhǔn)的業(yè)務(wù)數(shù)據(jù)對(duì)象模型及其屬性信息，為共享數(shù)據(jù)提供方、共享數(shù)據(jù)使用方提供標(biāo)準(zhǔn)統(tǒng)一的數(shù)據(jù)模型。

    >業(yè)務(wù)數(shù)據(jù)查詢(xún)

    查詢(xún)業(yè)務(wù)數(shù)據(jù)對(duì)象的基本信息和屬性信息。

    >業(yè)務(wù)數(shù)據(jù)對(duì)象發(fā)布與停用

    業(yè)務(wù)數(shù)據(jù)對(duì)象定義之后，需要發(fā)布才能向數(shù)據(jù)使用者共享有效的業(yè)務(wù)數(shù)據(jù)；也可以停止已經(jīng)發(fā)布的業(yè)務(wù)數(shù)據(jù)對(duì)象，不再向應(yīng)用系統(tǒng)共享業(yè)務(wù)數(shù)據(jù)。

    >業(yè)務(wù)數(shù)據(jù)對(duì)象狀態(tài)與屬性的關(guān)系

    數(shù)據(jù)對(duì)象屬性的修改受到業(yè)務(wù)數(shù)據(jù)對(duì)象發(fā)布狀態(tài)及屬性本身的一些限制，基本的限制詳情如下：

*有條件指的是當(dāng)屬性沒(méi)有被第三方訂閱?；蛘卟蛔鳛闂l件被第三方訂閱時(shí)可以被刪除。

[page]    （1）數(shù)據(jù)訂閱分發(fā)

   主數(shù)據(jù)管理系統(tǒng)提供數(shù)據(jù)訂閱分發(fā)功能。通過(guò)制定訂閱任務(wù)定時(shí)或手動(dòng)將共享業(yè)務(wù)數(shù)據(jù)即時(shí)提供給各應(yīng)用系統(tǒng)，訂閱能夠及時(shí)地反饋業(yè)務(wù)數(shù)據(jù)的變化情況，以保證業(yè)務(wù)數(shù)據(jù)使用的及時(shí)性和完整性。

    數(shù)據(jù)訂閱分發(fā)主要提供以下功能：

    >訂閱條件管理。訂閱條件管理豐要包括：訂閱查詢(xún)、增加、刪除、發(fā)布、暫停、恢復(fù)訂閱、數(shù)據(jù)過(guò)濾條件定義等；

    >訂閱分發(fā)。系統(tǒng)將符合條件的共享數(shù)據(jù)分發(fā)給訂閱方時(shí)可以采用兩種方式：定時(shí)分發(fā)，通過(guò)靈活的任務(wù)調(diào)度向訂閱方發(fā)送共享數(shù)據(jù)：手工分發(fā)，通過(guò)手動(dòng)即時(shí)向訂閱方發(fā)送共享數(shù)據(jù)；

    >訂閱分發(fā)監(jiān)控。系統(tǒng)提供業(yè)務(wù)數(shù)據(jù)訂閱分發(fā)任務(wù)監(jiān)控功能，通過(guò)監(jiān)控功能可以：查詢(xún)每一項(xiàng)定時(shí)分發(fā)任務(wù)的執(zhí)行狀態(tài)，如開(kāi)始時(shí)間、結(jié)束時(shí)間、執(zhí)行次數(shù)、下次執(zhí)行時(shí)間、上次執(zhí)行結(jié)果等；查詢(xún)訂閱日志、訂閱分發(fā)日志等信息。

    （2）數(shù)據(jù)接收

    系統(tǒng)實(shí)時(shí)偵聽(tīng)并接收應(yīng)用系統(tǒng)共享的業(yè)務(wù)數(shù)據(jù)，通過(guò)數(shù)據(jù)校驗(yàn)保存業(yè)務(wù)數(shù)據(jù)到主數(shù)據(jù)系統(tǒng)中，共享給其它應(yīng)用系統(tǒng)，保證跨系統(tǒng)的業(yè)務(wù)數(shù)據(jù)準(zhǔn)確、一致、有效。數(shù)據(jù)接收主要包括數(shù)據(jù)獲取、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)解析、數(shù)據(jù)入庫(kù)、數(shù)據(jù)接收日志等功。數(shù)據(jù)接收時(shí)，通過(guò)數(shù)據(jù)校驗(yàn)保證數(shù)據(jù)質(zhì)量，支持以下校驗(yàn)規(guī)則：重復(fù)性檢查、唯一性檢查、自定義校驗(yàn)規(guī)則等；

    數(shù)據(jù)接收支持從以下數(shù)據(jù)源接收數(shù)據(jù)：

    *數(shù)據(jù)交換平臺(tái)

    *文件系統(tǒng)（Xml、Excel…）

    *關(guān)系型數(shù)據(jù)庫(kù)

    *適配器

    （3）共享數(shù)據(jù)服務(wù)

    除數(shù)據(jù)訂閱分發(fā)外，共享業(yè)務(wù)數(shù)據(jù)支持兩種直接獲取共享業(yè)務(wù)數(shù)據(jù)的服務(wù)接口：

    a.應(yīng)用程序API接口：用于在本地獲取共享業(yè)務(wù)數(shù)據(jù)。

    b.Web Service接口：可以遠(yuǎn)程獲取共享業(yè)務(wù)數(shù)據(jù)。

    共享數(shù)據(jù)服務(wù)提供的接口主要包括：獲取指定的業(yè)務(wù)數(shù)據(jù)對(duì)象定義、獲取指定的業(yè)務(wù)對(duì)象全部數(shù)據(jù)、獲取按照指定條件查詢(xún)的數(shù)據(jù)等功能。

    3.4 主數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)同步

    （1）同步節(jié)點(diǎn)管理

    多級(jí)問(wèn)步節(jié)點(diǎn)管理包括：注冊(cè)多級(jí)的主數(shù)據(jù)節(jié)點(diǎn)信息，設(shè)置主數(shù)據(jù)節(jié)點(diǎn)點(diǎn)對(duì)點(diǎn)之間的單向或雙向同步通道。節(jié)點(diǎn)同步規(guī)則管理包括：設(shè)定節(jié)點(diǎn)與節(jié)點(diǎn)之間同步數(shù)據(jù)的行級(jí)條件和主題范圍。

    （2）數(shù)據(jù)同步

    數(shù)據(jù)同步包括如下

    >定時(shí)同步：主數(shù)據(jù)系統(tǒng)定時(shí)通過(guò)節(jié)點(diǎn)之間的同步通道將符合同步范圍的數(shù)據(jù)推送到接受節(jié)點(diǎn)。達(dá)到節(jié)點(diǎn)與節(jié)點(diǎn)之間的數(shù)據(jù)同步。

    >手動(dòng)同步：通過(guò)手動(dòng)方式，主動(dòng)觸發(fā)同步過(guò)程，將節(jié)點(diǎn)之間的數(shù)據(jù)進(jìn)行同步。

    >數(shù)據(jù)同步監(jiān)控：數(shù)據(jù)的同步過(guò)程和相關(guān)信息被記錄，并且提供實(shí)時(shí)的監(jiān)控界面。為管理人員對(duì)了解同步的每個(gè)步驟和狀態(tài)提供幫助。

    >數(shù)據(jù)同步補(bǔ)發(fā)：當(dāng)同步過(guò)程中出現(xiàn)了失敗。通過(guò)監(jiān)控和日志管理人員能夠?qū)⑼绞〉臄?shù)據(jù)進(jìn)行再次補(bǔ)發(fā)，確保數(shù)據(jù)的準(zhǔn)確性。

    3.5 主數(shù)據(jù)權(quán)限管理

    通過(guò)該功能將外部系統(tǒng)的人員組織信息進(jìn)行映射關(guān)系的管理。角色與人員組織關(guān)系的添加、修改、刪除和查詢(xún)。外部系統(tǒng)的人員組織接入。授權(quán)管理針對(duì)用戶對(duì)不同主數(shù)據(jù)的讀寫(xiě)操作進(jìn)行授權(quán)。授權(quán)功能：主數(shù)據(jù)屬性的訪問(wèn)與修改授權(quán)，主數(shù)據(jù)行級(jí)記錄的訪問(wèn)與修改授權(quán)。

   4、總結(jié)

   主數(shù)據(jù)管理（Master Data Management,MDM）是實(shí)現(xiàn)信息共享的一種解決方案，提供一套方法、流程和技術(shù)，確保企業(yè)（政府）內(nèi)數(shù)據(jù)的準(zhǔn)確性、完整性、及時(shí)性和一致性。