如何建立數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)

每一個(gè)數(shù)據(jù)倉(cāng)庫(kù)有一個(gè)架構(gòu)。這架構(gòu)要么是即時(shí)的或計(jì)劃過(guò)的；或隱式的或形成文件的。不幸的是，許多數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)時(shí)并沒(méi)有一個(gè)明確的架構(gòu)，這極大的限制了它的靈活性。在沒(méi)有架構(gòu)的情況下，主題區(qū)域就無(wú)法契合在一起，它們之間的連接變得無(wú)目的，并且使整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的管理和變更都難于進(jìn)行。此外，雖然它可能看起來(lái)不重要，數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)已成為選擇工具時(shí)的框架。
    讓我們把開(kāi)發(fā)一個(gè)數(shù)據(jù)倉(cāng)庫(kù)與建造一個(gè)真正的房屋進(jìn)行比較。你如何建造一幢300萬(wàn)美元的大廈呢？更不用說(shuō)建造一間10萬(wàn)美元的房子了。你要有藍(lán)圖、圖紙、技術(shù)規(guī)范、和在多個(gè)層次細(xì)節(jié)上顯示這個(gè)房子將如何進(jìn)行建造的標(biāo)準(zhǔn)。當(dāng)然，針對(duì)房子的各種子系統(tǒng)要有不同版本的藍(lán)圖，如管道工程、電氣、暖通空調(diào)系統(tǒng)（HVAC）、通信、和空間。針對(duì)所有的家用的設(shè)備也有相應(yīng)的標(biāo)準(zhǔn)，包括插頭、燈具、衛(wèi)生潔具、門(mén)的尺寸等。
    對(duì)于數(shù)據(jù)倉(cāng)庫(kù)，架構(gòu)是對(duì)數(shù)據(jù)倉(cāng)庫(kù)的元素和服務(wù)的一種描述，用具體細(xì)節(jié)說(shuō)明各種組件如何組合在一起，和隨著時(shí)間的推移系統(tǒng)將如何地發(fā)展。就像這房子的比喻，數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)是一套文件、計(jì)劃、模型、圖紙和規(guī)范，針對(duì)每個(gè)關(guān)鍵的組件區(qū)域有獨(dú)立的分區(qū)，并且足夠詳細(xì)到讓專業(yè)技術(shù)人員可以實(shí)施它們。
    這并是一個(gè)需求文件。需求文件說(shuō)明架構(gòu)需要做些什么。數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)也不是一個(gè)項(xiàng)目計(jì)劃或任務(wù)清單；它說(shuō)明數(shù)據(jù)倉(cāng)庫(kù)是什么，而不是怎么去做或?yàn)槭裁慈プ觥?br />     一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)也并不容易，因?yàn)橄鄬?duì)于房屋的5000年建筑史，我們發(fā)展數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)只有20年的時(shí)間。因此，我們的標(biāo)準(zhǔn)還不多，工具和技術(shù)正在快速發(fā)展，關(guān)于我們已經(jīng)擁有數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的檔案還很少，而且數(shù)據(jù)倉(cāng)庫(kù)的術(shù)語(yǔ)還有很大的出入。
    所以，雖然開(kāi)發(fā)一個(gè)架構(gòu)是困難的，但它也是可能的，并且又是至關(guān)重要的。首先，最主要的是，架構(gòu)應(yīng)該受業(yè)務(wù)的驅(qū)動(dòng)。如果你的要求是每夜進(jìn)行更新，這一要求就該包含在架構(gòu)內(nèi)，而你必須弄清實(shí)現(xiàn)你目標(biāo)的技術(shù)需求。下面是一些業(yè)務(wù)需求的例子，和針對(duì)每種需求的綜合技術(shù)考量：
    ●每夜更新――充足的數(shù)據(jù)準(zhǔn)備能力
    ●全球可用性—平行或分布式服務(wù)器
    ●顧客層次分析――大型服務(wù)器
    ●新數(shù)據(jù)源――帶有支持元數(shù)據(jù)的靈活工具
    ●可靠性――工作的控制功能
    關(guān)鍵組件區(qū)域
    一個(gè)完整的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)包括數(shù)據(jù)和技術(shù)因素。架構(gòu)可以被分為三個(gè)主要區(qū)域。首先，是基于業(yè)務(wù)流程的數(shù)據(jù)架構(gòu)。其次是基礎(chǔ)設(shè)施，包括硬件、網(wǎng)絡(luò)、操作系統(tǒng)和電腦。最后，是技術(shù)區(qū)域，包含用戶所需的決策制定的技術(shù)以及它們的支持結(jié)構(gòu)。對(duì)這些區(qū)域?qū)⒃谙挛姆中」?jié)進(jìn)行詳述。
    ●數(shù)據(jù)架構(gòu)
    如上所述，在整體數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)中的數(shù)據(jù)架構(gòu)部分是受業(yè)務(wù)流程所驅(qū)動(dòng)的。例如，在一個(gè)制造環(huán)境里，數(shù)據(jù)模型可能包括訂單、裝運(yùn)和帳單。每一個(gè)區(qū)域都依據(jù)一套不同的維度。但是在數(shù)據(jù)模型中對(duì)相交維度的定義必須相同。所以相同數(shù)據(jù)項(xiàng)應(yīng)該有同樣的結(jié)構(gòu)和內(nèi)容，并有一個(gè)創(chuàng)建和維護(hù)的單一流程。
    當(dāng)你完成一個(gè)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)并呈現(xiàn)數(shù)據(jù)給你的用戶，就要做出對(duì)工具的選擇，但隨著需求的設(shè)定， 選擇就會(huì)變窄。例如，產(chǎn)品的功能開(kāi)始融合，就像多維聯(lián)機(jī)分析處理（M OLAP）和關(guān)系型聯(lián)機(jī)分析處理（ROLAP）。如果停留在你建造的立方體，多維聯(lián)機(jī)分析處理（MOLAP）便可以了。它速度快又允許靈活的查詢――在立方體的范圍內(nèi)。它的缺點(diǎn)是規(guī)模（整體上和一個(gè)維度內(nèi)）、設(shè)計(jì)的局限性（受立方體結(jié)構(gòu)所限）、需要一個(gè)專有的數(shù)據(jù)庫(kù)。關(guān)系型聯(lián)機(jī)分析處理（ROLAP）是多維聯(lián)機(jī)分析處理（MOLAP）的一種替代方案，它克服了多維聯(lián)機(jī)分析處理（MOLAP）的這些缺點(diǎn)。 通常，混合聯(lián)機(jī)處理（HOLAP）更受歡迎，它允許一部分數(shù)據(jù)存儲(chǔ)在維聯(lián)機(jī)分析處理（MOLAP）中，另一部分數(shù)據(jù)存儲(chǔ)在關(guān)系型聯(lián)機(jī)分析處理（ROLAP）中，折衷了各自的長(zhǎng)處。
    ●基礎(chǔ)設(shè)施架構(gòu)
    對(duì)硬件及數(shù)據(jù)庫(kù)選擇的問(wèn)題在于其大小、擴(kuò)展性和靈活性。在大約80%的數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目中，這并不困難，大多數(shù)企業(yè)有足夠的力量來(lái)應(yīng)對(duì)他們的需要。
    在網(wǎng)絡(luò)、檢查數(shù)據(jù)來(lái)源、數(shù)據(jù)倉(cāng)庫(kù)準(zhǔn)備區(qū)、以及它們之間的任何設(shè)施方面，要確保有足夠的帶寬用于數(shù)據(jù)的移動(dòng)。
    ●技術(shù)架構(gòu)
    技術(shù)架構(gòu)被元數(shù)據(jù)目錄所驅(qū)動(dòng)。一切都應(yīng)該受元數(shù)據(jù)所驅(qū)動(dòng)。服務(wù)應(yīng)該依從表格所需的參數(shù)，而不是它們的硬編碼。技術(shù)架構(gòu)的一個(gè)重要組件是 ETL（提取、轉(zhuǎn)換和加載）流程，它涵蓋了五個(gè)主要區(qū)域：
    ●提?。瓟?shù)據(jù)來(lái)自多種數(shù)據(jù)源并且種類繁多。在這個(gè)區(qū)域如果有數(shù)據(jù)的應(yīng)用時(shí)必須考慮對(duì)它的壓縮和加密處理。
    ●轉(zhuǎn)換－數(shù)據(jù)轉(zhuǎn)換包括代理主鍵的管理、整合、去標(biāo)準(zhǔn)化、清洗、轉(zhuǎn)換、合并和審計(jì)。
    ●加載－加載通常是利用加載最優(yōu)化和對(duì)整個(gè)加載周期的支持對(duì)多種目標(biāo)進(jìn)行加載。
    ●安全－管理員訪問(wèn)和數(shù)據(jù)加密的策略。
    ●元件控制-－它包括元件的定義、元件安排（時(shí)間和事件）、監(jiān)控、登錄、異常處理、錯(cuò)誤處理和通知。
    數(shù)據(jù)準(zhǔn)備區(qū)需要能夠從多種數(shù)據(jù)源提取數(shù)據(jù)，如MVS、ORACLE、VM和其它，所以當(dāng)你選擇產(chǎn)品時(shí)要具體。它必須將數(shù)據(jù)進(jìn)行壓縮和加密、轉(zhuǎn)化、加載（可能對(duì)多個(gè)目標(biāo)）和安全處理。此外，數(shù)據(jù)準(zhǔn)備區(qū)的活動(dòng)要能夠自動(dòng)化進(jìn)行。不同的供應(yīng)商的產(chǎn)品做不同的事情，所以大多數(shù)企業(yè)將需要使用多種產(chǎn)品。
    一個(gè)監(jiān)控數(shù)據(jù)倉(cāng)庫(kù)使用的系統(tǒng)對(duì)查詢的采集、使用的跟蹤是有價(jià)值的，而且也有助于性能的調(diào)整。性能優(yōu)化包括通過(guò)“管理者”工具進(jìn)行的成本估算，而且應(yīng)包括即時(shí)查詢的時(shí)間表。有工具能夠提供查詢管理服務(wù)?？墒褂霉ぞ邅?lái)針對(duì)這些和其它相關(guān)任務(wù)， 如對(duì)前臺(tái)的基于服務(wù)器的查詢管理和來(lái)自于多種數(shù)據(jù)源的數(shù)據(jù)。也有工具可用于報(bào)表、連通性和基礎(chǔ)設(shè)施管理。最后，數(shù)據(jù)訪問(wèn)塊應(yīng)包括報(bào)表的服務(wù)（如發(fā)布和訂閱），還應(yīng)包括報(bào)表庫(kù)，調(diào)度程序和分布管理員。
    關(guān)于元數(shù)據(jù)
    在數(shù)據(jù)倉(cāng)庫(kù)流程中數(shù)據(jù)的創(chuàng)建和管理要遵循以下的“步驟”：
    ●數(shù)據(jù)倉(cāng)庫(kù)模型
    ●數(shù)據(jù)源的定義
    ●表的定義
    ●數(shù)據(jù)源到目標(biāo)的映射
    ●映射和轉(zhuǎn)換信息
    ●物理信息（表格空間，等）
    ●提取數(shù)據(jù)
    ●轉(zhuǎn)移數(shù)據(jù)
    ●加載統(tǒng)計(jì)
    ●業(yè)務(wù)描述
    ●查詢請(qǐng)求
    ●數(shù)據(jù)本身
    ●查詢統(tǒng)計(jì)
    為顯示元數(shù)據(jù)的重要性，上述的步驟列表中只有三步包括了“真正”的數(shù)據(jù)－7、8和12。其他的一切都是元數(shù)據(jù)，而且整個(gè)數(shù)據(jù)倉(cāng)庫(kù)流程都依賴于它。元數(shù)據(jù)目錄的專業(yè)技術(shù)要素包括：
    ●業(yè)務(wù)規(guī)則-－包括定義、推導(dǎo)、相關(guān)項(xiàng)目、驗(yàn)證、和層次結(jié)構(gòu)信息（版本、日期等。）
    ●轉(zhuǎn)移/轉(zhuǎn)換信息-－源/目的地的信息，以及DDL（數(shù)據(jù)類型、名稱等等。）
    ●操作信息-－數(shù)據(jù)加載的工作時(shí)間表、依存性、通知和信息的可靠性 （比如主機(jī)的重定向和加載平衡）。
    ●特定工具的信息-－圖形顯示信息和特殊功能的支持。
    ●安全規(guī)則-－認(rèn)證和授權(quán)。
    建立架構(gòu)
    在開(kāi)發(fā)技術(shù)架構(gòu)模型前，要先起草一份架構(gòu)需求的文件。然后將每一項(xiàng)業(yè)務(wù)需求計(jì)劃包含到它的架構(gòu)中。根據(jù)架構(gòu)的區(qū)域?qū)@些內(nèi)容進(jìn)行分組（遠(yuǎn)程訪問(wèn)、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)訪問(wèn)工具等）。了解它如何于其它區(qū)域相適應(yīng)。采集區(qū)域的定義及其內(nèi)容。最后提煉和形成模型的文件。
    我們認(rèn)識(shí)到開(kāi)發(fā)一個(gè)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)是困難的，因此要有一個(gè)周密細(xì)致的規(guī)劃。但ZACHMAN框架又超出了大多數(shù)企業(yè)對(duì)數(shù)據(jù)倉(cāng)庫(kù)的需要，所以建議使用一個(gè)合理的折衷方案，它由四層流程所組成：業(yè)務(wù)需求、技術(shù)架構(gòu)、標(biāo)準(zhǔn)和工具。
    業(yè)務(wù)需求本質(zhì)上驅(qū)動(dòng)著架構(gòu)，所以要對(duì)業(yè)務(wù)經(jīng)理、分析師、高級(jí)用戶進(jìn)行訪談。從你的訪談中尋找主要的業(yè)務(wù)問(wèn)題，以及企業(yè)戰(zhàn)略、發(fā)展方向、挫折、業(yè)務(wù)流程、時(shí)間、可用性、業(yè)績(jī)預(yù)期的指標(biāo)。將它們一一妥善歸檔。
    從IT的角度來(lái)看，跟現(xiàn)有的數(shù)據(jù)倉(cāng)庫(kù)/決策支持系統(tǒng)（DSS）的支持人員、聯(lián)機(jī)分析處理（OLTP）應(yīng)用組成員、數(shù)據(jù)庫(kù)管理員們（DBA）；以及網(wǎng)絡(luò)、操作系統(tǒng)和桌面支持人員進(jìn)行討論。也要與架構(gòu)師和專業(yè)規(guī)劃人員進(jìn)行探討。你應(yīng)該從這些討論中得知他們從IT的觀點(diǎn)考慮數(shù)據(jù)倉(cāng)庫(kù)的意見(jiàn)。從中了解是否有現(xiàn)存的構(gòu)架文件、IT原則、標(biāo)準(zhǔn)文件、企業(yè)數(shù)據(jù)中心等。
    關(guān)于數(shù)據(jù)倉(cāng)庫(kù)并沒(méi)有太多現(xiàn)存的標(biāo)準(zhǔn)，但對(duì)于許多組件來(lái)說(shuō)是有標(biāo)準(zhǔn)的。下面是一些需要牢記的標(biāo)準(zhǔn)：
    ●中間設(shè)備－－開(kāi)放數(shù)據(jù)庫(kù)連接（ODBC）、對(duì)象鏈接與嵌入（OLE）、對(duì)象鏈接與嵌入數(shù)據(jù)庫(kù)（OLE DB）、數(shù)據(jù)通信設(shè)備（DCE）、對(duì)象請(qǐng)求代理（ORB）和數(shù)據(jù)庫(kù)編程（JDBC）
    ●數(shù)據(jù)庫(kù)連接－－ODBC, JDBC, OLE DB, 和其它。
    ●數(shù)據(jù)管理－－ANSI SQL 和文件傳輸協(xié)議（FTP）
    ●網(wǎng)絡(luò)訪問(wèn)－－數(shù)據(jù)通信設(shè)備（DCE）、域名服務(wù)器（DNS）、和 輕量目標(biāo)訪問(wèn)協(xié)議（LDAP）
    無(wú)論它們支持的是哪種標(biāo)準(zhǔn)，主流的數(shù)據(jù)倉(cāng)庫(kù)工具都受元數(shù)據(jù)所驅(qū)動(dòng)。然而，它們通常并不互相共享元數(shù)據(jù)而且在開(kāi)放性上也所有不同。所以，要仔細(xì)研究和購(gòu)買(mǎi)工具。架構(gòu)師是你選擇適當(dāng)工具的向?qū)А?br />     一個(gè)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)需要具體到怎樣的程度呢？這個(gè)問(wèn)題要問(wèn)的是：它有足夠的信息可以讓一個(gè)有能力的團(tuán)隊(duì)來(lái)建立一個(gè)滿足業(yè)務(wù)需求的數(shù)據(jù)倉(cāng)庫(kù)嗎？至于它要花多長(zhǎng)時(shí)間，隨著更多的人加入到它的開(kāi)發(fā)中來(lái)（即：它變成了“復(fù)雜的技術(shù)策略”）和生成的系統(tǒng)需要變得更復(fù)雜（即"復(fù)雜的功能”），架構(gòu)的完成會(huì)呈指數(shù)倍的發(fā)展。
    像數(shù)據(jù)倉(cāng)庫(kù)中幾乎所有的事情一樣，一個(gè)迭代進(jìn)程是最好的。你不能一次做完所有的事情因?yàn)樗罅耍?而且業(yè)務(wù)不能等。同時(shí)，數(shù)據(jù)倉(cāng)庫(kù)的市場(chǎng)還沒(méi)有完備。所以從流程中影響大、高價(jià)值部分開(kāi)始，然后，利用你的成功去帶動(dòng)另外的階段。
    總結(jié)：
    綜上所述，建立一個(gè)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)的好處如下：
    ●提供了一個(gè)組織結(jié)構(gòu)的框架-－架構(gòu)對(duì)什么是單獨(dú)的組件、如何將它們組裝在一起、誰(shuí)擁有什么部分以及優(yōu)先次序的問(wèn)題劃出了界線。
    ●提高了靈活性和維護(hù)性-－讓你能快速加入新的數(shù)據(jù)來(lái)源，接口標(biāo)準(zhǔn)允許即插即用，模型和元數(shù)據(jù)允許影響分析和單點(diǎn)的變化。
    ●更快的開(kāi)發(fā)和再利用-－數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)者更能夠快速了解數(shù)據(jù)倉(cāng)庫(kù)流程、數(shù)據(jù)庫(kù)內(nèi)容和業(yè)務(wù)規(guī)則。
    ●管理和通信的工具-－定義未來(lái)方向和項(xiàng)目范圍， 確定職務(wù)和職責(zé)、對(duì)供應(yīng)商傳達(dá)需求。
    ●協(xié)調(diào)多項(xiàng)任務(wù)同時(shí)進(jìn)行——多種、相對(duì)獨(dú)立的工作有機(jī)會(huì)成功地集合。
    我們建議公司對(duì)準(zhǔn)業(yè)務(wù)需求而又要?jiǎng)?wù)實(shí)一些。時(shí)刻跟上數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)業(yè)的進(jìn)步是很重要的。最后，請(qǐng)記住架構(gòu)總是存在的：或隱性或具體的，或無(wú)計(jì)劃或計(jì)劃內(nèi)的。經(jīng)驗(yàn)證明，有一個(gè)計(jì)劃內(nèi)和具體的架構(gòu)會(huì)使數(shù)據(jù)倉(cāng)庫(kù)與 商業(yè)智能項(xiàng)目有更多的成功機(jī)會(huì)。