建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的八個(gè)步驟

建立數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)解決企業(yè)問(wèn)題的過(guò)程，業(yè)務(wù)人員往往不懂如何建立和使用數(shù)據(jù)倉(cāng)庫(kù)，發(fā)揮其決策支持的作用；信息部門的人員往往又不懂業(yè)務(wù)，不知道應(yīng)該建立哪些決策主題，從數(shù)據(jù)源中抽取哪些數(shù)據(jù)。因此數(shù)據(jù)倉(cāng)庫(kù)的項(xiàng)目小組應(yīng)該由業(yè)務(wù)人員和信息部門的人員共同組成，雙方需要相互溝通，協(xié)作開發(fā)數(shù)據(jù)倉(cāng)庫(kù)。

開發(fā)數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程包括以下幾個(gè)步驟。
   1.系統(tǒng)分析，確定主題
    建立數(shù)據(jù)倉(cāng)庫(kù)的第一個(gè)步驟就是通過(guò)與業(yè)務(wù)部門的充分交流，了解建立數(shù)據(jù)倉(cāng)庫(kù)所要解決的問(wèn)題的真正含義，確定各個(gè)主題下的查詢分析要求。
    業(yè)務(wù)人員往往會(huì)羅列出很多想解決的問(wèn)題，信息部門的人員應(yīng)該對(duì)這些問(wèn)題進(jìn)行分類匯總，確定數(shù)據(jù)倉(cāng)庫(kù)所實(shí)現(xiàn)的業(yè)務(wù)功能。一旦確定問(wèn)題以后，信息部門的人員還需要確定一下幾個(gè)因素：
    ·操作出現(xiàn)的頻率，即業(yè)務(wù)部門每隔多長(zhǎng)時(shí)間做一次查詢分析。
    ·在系統(tǒng)中需要保存多久的數(shù)據(jù)，是一年、兩年還是五年、十年。
    ·用戶查詢數(shù)據(jù)的主要方式，如在時(shí)間維度上是按照自然年，還是財(cái)政年。
    ·用戶所能接受的響應(yīng)時(shí)間是多長(zhǎng)、是幾秒鐘，還是幾小時(shí)。
    由于雙方在理解上的差異，確定問(wèn)題和了解問(wèn)題可能是一個(gè)需要多次往復(fù)的過(guò)程，信息部門的人員可能需要做一些原型演示給業(yè)務(wù)部門的人員看，以最終確定系統(tǒng)將要實(shí)現(xiàn)的功能確實(shí)是業(yè)務(wù)部門所需要的。
   2.選擇滿足數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)要求的軟件平臺(tái)
    在數(shù)據(jù)倉(cāng)庫(kù)所要解決的問(wèn)題確定后，第二個(gè)步驟就是選擇合適的軟件平臺(tái)，包括數(shù)據(jù)庫(kù)、建模工具、分析工具等。這里有許多因素要考慮，如系統(tǒng)對(duì)數(shù)據(jù)量、響應(yīng)時(shí)間、分析功能的要求等，以下是一些公認(rèn)的選擇標(biāo)準(zhǔn)：
    ·廠商的背景和支持能力，能否提供全方位的技術(shù)支持和咨詢服務(wù)。
    ·數(shù)據(jù)庫(kù)對(duì)大數(shù)據(jù)量（TB級(jí)）的支持能力。
    ·數(shù)據(jù)庫(kù)是否支持并行操作。
    ·能否提供數(shù)據(jù)倉(cāng)庫(kù)的建模工具，是否支持對(duì)元數(shù)據(jù)的管理。
    ·能否提供支持大數(shù)據(jù)量的數(shù)據(jù)加載、轉(zhuǎn)換、傳輸工具（ETT）。
    ·能否提供完整的決策支持工具集，滿足數(shù)據(jù)倉(cāng)庫(kù)中各類用戶的需要。
   3.建立數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型
    具體步驟如下：
    （1）確定建立數(shù)據(jù)倉(cāng)庫(kù)邏輯模型的基本方法。
    （2）基于主題視圖，把主題視圖中的數(shù)據(jù)定義轉(zhuǎn)到邏輯數(shù)據(jù)模型中。
    （3）識(shí)別主題之間的關(guān)系。
    （4）分解多對(duì)多的關(guān)系。
    （5）用范式理論檢驗(yàn)邏輯數(shù)據(jù)模型。
    （6）由用戶審核邏輯數(shù)據(jù)模型。
   4.邏輯數(shù)據(jù)模型轉(zhuǎn)化為數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型
    具體步驟如下：
    （1）刪除非戰(zhàn)略性數(shù)據(jù)：數(shù)據(jù)倉(cāng)庫(kù)模型中不需要包含邏輯數(shù)據(jù)模型中的全部數(shù)據(jù)項(xiàng)，某些用于操作處理的數(shù)據(jù)項(xiàng)要?jiǎng)h除。
    （2）增加時(shí)間主鍵：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一定是時(shí)間的快照，因此必須增加時(shí)間主鍵。
    （3）增加派生數(shù)據(jù)：對(duì)于用戶經(jīng)常需要分析的數(shù)據(jù)，或者為了提高性能，可以增加派生數(shù)據(jù)。
    （4）加入不同級(jí)別粒度的匯總數(shù)據(jù)：數(shù)據(jù)粒度代表數(shù)據(jù)細(xì)化程度，粒度越大，數(shù)據(jù)的匯總程度越高。粒度是數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的一個(gè)重要因素，它直接影響到駐留在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量和可以執(zhí)行的查詢類型。顯然，粒度級(jí)別越低，則支持的查詢?cè)蕉?；反之，能支持的查詢就有限?br />     對(duì)數(shù)據(jù)操作的效率與能得到數(shù)據(jù)的詳細(xì)程度是一對(duì)矛盾，通常，人們希望建成的系統(tǒng)既有較高的效率，又能得到所需的詳細(xì)資料。實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)重要原則就是不要試圖包括所有詳細(xì)數(shù)據(jù)，因?yàn)?0%的分析需求是在匯總數(shù)據(jù)上進(jìn)行的。試圖將粒度細(xì)化到最低層，只會(huì)增加系統(tǒng)的開銷，降低系統(tǒng)的性能。
   5.數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型優(yōu)化
   數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)時(shí)，性能是一項(xiàng)主要考慮因素。在數(shù)據(jù)倉(cāng)庫(kù)建成后，也需要經(jīng)常對(duì)其性能進(jìn)行監(jiān)控，并隨著需求和數(shù)據(jù)量的變更進(jìn)行調(diào)整。
    優(yōu)化數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的主要方法是：
    ·合并不同的數(shù)據(jù)表。
    ·通過(guò)增加匯總表避免數(shù)據(jù)的動(dòng)態(tài)匯總。
    ·通過(guò)冗余字段減少表連接的數(shù)量，不要超過(guò)3~5個(gè)。
    ·用ID代碼而不是描述信息作為鍵值。
    ·對(duì)數(shù)據(jù)表做分區(qū)。
   6.數(shù)據(jù)清洗轉(zhuǎn)換和傳輸
    由于業(yè)務(wù)系統(tǒng)所使用的軟硬件平臺(tái)不同，編碼方法不同，業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在加載到數(shù)據(jù)倉(cāng)庫(kù)之前，必須進(jìn)行數(shù)據(jù)的清洗和轉(zhuǎn)換，保證數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的一致性。
    在設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)加載方案時(shí)，必須考慮以下幾項(xiàng)要求：
    ·加載方案必須能夠支持訪問(wèn)不同的數(shù)據(jù)庫(kù)和文件系統(tǒng)。
    ·數(shù)據(jù)的清洗、轉(zhuǎn)換和傳輸必須滿足時(shí)間要求，能夠在規(guī)定的時(shí)間范圍內(nèi)完成。
    ·支持各種轉(zhuǎn)換方法，各種轉(zhuǎn)換方法可以構(gòu)成一個(gè)工作流。
    ·支持增量加載，只把自上一次加載以來(lái)變化的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)。
   7.開發(fā)數(shù)據(jù)倉(cāng)庫(kù)的分析應(yīng)用
    建立數(shù)據(jù)倉(cāng)庫(kù)的最終目的是為業(yè)務(wù)部門提供決策支持能力，必須為業(yè)務(wù)部門選擇合適的工具實(shí)現(xiàn)其對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行分析的要求。
    信息部門所選擇的開發(fā)工具必須能夠：
    ·滿足用戶的全部分析功能要求。數(shù)據(jù)倉(cāng)庫(kù)中的用戶包括了企業(yè)中各個(gè)業(yè)務(wù)部門，他們的業(yè)務(wù)不同，要求的分析功能也不同。如有的用戶只是簡(jiǎn)單的分析報(bào)表，有些用戶則要求做預(yù)測(cè)和趨勢(shì)分析。
    ·提供靈活的表現(xiàn)方式。分析的結(jié)果必須能夠以直觀、靈活的方式表現(xiàn)，支持復(fù)雜的圖表。使用方式上，可以是客戶機(jī)/服務(wù)器方式，也可以是瀏覽器方式。
    事實(shí)上，沒(méi)有一種工具能夠滿足數(shù)據(jù)倉(cāng)庫(kù)的全部分析功能需求，一個(gè)完整的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的功能可能是由多種工具來(lái)實(shí)現(xiàn)，因此必須考慮多個(gè)工具之間的接口和集成性問(wèn)題，對(duì)于用戶來(lái)說(shuō)，希望看到的是一致的界面。
   8.數(shù)據(jù)倉(cāng)庫(kù)的管理
    只重視數(shù)據(jù)倉(cāng)庫(kù)的建立，而忽視數(shù)據(jù)倉(cāng)庫(kù)的管理必然導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的失敗。數(shù)據(jù)倉(cāng)庫(kù)管理主要包括數(shù)據(jù)庫(kù)管理和元數(shù)據(jù)管理。
    數(shù)據(jù)庫(kù)管理需要考以下幾個(gè)方面：
    ·安全性管理。數(shù)據(jù)倉(cāng)庫(kù)中的用戶只能訪問(wèn)到他的授權(quán)范圍內(nèi)的數(shù)據(jù)，數(shù)據(jù)在傳輸過(guò)程中的加密策略。
    ·數(shù)據(jù)倉(cāng)庫(kù)的備份和恢復(fù)。數(shù)據(jù)倉(cāng)庫(kù)的大小和備份的頻率直接影響到備份策略。
    ·如何保證數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的可用性，硬件還是軟件方法。
    ·數(shù)據(jù)老化。設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的存放時(shí)間周期和對(duì)過(guò)期數(shù)據(jù)的老化方法，如歷史數(shù)據(jù)只保存匯總數(shù)據(jù)，當(dāng)年數(shù)據(jù)保存詳細(xì)記錄。
    然而，元數(shù)據(jù)管理貫穿于整個(gè)系統(tǒng)的建設(shè)過(guò)程中，元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)。在數(shù)據(jù)采集階段，元數(shù)據(jù)主要包括下列信息：
    ·源數(shù)據(jù)的描述定義：類型、位置、結(jié)構(gòu)。
    ·數(shù)據(jù)轉(zhuǎn)換規(guī)則：編碼規(guī)則、行業(yè)標(biāo)準(zhǔn)。
    ·目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的模型描述：星型/雪花模型定義，維/事實(shí)結(jié)構(gòu)定義。
    ·源數(shù)據(jù)到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的映射關(guān)系：函數(shù)/表達(dá)式定義。
    ·代碼：生成轉(zhuǎn)換程序、自動(dòng)加載程序等。
    在數(shù)據(jù)管理階段，元數(shù)據(jù)主要包括下列信息：
    ·匯總數(shù)據(jù)的描述：匯總/聚合層次、物化視圖結(jié)構(gòu)定義。
    ·歷史數(shù)據(jù)存儲(chǔ)規(guī)則：位置、存儲(chǔ)粒度。
    ·多維數(shù)據(jù)結(jié)構(gòu)描述：立方體定義、維結(jié)構(gòu)、度量值、鉆取層次定義等。
    在數(shù)據(jù)展現(xiàn)階段，元數(shù)據(jù)主要包括以下信息：
    ·報(bào)表的描述：報(bào)表結(jié)構(gòu)的定義。
    ·統(tǒng)計(jì)函數(shù)的描述：各類統(tǒng)計(jì)分析函數(shù)的定義。
    ·結(jié)果輸出的描述：圖、表輸出的定義。
   元數(shù)據(jù)不但是獨(dú)立存放，而且對(duì)用戶是透明的，標(biāo)準(zhǔn)元數(shù)據(jù)之間可以互相轉(zhuǎn)換。