數(shù)據(jù)分析方法論介紹

1.序

在數(shù)據(jù)集成類的項目中，最難的過程就是數(shù)據(jù)分析了，數(shù)據(jù)分析過程位于數(shù)據(jù)集成類項目整個過程(前期準備調(diào)研-----數(shù)據(jù)分析-----接口實現(xiàn))的第二步，它為第三步接口實現(xiàn)提供了充分的準備，因此數(shù)據(jù)分析的正確與否很大程度上決定了數(shù)據(jù)集成能否成功的實現(xiàn)和完成。

怎么樣有效的進行數(shù)據(jù)分析呢，怎么樣提前在數(shù)據(jù)分析中盡量避免問題等到實現(xiàn)時才出現(xiàn)呢？這是一個行之有效的數(shù)據(jù)分析方法論的評判的關(guān)鍵。

經(jīng)過幾個項目的經(jīng)歷，反思了一下在做這些項目時比較有效的方法和失妥的方法，總結(jié)了一套目前個人覺得可行的數(shù)據(jù)分析方法，此套數(shù)據(jù)分析方法只適用于數(shù)據(jù)庫---文件---數(shù)據(jù)庫或數(shù)據(jù)庫---數(shù)據(jù)庫的分析，對于接口式的集成(例如調(diào)用對方的webservice、EJB接口等)并不適用，在這樣的一套數(shù)據(jù)分析的方法中，為數(shù)據(jù)分析的步驟以及需要注意的問題事項提出了指導(dǎo)，編寫此blog以希望有同行的同學(xué)們多多交流。

2.數(shù)據(jù)分析方法論

此方法論中涉及的名詞的解釋：

目標數(shù)據(jù)源

指在數(shù)據(jù)集成中需要導(dǎo)入數(shù)據(jù)的數(shù)據(jù)源，此數(shù)據(jù)源可能是數(shù)據(jù)庫，也有可能是文件。

源數(shù)據(jù)源

指在數(shù)據(jù)集成中獲取數(shù)據(jù)的數(shù)據(jù)源，此數(shù)據(jù)源可能是數(shù)據(jù)庫，也有可能是文件。

字典代碼

在數(shù)據(jù)庫中以代碼的方式(如數(shù)字、英文字母等)來代替中文意思進行存儲，其中的這些代碼就稱為字典代碼。

2.1.步驟

2.1.1.分析目標數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)

目標數(shù)據(jù)源既有可能是數(shù)據(jù)庫也有可能是文件，但無論是哪種，它都是有數(shù)據(jù)結(jié)構(gòu)的，首先要做的就是分析目標數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)，在分析目標數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)時，要分析清楚的有：

表

目標數(shù)據(jù)源中需要交換的有哪些表，這些表的含義分別是什么。

字段

這些表中包含的字段、字段的類型以及長度。

字段含義

分析每個字段的含義，包括字段的中文含義、字段涉及到的字典代碼以及字段的規(guī)則(如業(yè)務(wù)規(guī)則、生成規(guī)則)。

在分析了上面所提及的表、字段、字段含義后，形成如下結(jié)構(gòu)的文檔：

表名

2.1.2.分析目標數(shù)據(jù)源的表關(guān)系

在完成了第一步后，需要接著分析目標數(shù)據(jù)源的表關(guān)系，分析表關(guān)系最重要的在于分析各個表之間的關(guān)聯(lián)關(guān)系(例如一對一、一對多，通過這里可以分析出的為主鍵、外鍵的關(guān)聯(lián)關(guān)系)，其次就是需要根據(jù)業(yè)務(wù)來分析其各個表之間的隱性關(guān)聯(lián)，如只有當A表中的某個值為03時才關(guān)聯(lián)到B表。

在分析完畢目標數(shù)據(jù)源的表關(guān)系后，形成如下Rose圖：

2.1.3.分析源數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)

方法同2.1.1，分析的對象改變?yōu)樵磾?shù)據(jù)源，分析完畢后形成同2.1.1中的文檔。

2.1.4.分析源數(shù)據(jù)源的表關(guān)系

方法同2.1.2，分析的對象改變?yōu)樵磾?shù)據(jù)源，分析完畢后形成同2.1.2中的Rose圖。

2.1.5.根據(jù)目標數(shù)據(jù)源的表關(guān)系分析其和源數(shù)據(jù)源的表的對應(yīng)關(guān)系

根據(jù)目標數(shù)據(jù)源的表關(guān)系，來分析其和源數(shù)據(jù)源表的對應(yīng)關(guān)系，在這個步驟中需要分析清楚的是目標數(shù)據(jù)源的表的數(shù)據(jù)來源于源數(shù)據(jù)源的哪些表，怎么獲取到這些數(shù)據(jù)，分析完畢后可形成校驗數(shù)據(jù)集成是否正確的一個標準，那就是目標數(shù)據(jù)源的表的數(shù)據(jù)量和其來源的源數(shù)據(jù)源的那些表的數(shù)據(jù)量應(yīng)該是一致的，分析時仍然是根據(jù)目標表的業(yè)務(wù)含義去源數(shù)據(jù)源中的表中尋找具備相同含義的表，在分析的過程中可能會碰到如下幾種情況：

含義相同的表

這種情況通常是目標數(shù)據(jù)源和源數(shù)據(jù)源均為使用一張表存儲，含義相同的表通常都是一對一的數(shù)據(jù)關(guān)系，例如目標數(shù)據(jù)源中有一張表為常住人口基本信息，源數(shù)據(jù)源中有張常住人員基本信息，兩張表就可以對應(yīng)上了，當然，有些時候并不一定是意義相同就一定相同，這需要從業(yè)務(wù)層面去判斷。

具備包含意義的表

這種情況通常是目標數(shù)據(jù)源為一張表，源數(shù)據(jù)源為多張表，這個時候就形成多對一的關(guān)系，例如目標數(shù)據(jù)源中有張表為物品表，源數(shù)據(jù)源中為手機、證券等幾張表，這個時候就需要將手機、證券這些表對應(yīng)到物品表。

又或者可能會碰到這樣的現(xiàn)象，目標數(shù)據(jù)源為一張表，源數(shù)據(jù)源也是一張表，但源數(shù)據(jù)源的這張表的每行記錄包含了目標表的兩種類型的記錄，這種情況下就需要將源數(shù)據(jù)源的一行記錄拆分為兩條導(dǎo)入到目標表中，例如目標數(shù)據(jù)源有張表為遷入遷出表，其存儲方式為遷入和遷出都為單獨的記錄來存儲的，源數(shù)據(jù)源有張表也為遷入遷出表，但其存儲方式為遷入和遷出在同一條記錄，這個時候就要將源數(shù)據(jù)源的這張遷入遷出表的一行記錄拆分為兩條進行導(dǎo)入了。

被包含意義的表

和之上的具備包含意義的表相反。

根據(jù)業(yè)務(wù)的對應(yīng)關(guān)系

這張是最為復(fù)雜的，例如可能會碰到這樣的現(xiàn)象，當源數(shù)據(jù)源的某張表的某個字段的值為多個的時候，就需要拆分為兩條記錄導(dǎo)入到目標表中。

綜合上面所述，目標數(shù)據(jù)源的表和源數(shù)據(jù)源的表可能會存在一對一、一對多、多對一、多對多、條件式的對應(yīng)幾種關(guān)系，在分析完畢后形成如下的文檔：

2.1.6.根據(jù)表的對應(yīng)關(guān)系分析字段的對應(yīng)關(guān)系以及轉(zhuǎn)化規(guī)則

在對應(yīng)了表的對應(yīng)關(guān)系后，根據(jù)表的單一對應(yīng)關(guān)系(如目標數(shù)據(jù)源的B表對應(yīng)到了源數(shù)據(jù)源的B、C表，則需要分為B對應(yīng)B以及B對應(yīng)C兩個步驟來分析)來分析每個表中的字段的對應(yīng)關(guān)系以及轉(zhuǎn)化規(guī)則了，對應(yīng)的方法為：

先在對應(yīng)的表中尋找相應(yīng)的字段

如尋找不到則到相關(guān)的表中尋找相應(yīng)的字段

如還是尋找不到則需要從業(yè)務(wù)含義方面去推測

從業(yè)務(wù)含義角度分析此字段是否需要合并多個字段或拆分字段，又或根據(jù)某種業(yè)務(wù)規(guī)則來生成這個字段的值。

在尋找到了相應(yīng)的字段后，首先根據(jù)類型、長度來分析是否需要進行類型和長度的處理，之后需要分析該字段是否為通過關(guān)聯(lián)到其他表來獲取的，接著再分析此字段是否涉及到字典代碼，如涉及則需要對照兩邊的字典代碼是否一致，如不一致則需要形成兩邊的字典代碼的對應(yīng)關(guān)系，最后分析該字段是否涉及業(yè)務(wù)含義，如涉及則需注明如何進行處理。

在分析完畢后，形成如下文檔：

表名

2.2.需注意的問題

由于數(shù)據(jù)集成涉及的為系統(tǒng)中最為重要的基礎(chǔ)—數(shù)據(jù)，那么在做數(shù)據(jù)集成時就特別需要仔細考慮不要對數(shù)據(jù)產(chǎn)生了破壞性的影響，這也是數(shù)據(jù)分析過程中需要慎重考慮的問題。

2.2.1.數(shù)據(jù)覆蓋/混亂的問題

在做數(shù)據(jù)分析時需要考慮，這樣集成數(shù)據(jù)后是否會將已存在的數(shù)據(jù)非法的覆蓋或造出混亂，出現(xiàn)這種問題通常都是由于主鍵的原因，這個在做數(shù)據(jù)分析時需要考慮。

2.2.2.制定錯誤出現(xiàn)時的彌補方案

在做數(shù)據(jù)分析時需要考慮在進行數(shù)據(jù)集成后可能會出現(xiàn)的錯誤，對于這些可能出現(xiàn)的錯誤需要制定相應(yīng)的彌補方案，以避免數(shù)據(jù)的被破壞。

2.2.3.源數(shù)據(jù)源數(shù)據(jù)質(zhì)量造成的問題的處理方案

需要考慮如源數(shù)據(jù)源本身的數(shù)據(jù)質(zhì)量出現(xiàn)問題時，應(yīng)如何處理或者如何避免。

2.2.4.業(yè)務(wù)專家的支持

在整個數(shù)據(jù)分析的過程中，可以看出業(yè)務(wù)專家起到了非常大的作用，可以說如果缺少業(yè)務(wù)專家的話，數(shù)據(jù)分析很可能會失敗，或需要走很多的彎路才能最后摸索出來，有一點可以肯定，在缺少業(yè)務(wù)專家的支持下整個數(shù)據(jù)分析的過程將會大大的延長，從這點可以看出，在進行數(shù)據(jù)分析時要盡量獲取到業(yè)務(wù)專家的支持。

3.總結(jié)

如上的方法論對數(shù)據(jù)分析的過程和避免問題的方法做出了一定的描述，在實際的進行數(shù)據(jù)分析時，最重要的還是負責(zé)數(shù)據(jù)分析的人對于系統(tǒng)的理解，有過系統(tǒng)設(shè)計經(jīng)驗的人來做數(shù)據(jù)分析成功的幾率會高很多，有些非常專業(yè)的系統(tǒng)的話還得依賴有相應(yīng)的設(shè)計經(jīng)驗的人才做才能做得了，類如流程系統(tǒng)的數(shù)據(jù)集成。

在一個數(shù)據(jù)分析過程中，已經(jīng)可以制定出判斷數(shù)據(jù)集成是否成功的標準了，這也可以列為TDD的入口條件。

方法論始終都還是理論，我本來就不是一個那么講理論的人，但也不否認理論對于實際是有很好的指導(dǎo)作用的，避免在實踐過程中走過多的彎路，能做到理論結(jié)合實踐那是最好的，理論指導(dǎo)實踐，實踐改進理論。