如何對(duì)數(shù)據(jù)源進(jìn)行分析

一位同事正在做數(shù)據(jù)探索，我問他“數(shù)據(jù)探索有什么開發(fā)方法？”他回答道，“沒有固定的開發(fā)方法 ，就是看看數(shù)據(jù)，做做簡單的統(tǒng)計(jì)?！?

至此，先解釋一下，什么是數(shù)據(jù)探索，數(shù)據(jù)探索是對(duì)數(shù)據(jù)進(jìn)行初步研究處理，目的是為了更好的理解其特殊性質(zhì)，以便后來選擇合適的數(shù)據(jù)預(yù)處理和數(shù)據(jù)分析技術(shù)。包括匯總統(tǒng)計(jì)、可視化、OLAP和多維數(shù)據(jù)分析等等。

有過數(shù)據(jù)分析基礎(chǔ)的同學(xué)可能會(huì)笑話我這位同事菜鳥。其實(shí)并不是沒有開發(fā)方法，只是沒有形成模式。如果一位即將進(jìn)行此項(xiàng)工作的人，面對(duì)一堆數(shù)據(jù)，他該怎么辦？我想第一個(gè)需要弄清楚的是“這樣做的目的是什么”。如果他對(duì)數(shù)據(jù)不熟悉，答案可能是"搞清楚這些數(shù)據(jù)結(jié)構(gòu)和關(guān)系"。如果他要做的是數(shù)據(jù)挖掘工作中的一部分工作，這個(gè)答案可能是，"哪些客戶群是需要關(guān)注的？考慮哪些因素？"而對(duì)于后者，如果他對(duì)于數(shù)據(jù)還不是非常熟悉的話，恐怕還是得像前者一樣，搞清楚數(shù)據(jù)結(jié)構(gòu)。

曾經(jīng)做過一些數(shù)據(jù)源分析的工作，是為了定義生產(chǎn)系統(tǒng)開發(fā)和經(jīng)營分析系統(tǒng)開發(fā)之間的接口，工作的目的就是搞清楚數(shù)據(jù)結(jié)構(gòu)。這種目的不算非常強(qiáng)，所以采取的方式是首先確定大范圍，再逐個(gè)表分析，給出表的定義，約束關(guān)系以及和其他表的關(guān)系。例如需要分析客戶、帳務(wù)、業(yè)務(wù)使用的數(shù)據(jù)，而資源、數(shù)據(jù)業(yè)務(wù)的先不管，縮小范圍。一般來說，這個(gè)范圍可以縮到很小，數(shù)量級(jí)在20以內(nèi)是個(gè)不錯(cuò)的選擇。如果太多數(shù)據(jù)只會(huì)讓人產(chǎn)生恐懼，難以入手。但其實(shí)最終需要分析的表肯定超出20個(gè)，因?yàn)檠刂碇g的關(guān)系，能夠引出一些新的需要分析的表。

雖然一般都會(huì)有數(shù)據(jù)字典幫助你理解數(shù)據(jù)，可幾乎這些文檔都只是記錄了表結(jié)構(gòu)，表名、主鍵、外鍵參照等，而字段之間的邏輯關(guān)系，表的概念定義很少見到。例如對(duì)于一個(gè)用戶表，到底這個(gè)表里面存放的數(shù)據(jù)表示什么業(yè)務(wù)含義呢？找不到這樣的信息，如果說這張表中存放了所有的用戶（假設(shè)我們已經(jīng)給用戶一個(gè)定義，客戶定購某種產(chǎn)品的契約關(guān)系），那么這個(gè)“所有”是指歷史上所有出現(xiàn)過的用戶？或是當(dāng)前活動(dòng)的用戶？

要是對(duì)業(yè)務(wù)熟悉，腦中已經(jīng)有個(gè)概念模型，很快就可以切入重點(diǎn)，三戶關(guān)系如何設(shè)計(jì)的？銷帳流程是怎樣在數(shù)據(jù)中體現(xiàn)的？預(yù)存、托收、贈(zèng)送費(fèi)用都如何體現(xiàn)的？帶著這些問題去探索數(shù)據(jù)，當(dāng)然是事半功倍，可以將這些問題看作為更進(jìn)一步的探索目的。

說了這么多，探索數(shù)據(jù)分析就是一個(gè)三步曲：

1、明確目的——探索數(shù)據(jù)為了什么？能不能帶著問題進(jìn)去??？

2、分門別類——根據(jù)主題縮小范圍，對(duì)字段進(jìn)行分組

3、去蕪存菁——挑選重點(diǎn)的字段，用樣本觀察

上面都是在說如何理解數(shù)據(jù)結(jié)構(gòu)和含義，也將它叫做"數(shù)據(jù)探索"的一部分了，當(dāng)然如果是數(shù)據(jù)挖掘，其數(shù)據(jù)探索步驟還有更強(qiáng)的目的性，這個(gè)不做細(xì)談。