數(shù)據(jù)挖掘中常用的數(shù)據(jù)清洗方法

對(duì)于數(shù)據(jù)挖掘來(lái)說(shuō)，80%的工作都花在數(shù)據(jù)準(zhǔn)備上面，而數(shù)據(jù)準(zhǔn)備，80%的時(shí)間又花在數(shù)據(jù)清洗上，而數(shù)據(jù)清洗的工作，80%又花在選擇若干種適當(dāng)高效的方法上。用不同方法清洗的數(shù)據(jù)，對(duì)后續(xù)挖掘的分析工作會(huì)帶來(lái)重大影響。

1、數(shù)值化
由于原始數(shù)據(jù)往往存在各種不同格式的數(shù)據(jù)形式，比如如果你要處理的數(shù)據(jù)是數(shù)值型，但是原始數(shù)據(jù)也許有字符型或者其他，那就要對(duì)其進(jìn)行標(biāo)準(zhǔn)化操作。處理的方式可以很簡(jiǎn)單也可以很復(fù)雜，我采取過(guò)的一個(gè)方法是：對(duì)字符串取值，按照ANSI碼值求和得到字符串的值，如果值太大，可以取一個(gè)適當(dāng)?shù)馁|(zhì)數(shù)對(duì)其求模，本質(zhì)上就是映射到一個(gè)區(qū)間了。然后就得到數(shù)值型的數(shù)據(jù)了。

2、標(biāo)準(zhǔn)化 normalization
由于原始數(shù)據(jù)各個(gè)維度之間的數(shù)值往往相差很大，比如一個(gè)維度的最小值是0.01，另一個(gè)維度最小值卻是1000，那么也許在數(shù)據(jù)分析的時(shí)候，計(jì)算相關(guān)性或者方差啥的指標(biāo)，后者會(huì)掩蓋了前者的作用。因此有必要對(duì)整體數(shù)據(jù)進(jìn)行歸一化工作，也就是將它們都映射到一個(gè)指定的數(shù)值區(qū)間，這樣就不會(huì)對(duì)后續(xù)的數(shù)據(jù)分析產(chǎn)生重大影響。我采取過(guò)的一個(gè)做法是：min-max標(biāo)準(zhǔn)化。

3、降維
由于原始數(shù)據(jù)往往含有很多維度，也就是咱們所說(shuō)的列數(shù)。比如對(duì)于銀行數(shù)據(jù)，它往往就含有幾十個(gè)指標(biāo)。這些維度之間往往不是獨(dú)立的，也就是說(shuō)也許其中之間若干的維度之間存在關(guān)聯(lián)，也許有他就可以沒(méi)有我，因此咱們可以使用數(shù)據(jù)的相關(guān)性分析來(lái)降低數(shù)據(jù)維度。我使用過(guò)的一個(gè)方法是：主成分分析法。

4、完整性：

解決思路：數(shù)據(jù)缺失，那么補(bǔ)上就好了。
補(bǔ)數(shù)據(jù)有什么方法？

- 通過(guò)其他信息補(bǔ)全，例如使用身份證件號(hào)碼推算性別、籍貫、出生日期、年齡等
- 通過(guò)前后數(shù)據(jù)補(bǔ)全，例如時(shí)間序列缺數(shù)據(jù)了，可以使用前后的均值，缺的多了，可以使用平滑等處理，記得Matlab還是什么工具可以自動(dòng)補(bǔ)全

- 實(shí)在補(bǔ)不全的，雖然很可惜，但也必須要剔除。但是不要?jiǎng)h掉，沒(méi)準(zhǔn)以后可以用得上

- 解決數(shù)據(jù)的唯一性問(wèn)題

解題思路：去除重復(fù)記錄，只保留一條。
去重的方法有：

- 按主鍵去重，用sql或者excel“去除重復(fù)記錄”即可，
- 按規(guī)則去重，編寫一系列的規(guī)則，對(duì)重復(fù)情況復(fù)雜的數(shù)據(jù)進(jìn)行去重。例如不同渠道來(lái)的客戶數(shù)據(jù)，可以通過(guò)相同的關(guān)鍵信息進(jìn)行匹配，合并去重。

- 解決數(shù)據(jù)的共識(shí)性問(wèn)題
解題思路：用最權(quán)威的那個(gè)渠道的數(shù)據(jù)
方法:
對(duì)不同渠道設(shè)定權(quán)威級(jí)別，例如：在家里，首先得相信媳婦說(shuō)的。。。

- 解決數(shù)據(jù)的合法性問(wèn)題
解題思路：設(shè)定判定規(guī)則

- 設(shè)定強(qiáng)制合法規(guī)則，凡是不在此規(guī)則范圍內(nèi)的，強(qiáng)制設(shè)為最大值，或者判為無(wú)效，剔除

- 字段類型合法規(guī)則：日期字段格式為“2010-10-10”
- 字段內(nèi)容合法規(guī)則：性別 in （男、女、未知）；出生日期<=今天

    設(shè)定警告規(guī)則，凡是不在此規(guī)則范圍內(nèi)的，進(jìn)行警告，然后人工處理

    - 警告規(guī)則：年齡》110
   
    離群值人工特殊處理，使用分箱、聚類、回歸、等方式發(fā)現(xiàn)離群值
        解決數(shù)據(jù)的一致性問(wèn)題

解題思路：建立數(shù)據(jù)體系，包含但不限于：

- 指標(biāo)體系（度量）
- 維度（分組、統(tǒng)計(jì)口徑）
- 單位
- 頻度
- 數(shù)據(jù)