數(shù)據(jù)清洗經(jīng)驗(yàn)分享：什么是數(shù)據(jù)清洗 如何做好數(shù)據(jù)清洗

大數(shù)據(jù)本身是一座金礦、一種資源，沉睡的資源是很難創(chuàng)造價(jià)值的，它必須經(jīng)過清洗、分析、建模、可視化等過程加工處理之后，才真正產(chǎn)生價(jià)值。

數(shù)據(jù)加工、清洗的過程與機(jī)械加工的流水線生產(chǎn)過程相似。例如，從各個(gè)渠道采集到的數(shù)據(jù)質(zhì)量很差，于是就需要對(duì)數(shù)據(jù)進(jìn)行“脫敏”以及“包裝”，最終呈現(xiàn)在用戶面前時(shí)是一個(gè)個(gè)數(shù)據(jù)產(chǎn)品，這樣才能提供給消費(fèi)者，進(jìn)行數(shù)據(jù)交易。

數(shù)據(jù)清洗的目的——發(fā)現(xiàn)并糾正數(shù)據(jù)文件

數(shù)據(jù)清洗是發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識(shí)別錯(cuò)誤的一道程序，該步驟針對(duì)數(shù)據(jù)審查過程中發(fā)現(xiàn)的明顯錯(cuò)誤值、缺失值、異常值、可疑數(shù)據(jù)，選用適當(dāng)方法進(jìn)行“清理”，使“臟”數(shù)據(jù)變?yōu)椤案蓛簟睌?shù)據(jù)，有利于后續(xù)的統(tǒng)計(jì)分析得出可靠的結(jié)論。當(dāng)然，數(shù)據(jù)清理還包括對(duì)重復(fù)記錄進(jìn)行刪除、檢查數(shù)據(jù)一致性。如何對(duì)數(shù)據(jù)進(jìn)行有效的清理和轉(zhuǎn)換使之成為符合數(shù)據(jù)挖掘要求的數(shù)據(jù)源是影響數(shù)據(jù)挖掘準(zhǔn)確性的關(guān)鍵因素.

 趙剛博士：中國(guó)數(shù)據(jù)加工清洗產(chǎn)業(yè)趨勢(shì)分析　　附：

數(shù)據(jù)清洗經(jīng)驗(yàn)分享

數(shù)據(jù)分析的第一步是洗數(shù)據(jù)，原始數(shù)據(jù)可能有各種不同的來源，包括：

1、Web服務(wù)器的日志

2、某種科學(xué)儀器的輸出結(jié)果

3、在線調(diào)查問卷的導(dǎo)出結(jié)果

4、1970s的政府?dāng)?shù)據(jù)

5、企業(yè)顧問準(zhǔn)備的報(bào)告

這些來源的共同點(diǎn)是：你絕對(duì)料想不到他們的各種怪異的格式。數(shù)據(jù)給你了，那就要處理，但這些數(shù)據(jù)可能經(jīng)常是：

1、不完整的（某些記錄的某些字段缺失）

2、前后不一致（字段名和結(jié)構(gòu)前后不一）

3、數(shù)據(jù)損壞（有些記錄可能會(huì)因?yàn)榉N種原因被破壞）

因此，你必須經(jīng)常維護(hù)你的清洗程序來清洗這些原始數(shù)據(jù)，把他們轉(zhuǎn)化成易于分析的格式，通常稱為data wrangling。接下來會(huì)介紹一些關(guān)于如何有效清洗數(shù)據(jù)，所有介紹的內(nèi)容都可以由任意編程語言實(shí)現(xiàn)。

使用斷言

這是最重要的一點(diǎn)經(jīng)驗(yàn)：使用斷言(Assertions)揪出代碼中的bug。用斷言的形式寫下你對(duì)代碼格式的假設(shè)，如果一旦發(fā)現(xiàn)有數(shù)據(jù)跟你的斷言相悖，就修改這些斷言。

記錄是有序的？如果是，斷言之！每一條記錄都是有7個(gè)字段么？如果是，斷言之。每一個(gè)字段都是0-26之間的奇數(shù)么？如果是，斷言之！總之，能斷言的都斷言！

在理想世界中，所有記錄都應(yīng)該是整整齊齊的格式，并且遵循某種簡(jiǎn)潔的內(nèi)在結(jié)構(gòu)。但是實(shí)際當(dāng)中可不是這樣。寫斷言寫到你眼出血，即便是出血還得再寫。

洗數(shù)據(jù)的程序肯定會(huì)經(jīng)常崩潰。這很好，因?yàn)槊恳淮伪罎⒍家馕吨氵@些糟糕的數(shù)據(jù)又跟你最初的假設(shè)相悖了。反復(fù)的改進(jìn)你的斷言直到能成功的走通。但一定要盡可能讓他們保持嚴(yán)格，不要太寬松，要不然可能達(dá)不到你要的效果。最壞的情況不是程序走不通，而是走出來不是你要的結(jié)果。

不要默默的跳過記錄

原始數(shù)據(jù)中有些記錄是不完整或者損壞的，所以洗數(shù)據(jù)的程序只能跳過。默默的跳過這些記錄不是最好的辦法，因?yàn)槟悴恢朗裁磾?shù)據(jù)遺漏了。因此，這樣做更好:

1、打印出warning提示信息，這樣你就能夠過后再去尋找什么地方出錯(cuò)了

2、記錄總共跳過了多少記錄，成功清洗了多少記錄。這樣做能夠讓你對(duì)原始數(shù)據(jù)的質(zhì)量有個(gè)大致的感覺，比如，如果只跳過了0.5%，這還說的過去。但是如果跳過了35%，那就該看看這些數(shù)據(jù)或者代碼存在什么問題了。

使用Set或者Counter把變量的類別以及類別出現(xiàn)的頻次存儲(chǔ)起來

數(shù)據(jù)中經(jīng)常有些字段是枚舉類型的。例如，血型只能是A、B、AB或者O。用斷言來限定血型只能是這4種之一雖然挺好，但是如果某個(gè)類別包含多種可能的值，尤其是當(dāng)有的值你可能始料未及的話，就不能用斷言了。這時(shí)候，采用counter這種數(shù)據(jù)結(jié)構(gòu)來存儲(chǔ)就會(huì)比較好用。這樣做你就可以：

1、對(duì)于某個(gè)類別，假如碰到了始料未及的新取值時(shí)，就能夠打印一條消息提醒你一下。

2、洗完數(shù)據(jù)之后供你反過頭來檢查。例如，假如有人把血型誤填成C，那回過頭來就能輕松發(fā)現(xiàn)了。

斷點(diǎn)清洗

如果你有大量的原始數(shù)據(jù)需要清洗，要一次清洗完可能需要很久，有可能是5分鐘，10分鐘，一小時(shí)，甚至是幾天。實(shí)際當(dāng)中，經(jīng)常在洗到一半的時(shí)候突然崩潰了。

假設(shè)你有100萬條記錄，你的清洗程序在第325392條因?yàn)槟承┊惓１罎⒘?，你修改了這個(gè)bug，然后重新清洗，這樣的話，程序就得重新從1清洗到325391，這是在做無用功。其實(shí)可以這么做：1. 讓你的清洗程序打印出來當(dāng)前在清洗第幾條，這樣，如果崩潰了，你就能知道處理到哪條時(shí)崩潰了。2. 讓你的程序支持在斷點(diǎn)處開始清洗，這樣當(dāng)重新清洗時(shí)，你就能從325392直接開始。重洗的代碼有可能會(huì)再次崩潰，你只要再次修正bug然后從再次崩潰的記錄開始就行了。

當(dāng)所有記錄都清洗結(jié)束之后，再重新清洗一遍，因?yàn)楹髞硇薷腷ug后的代碼可能會(huì)對(duì)之前的記錄的清洗帶來一些變化，兩次清洗保證萬無一失。但總的來說，設(shè)置斷點(diǎn)能夠節(jié)省很多時(shí)間，尤其是當(dāng)你在debug的時(shí)候。

在一部分?jǐn)?shù)據(jù)上進(jìn)行測(cè)試

不要嘗試一次性清洗所有數(shù)據(jù)。當(dāng)你剛開始寫清洗代碼和debug的時(shí)候，在一個(gè)規(guī)模較小的子集上進(jìn)行測(cè)試，然后擴(kuò)大測(cè)試的這個(gè)子集再測(cè)試。這樣做的目的是能夠讓你的清洗程序很快的完成測(cè)試集上的清洗，例如幾秒，這樣會(huì)節(jié)省你反復(fù)測(cè)試的時(shí)間。

但是要注意，這樣做的話，用于測(cè)試的子集往往不能涵蓋到一些奇葩記錄，因?yàn)槠孑饪偸潜容^少見的嘛。

把清洗日志打印到文件中

當(dāng)運(yùn)行清洗程序時(shí)，把清洗日志和錯(cuò)誤提示都打印到文件當(dāng)中，這樣就能輕松的使用文本編輯器來查看他們了。

可選：把原始數(shù)據(jù)一并存儲(chǔ)下來

當(dāng)你不用擔(dān)心存儲(chǔ)空間的時(shí)候這一條經(jīng)驗(yàn)還是很有用的。這樣做能夠讓原始數(shù)據(jù)作為一個(gè)字段保存在清洗后的數(shù)據(jù)當(dāng)中，在清洗完之后，如果你發(fā)現(xiàn)哪條記錄不對(duì)勁了，就能夠直接看到原始數(shù)據(jù)長(zhǎng)什么樣子，方便你debug。

不過，這樣做的壞處就是需要消耗雙倍的存儲(chǔ)空間，并且讓某些清洗操作變得更慢。所以這一條只適用于效率允許的情況下。

最后一點(diǎn)，驗(yàn)證清洗后的數(shù)據(jù)

記得寫一個(gè)驗(yàn)證程序來驗(yàn)證你清洗后得到的干凈數(shù)據(jù)是否跟你預(yù)期的格式一致。你不能控制原始數(shù)據(jù)的格式，但是你能夠控制干凈數(shù)據(jù)的格式。所以，一定要確保干凈數(shù)據(jù)的格式是符合你預(yù)期的格式的。

這一點(diǎn)其實(shí)是非常重要的，因?yàn)槟阃瓿闪?a href='/map/shujuqingxi/' style='color:#000;font-size:inherit;'>數(shù)據(jù)清洗之后，接下來就會(huì)直接在這些干凈數(shù)據(jù)上進(jìn)行下一步工作了。如非萬不得已，你甚至再也不會(huì)碰那些原始數(shù)據(jù)了。因此，在你開始數(shù)據(jù)分析之前要確保數(shù)據(jù)是足夠干凈的。要不然的話，你可能會(huì)得到錯(cuò)誤的分析結(jié)果，到那時(shí)候，就很難再發(fā)現(xiàn)很久之前的數(shù)據(jù)清洗過程中犯的錯(cuò)了。