數(shù)據(jù)分析:數(shù)據(jù)清洗的一些梳理

數(shù)據(jù)清洗， 是整個(gè)數(shù)據(jù)分析過程中不可缺少的一個(gè)環(huán)節(jié)，其結(jié)果質(zhì)量直接關(guān)系到模型效果和最終結(jié)論。在實(shí)際操作中，數(shù)據(jù)清洗通常會(huì)占據(jù)分析過程的50%—80%的時(shí)間。國外有些學(xué)術(shù)機(jī)構(gòu)會(huì)專門研究如何做數(shù)據(jù)清洗，相關(guān)的書籍也不少。

（美亞搜data cleaning的結(jié)果，可以看到這書還挺貴）

我將在這篇文章中，嘗試非常淺層次的梳理一下數(shù)據(jù)清洗過程，供各位參考。

照例，先上圖：

預(yù)處理階段

預(yù)處理階段主要做兩件事情：一是將數(shù)據(jù)導(dǎo)入處理工具。通常來說，建議使用數(shù)據(jù)庫，單機(jī)跑數(shù)搭建MySQL環(huán)境即可。如果數(shù)據(jù)量大（千萬級(jí)以上），可以使用文本文件存儲(chǔ)+Python操作的方式。

二是看數(shù)據(jù)。這里包含兩個(gè)部分：一是看元數(shù)據(jù)，包括字段解釋、數(shù)據(jù)來源、代碼表等等一切描述數(shù)據(jù)的信息；二是抽取一部分?jǐn)?shù)據(jù)，使用人工查看方式，對(duì)數(shù)據(jù)本身有一個(gè)直觀的了解，并且初步發(fā)現(xiàn)一些問題，為之后的處理做準(zhǔn)備。

第一步：缺失值清洗

缺失值是最常見的數(shù)據(jù)問題，處理缺失值也有很多方法，我建議按照以下四個(gè)步驟進(jìn)行：

1、確定缺失值范圍：對(duì)每個(gè)字段都計(jì)算其缺失值比例，然后按照缺失比例和字段重要性，分別制定策略，可用下圖表示：

2、去除不需要的字段：這一步很簡(jiǎn)單，直接刪掉即可……但強(qiáng)烈建議清洗每做一步都備份一下，或者在小規(guī)模數(shù)據(jù)上試驗(yàn)成功再處理全量數(shù)據(jù)，不然刪錯(cuò)了會(huì)追悔莫及（多說一句，寫SQL的時(shí)候delete一定要配where?。?。

3、填充缺失內(nèi)容：某些缺失值可以進(jìn)行填充，方法有以下三種：

以業(yè)務(wù)知識(shí)或經(jīng)驗(yàn)推測(cè)填充缺失值

以同一指標(biāo)的計(jì)算結(jié)果（均值、中位數(shù)、眾數(shù)等）填充缺失值

以不同指標(biāo)的計(jì)算結(jié)果填充缺失值

前兩種方法比較好理解。關(guān)于第三種方法，舉個(gè)最簡(jiǎn)單的例子：年齡字段缺失，但是有屏蔽后六位的身份證號(hào)，so……4、重新取數(shù)：如果某些指標(biāo)非常重要又缺失率高，那就需要和取數(shù)人員或業(yè)務(wù)人員了解，是否有其他渠道可以取到相關(guān)數(shù)據(jù)。
以上，簡(jiǎn)單的梳理了缺失值清洗的步驟，但其中有一些內(nèi)容遠(yuǎn)比我說的復(fù)雜，比如填充缺失值。很多講統(tǒng)計(jì)方法或統(tǒng)計(jì)工具的書籍會(huì)提到相關(guān)方法，有興趣的各位可以自行深入了解。

第二步：格式內(nèi)容清洗

如果數(shù)據(jù)是由系統(tǒng)日志而來，那么通常在格式和內(nèi)容方面，會(huì)與元數(shù)據(jù)的描述一致。而如果數(shù)據(jù)是由人工收集或用戶填寫而來，則有很大可能性在格式和內(nèi)容上存在一些問題，簡(jiǎn)單來說，格式內(nèi)容問題有以下幾類：1、時(shí)間、日期、數(shù)值、全半角等顯示格式不一致

這種問題通常與輸入端有關(guān)，在整合多來源數(shù)據(jù)時(shí)也有可能遇到，將其處理成一致的某種格式即可。

2、內(nèi)容中有不該存在的字符

某些內(nèi)容可能只包括一部分字符，比如身份證號(hào)是數(shù)字+字母，中國人姓名是漢字（趙C這種情況還是少數(shù)）。最典型的就是頭、尾、中間的空格，也可能出現(xiàn)姓名中存在數(shù)字符號(hào)、身份證號(hào)中出現(xiàn)漢字等問題。這種情況下，需要以半自動(dòng)校驗(yàn)半人工方式來找出可能存在的問題，并去除不需要的字符。

3、內(nèi)容與該字段應(yīng)有內(nèi)容不符

姓名寫了性別，身份證號(hào)寫了手機(jī)號(hào)等等，均屬這種問題。 但該問題特殊性在于：并不能簡(jiǎn)單的以刪除來處理，因?yàn)槌梢蛴锌赡苁侨斯ぬ顚戝e(cuò)誤，也有可能是前端沒有校驗(yàn)，還有可能是導(dǎo)入數(shù)據(jù)時(shí)部分或全部存在列沒有對(duì)齊的問題，因此要詳細(xì)識(shí)別問題類型。

格式內(nèi)容問題是比較細(xì)節(jié)的問題，但很多分析失誤都是栽在這個(gè)坑上，比如跨表關(guān)聯(lián)或VLOOKUP失?。ǘ鄠€(gè)空格導(dǎo)致工具認(rèn)為“陳丹奕”和“陳 丹奕”不是一個(gè)人）、統(tǒng)計(jì)值不全（數(shù)字里摻個(gè)字母當(dāng)然求和時(shí)結(jié)果有問題）、模型輸出失敗或效果不好（數(shù)據(jù)對(duì)錯(cuò)列了，把日期和年齡混了，so……）。因此，請(qǐng)各位務(wù)必注意這部分清洗工作，尤其是在處理的數(shù)據(jù)是人工收集而來，或者你確定產(chǎn)品前端校驗(yàn)設(shè)計(jì)不太好的時(shí)候……

第三步：邏輯錯(cuò)誤清洗

這部分的工作是去掉一些使用簡(jiǎn)單邏輯推理就可以直接發(fā)現(xiàn)問題的數(shù)據(jù)，防止分析結(jié)果走偏。主要包含以下幾個(gè)步驟：

1、去重

有的分析師喜歡把去重放在第一步，但我強(qiáng)烈建議把去重放在格式內(nèi)容清洗之后，原因已經(jīng)說過了（多個(gè)空格導(dǎo)致工具認(rèn)為“陳丹奕”和“陳 丹奕”不是一個(gè)人，去重失?。?。而且，并不是所有的重復(fù)都能這么簡(jiǎn)單的去掉……

我曾經(jīng)做過電話銷售相關(guān)的數(shù)據(jù)分析，發(fā)現(xiàn)銷售們?yōu)榱藫寙魏?jiǎn)直無所不用其極……舉例，一家公司叫做“ABC管家有限公司“，在銷售A手里，然后銷售B為了搶這個(gè)客戶，在系統(tǒng)里錄入一個(gè)”ABC官家有限公司“。你看，不仔細(xì)看你都看不出兩者的區(qū)別，而且就算看出來了，你能保證沒有”ABC官家有限公司“這種東西的存在么……這種時(shí)候，要么去抱RD大腿要求人家給你寫模糊匹配算法，要么肉眼看吧。

上邊這個(gè)還不是最狠的，請(qǐng)看下圖：

你用的系統(tǒng)里很有可能兩條路都叫八里莊路，敢直接去重不？（附送去重小tips：兩個(gè)八里莊路的門牌號(hào)范圍不一樣）

當(dāng)然，如果數(shù)據(jù)不是人工錄入的，那么簡(jiǎn)單去重即可。

2、去除不合理值

一句話就能說清楚：有人填表時(shí)候瞎填，年齡200歲，年收入100000萬（估計(jì)是沒看見”萬“字），這種的就要么刪掉，要么按缺失值處理。這種值如何發(fā)現(xiàn)？提示：可用但不限于箱形圖（Box-plot）.

3、修正矛盾內(nèi)容

有些字段是可以互相驗(yàn)證的，舉例：身份證號(hào)是1101031980XXXXXXXX，然后年齡填18歲，我們雖然理解人家永遠(yuǎn)18歲的想法，但得知真實(shí)年齡可以給用戶提供更好的服務(wù)?。ㄓ窒钩丁?。在這種時(shí)候，需要根據(jù)字段的數(shù)據(jù)來源，來判定哪個(gè)字段提供的信息更為可靠，去除或重構(gòu)不可靠的字段。

邏輯錯(cuò)誤除了以上列舉的情況，還有很多未列舉的情況，在實(shí)際操作中要酌情處理。另外，這一步驟在之后的數(shù)據(jù)分析建模過程中有可能重復(fù)，因?yàn)榧词箚栴}很簡(jiǎn)單，也并非所有問題都能夠一次找出，我們能做的是使用工具和方法，盡量減少問題出現(xiàn)的可能性，使分析過程更為高效。

第四步：非需求數(shù)據(jù)清洗

這一步說起來非常簡(jiǎn)單：把不要的字段刪了。

但實(shí)際操作起來，有很多問題，例如：

把看上去不需要但實(shí)際上對(duì)業(yè)務(wù)很重要的字段刪了；

某個(gè)字段覺得有用，但又沒想好怎么用，不知道是否該刪；

一時(shí)看走眼，刪錯(cuò)字段了。

前兩種情況我給的建議是：如果數(shù)據(jù)量沒有大到不刪字段就沒辦法處理的程度，那么能不刪的字段盡量不刪。第三種情況，請(qǐng)勤備份數(shù)據(jù)……

第五步：關(guān)聯(lián)性驗(yàn)證

如果你的數(shù)據(jù)有多個(gè)來源，那么有必要進(jìn)行關(guān)聯(lián)性驗(yàn)證。例如，你有汽車的線下購買信息，也有電話客服問卷信息，兩者通過姓名和手機(jī)號(hào)關(guān)聯(lián)，那么要看一下，同一個(gè)人線下登記的車輛信息和線上問卷問出來的車輛信息是不是同一輛，如果不是（別笑，業(yè)務(wù)流程設(shè)計(jì)不好是有可能出現(xiàn)這種問題的！），那么需要調(diào)整或去除數(shù)據(jù)。

嚴(yán)格意義上來說，這已經(jīng)脫離數(shù)據(jù)清洗的范疇了，而且關(guān)聯(lián)數(shù)據(jù)變動(dòng)在數(shù)據(jù)庫模型中就應(yīng)該涉及。但我還是希望提醒大家，多個(gè)來源的數(shù)據(jù)整合是非常復(fù)雜的工作，一定要注意數(shù)據(jù)之間的關(guān)聯(lián)性，盡量在分析過程中不要出現(xiàn)數(shù)據(jù)之間互相矛盾，而你卻毫無察覺的情況。