作者 | CDA數(shù)據(jù)分析師

從菜市場(chǎng)買來的菜,總有一些不太好的，所以把菜買回來以后要先做一遍預(yù)處理，把那些不太好的部分扔掉?，F(xiàn)實(shí)中大部分的數(shù)據(jù)都類似于菜市場(chǎng)的菜品，拿到以后都要先做一次預(yù)處理。

常見的不規(guī)整的數(shù)據(jù)主要有缺失數(shù)據(jù)、重復(fù)數(shù)據(jù)、異常數(shù)據(jù)幾種，在開始正式的數(shù)據(jù)分許之前，我們需要先把這些不太規(guī)整的數(shù)據(jù)處理掉。

一、缺失值的處理

缺失值就是由某些原因?qū)е虏糠謹(jǐn)?shù)據(jù)為空，對(duì)于為空的這部分?jǐn)?shù)據(jù)我們一般有兩種處理方式，一種是刪除，即把含有缺失值的數(shù)據(jù)刪除；另一種是填充，即把缺失的那部分?jǐn)?shù)據(jù)用某個(gè)值代替。

1、缺失值查看

對(duì)缺失值進(jìn)行處理，首先要把缺失值找出來，也就是查看哪列有缺失值。

（1）Excel實(shí)現(xiàn)

在Excel中我們先選中一列沒有缺失值的數(shù)據(jù)，看一下這一列數(shù)據(jù)共有多少個(gè)，然后把其他列的計(jì)數(shù)與這一列進(jìn)行對(duì)比，小于這一列數(shù)據(jù)個(gè)數(shù)的就代表有缺失值，差值就是缺失的個(gè)數(shù)。

下圖中非缺失值列的數(shù)據(jù)計(jì)數(shù)為5，性別這一列的計(jì)數(shù)為4，這就表示性別這一列有1個(gè)缺失值。

如果想看整個(gè)數(shù)據(jù)表中每列數(shù)據(jù)的缺失情況，則要挨個(gè)選中每一列去判斷該列是否有缺失值。

如果數(shù)據(jù)不是特別多，你想看具體是哪個(gè)單元格缺失，則可以利用定位條件（按快捷鍵Ctrl+G可彈出定位條件的對(duì)話框）查找。在定位條件的對(duì)話框中選擇空值，單擊確定就會(huì)把所有的空值選中，如下圖所示：

通過定位條件把缺失值選出來的結(jié)果，如下圖所示：

（2）Python實(shí)現(xiàn)

在Python中直接調(diào)用info（）方法就會(huì)返回每一列值的缺失情況。關(guān)于info（）方法我們?cè)谇懊婢陀眠^，但是沒有說明這個(gè)方法可以判斷數(shù)據(jù)的缺失情況。

Python中缺失值一般用NaN表示，從用info（）方法的結(jié)果來看，性別這一列是3non-null object，表示性別這一列有3個(gè)非null值，而其他列有4個(gè)非null值，說明性別這一列有一個(gè)null值。

我們還可以用isnull（）方法來判斷那個(gè)值是缺失值，如果是缺失值則返回True，如果不是缺失值則返回False。

2、缺失值刪除

缺失值分為兩種，一種是一行中某個(gè)字段是缺失值；另一種是一行中的一個(gè)字段全部為缺失值，即為一個(gè)空白行。

（1）Excel實(shí)現(xiàn)

在Excel中，這兩種缺失值都可以通過在定位條件（按快捷鍵Ctrl+G可彈出定位條件的對(duì)話框）對(duì)話框中選擇空值找到。

這樣含有缺失值的部分就會(huì)被選中，包括某個(gè)具體的單元格及一整行，然后單擊鼠標(biāo)右鍵在彈出的刪除對(duì)話框中選擇刪除整行選項(xiàng)，并單擊確定按鈕即可實(shí)現(xiàn)整行的刪除。

(2)Python實(shí)現(xiàn)

在Python中,我們利用的是dropna（）的方法，dropna（）的方法默認(rèn)刪除含有缺失值的行，也就是只有某一行有缺失值就把這一行刪除。

運(yùn)行dropna（）方法以后，刪除含有NaN的行，返回刪除后的數(shù)據(jù)。如果想刪除空白行，只要給dropna（）方法傳入一個(gè)參數(shù)how=all即可，這樣就會(huì)只刪除哪些全為空值的行了，不全為空值的行就不會(huì)被刪除。

上表第二行中只有性別這個(gè)字段是空值，所以在利用dropna（how=“all”）的時(shí)候并沒有刪除第二行，只是把全為NaN值的第三行刪除掉了。

3、缺失值填充

上面 介紹了缺失值的刪除，但是數(shù)據(jù)是寶貴的，一般情況下只要數(shù)據(jù)缺失比例不是過高（不大于30%），盡量別刪除，而是選擇填充。

（1）Excel實(shí)現(xiàn)

在Excel中，缺失值的填充和缺失值的刪除一樣，利用的也是定位條件，先把缺失值找到，然后在第一個(gè)缺失值的單元格中輸入要填充的值，最常用的就是用0填充，輸入以后按Ctrl+Enter組合鍵就可以對(duì)所有的缺失值進(jìn)行填充。

缺失值填充前后的對(duì)比如下圖所示：

年齡用數(shù)字填充合適，但是性別用數(shù)字填充就不太合適，那么可不可以分開填充呢？答案是可以的，選中要填充的那一列，按照填充全部數(shù)據(jù)的方式進(jìn)行填充即可，只不過要填充幾列，需要執(zhí)行幾次操作。

上圖是填充前后的對(duì)比，年齡這一列我們用平均值進(jìn)行填充，性別這一列我們用眾數(shù)進(jìn)行填充。

除了用0填充、平均值填充、眾數(shù)（大多數(shù)）填充，還有向前填充（即用缺失值的前一個(gè)非缺失值填充，比如上例中編號(hào)A3對(duì)應(yīng)的缺失年齡的前一個(gè)非缺失值就是16）、向后填充（與向前填充對(duì)應(yīng)）等方式。

（2）Python實(shí)現(xiàn)

在Python中，我們利用的fillna（）方法對(duì)數(shù)據(jù)表中的所有缺失值進(jìn)行填充，在fillna后面的括號(hào)中輸入要填充的值即可。

在Python中我們也可以按不同列填充，只要在fillna（）方法的括號(hào)中指明列名即可。

上面代碼中只針對(duì)這一列進(jìn)行了填充，其他列未進(jìn)行任何更改。

也可以同時(shí)對(duì)多列填充不同的值：

二、重復(fù)值處理

重復(fù)數(shù)據(jù)就是同樣的記錄有多條，對(duì)于這樣的數(shù)據(jù)我們一般做刪除處理。

假設(shè)你是一名數(shù)據(jù)分析師，你的主要工作是分析公司的銷售情況，現(xiàn)有公司2018年8月的銷售明細(xì)（一直一條明細(xì)對(duì)應(yīng)一筆成交記錄），你想看一下8月份整體成交量是多少，最簡(jiǎn)單的方式就是看一下有多少條成交明細(xì)。但是這里可能會(huì)有重復(fù)的成交記錄存在，所以要先刪除重復(fù)項(xiàng)。

（1）Excel實(shí)現(xiàn)

在Excel中依次單擊菜單欄中的數(shù)據(jù)>數(shù)據(jù)工具>刪除重復(fù)值，就可以刪除重復(fù)數(shù)據(jù)了，如下圖所示：

刪除前后的對(duì)比如下圖所示：

Excel的刪除重復(fù)值默認(rèn)針對(duì)所有值進(jìn)行重復(fù)值判斷，有訂單編號(hào)、客戶姓名、唯一識(shí)別碼（類似于身份證號(hào)）、成交時(shí)間這四個(gè)字段，Excel會(huì)判斷這四個(gè)字段是否都相等，只有都相等時(shí)才會(huì)刪除，且保留第一個(gè)（行）值。

你知道了公司8月份成交明細(xì)以后，你想看一下8月份總共有多少成交客戶，且每個(gè)客戶在8月份首次成交的日期。

查看客戶數(shù)量只需要按客戶的唯一識(shí)別碼進(jìn)行去重就可以了。Excel默認(rèn)是全選，我們可以取消全選，選擇唯一識(shí)別碼進(jìn)行去重，這樣重要唯一識(shí)別碼重復(fù)就會(huì)被刪除，如下圖所示：

因?yàn)镋xcel默認(rèn)會(huì)保留第一條記錄，而我們又想要獲取每個(gè)客戶的較早成交日期，所以我們需要先對(duì)時(shí)間進(jìn)行升序排列，讓較早的時(shí)間排在前面，這樣在刪除的時(shí)候就會(huì)保留較早的成交日期了。

刪除前后的對(duì)比如下圖所示：

（2）Python實(shí)現(xiàn)

在Python中我們利用drop_duplicates()的方法,該方法默認(rèn)對(duì)所有值進(jìn)行重復(fù)值判斷，且默認(rèn)保留第一個(gè)（行）值。

上面的代碼是針對(duì)所有字段進(jìn)行的重復(fù)值判斷，我們同樣也可以只針對(duì)某一列或者某幾列進(jìn)行重復(fù)值刪除的判斷，只需要在drop_duplicates()方法中指明要判斷的列名即可。

也可以利用多列去重，只需要把多個(gè)列名以列表的形式傳給參數(shù)subset即可。比如按姓名和唯一識(shí)別碼去重。

還可以自定義刪除重復(fù)項(xiàng)時(shí)保留哪個(gè)，默認(rèn)保留第一個(gè)，也可以設(shè)置保留最后一個(gè)，或者全部不保留。通過傳入?yún)?shù)keep進(jìn)行設(shè)置，參數(shù)keep默認(rèn)值是first，即保留第一個(gè)值；也可以是last，保留最后一個(gè)值；還可以是False，即把重復(fù)值全部刪除。

三、異常值的檢測(cè)與處理

異常值就是相比正常數(shù)據(jù)而言過高或者過低的數(shù)據(jù)，比如一個(gè)人的年齡是0歲或者300歲都算是一個(gè)異常值，因?yàn)檫@和實(shí)際情況差距過大。

1、異常值檢測(cè)

要處理異常值首先要檢測(cè)，也就是發(fā)現(xiàn)異常值，發(fā)現(xiàn)異常值的方式主要有以下三種。

●根據(jù)業(yè)務(wù)經(jīng)驗(yàn)劃定不同指標(biāo)的正常范圍，超過該范圍的值算作異常值。

●通過繪制箱型圖，把大于（小于）箱型圖上邊緣（下邊緣）的點(diǎn)稱為異常值

●如果數(shù)據(jù)服從正態(tài)分布，則可以利用3σ原則；如果一個(gè)數(shù)值與平均值之間的偏差超過三倍標(biāo)準(zhǔn)差，那么我們就認(rèn)為這個(gè)值是異常值。

箱型圖如下圖所示：

下圖為正太分布圖，我們把大于μ+3σ的值稱為異常值。

2、異常值處理

對(duì)于異常值一般有以下幾種處理方式：

●最常用的處理方式就是刪除。

●把異常值當(dāng)做缺失值處理。

●把異常值當(dāng)做特殊情況，研究異常值出現(xiàn)的原因。

（1）Excel實(shí)現(xiàn)

在Excel中，刪除異常值只要通過篩選把異常值對(duì)應(yīng)的行找出來，然后單擊鼠標(biāo)右鍵選擇刪除即可。

對(duì)異常值進(jìn)行填充，其實(shí)就是對(duì)異常值進(jìn)行替換，同樣通過篩選功能把異常值先找出來，然后把這些異常值替換成要填充的值即可。

（2）Python實(shí)現(xiàn)

在Python中，刪除異常值用到的方法和Excel中的方法原理類似，在Python中是通過過濾的方法對(duì)異常值進(jìn)行刪除。比如df表中有年齡這個(gè)指標(biāo)，要把年齡大于200的值刪掉，你可以通過篩選把年齡不大于200的篩選出來，篩出來的部分就是刪除大于200的值以后的新表。

對(duì)異常值進(jìn)行填充，就是對(duì)異常值進(jìn)行替換，利用replace（）方法可以對(duì)特定的值進(jìn)行替換。

四、數(shù)據(jù)類型轉(zhuǎn)換

1、數(shù)據(jù)類型

（1）Excel實(shí)現(xiàn)

在Excel中常用的數(shù)據(jù)類型就是在菜單欄中數(shù)字選項(xiàng)下面的幾種，你可以選擇其他數(shù)據(jù)格式，如下圖所示：

在Excel中只要選中某一列就可以在菜單欄看到這一列的數(shù)據(jù)類型。

當(dāng)選中成交時(shí)間這一列的時(shí)候，菜單欄中就會(huì)顯示日期，表示成交時(shí)間這一列的數(shù)據(jù)類型是日期格式，如下圖所示：

（2）Python實(shí)現(xiàn)

Pandas不像Excel分的那么詳細(xì)，它主要有6種數(shù)據(jù)類型，如下圖所示：

在Python中，不僅可以用info（）方法獲取每一列的數(shù)據(jù)類型，還可以通過dtype方法來獲取某一列的數(shù)據(jù)類型。

2、類型轉(zhuǎn)換

我們?cè)谇懊嬲f過，不同數(shù)據(jù)類型的數(shù)據(jù)可以做的事情是不一樣的，所以我們需要對(duì)數(shù)據(jù)進(jìn)行類型轉(zhuǎn)化，把數(shù)據(jù)轉(zhuǎn)換為我們需要的類型。

（1）Excel實(shí)現(xiàn)

在Excel中如果想要改變某一列的數(shù)據(jù)類型，只要選中這一列，然后在數(shù)字菜單欄中通過下拉菜單選擇你要轉(zhuǎn)換的目標(biāo)類型即可實(shí)現(xiàn)。

下圖就是將文本類型的數(shù)據(jù)轉(zhuǎn)換成數(shù)值類型的數(shù)據(jù)，數(shù)值類型的數(shù)據(jù)默認(rèn)為兩位小數(shù)，也可以設(shè)置成其他位數(shù)。

（2）Python實(shí)現(xiàn)

在Python中，我們利用astype（）方法對(duì)數(shù)據(jù)類型進(jìn)行轉(zhuǎn)換，astype后面的括號(hào)里指明要轉(zhuǎn)換的目標(biāo)類型即可。

五、索引設(shè)置

索引是查找數(shù)據(jù)依據(jù)，設(shè)置索引的目的是便于我們查找數(shù)據(jù)。舉個(gè)例子，你逛超市買了很多食材?；氐郊乙院笠阉麄兎旁诒淅铮诺倪^程其實(shí)就是一個(gè)建立索引的過程，比如蔬菜放在冷藏室里，肉類放在冷凍室里，這樣找的時(shí)候就很快就可以找到了。

1、為無索引表添加索引

有的表沒有索引，這時(shí)要給這類表加一個(gè)索引。

（1）Excel實(shí)現(xiàn)

在Excel中，一般都有索引的，如果沒索引數(shù)據(jù)看起來會(huì)很亂，當(dāng)然也會(huì)有例外，數(shù)據(jù)表就是沒有索引的。這時(shí)候插入一行一列就是為表添加索引。

添加索引前后的對(duì)比如下圖所示，序號(hào)列為行索引，字段名稱為列索引。

（2）Python實(shí)現(xiàn)

在Python中，如果表沒有索引，會(huì)默認(rèn)用從0開始的自然數(shù)做索引，比如下面這樣：

通過給表df的columns參數(shù)傳入列索引值，index參數(shù)傳入行索引值達(dá)到為無索引表添加索引的目的，具體實(shí)現(xiàn)如下：

2、重新設(shè)置索引

重新設(shè)置索引，一般指行索引的設(shè)置。有的表雖然有索引，但不是我們想要的索引,比如現(xiàn)在有一個(gè)表是把序號(hào)作為行索引，而我們想要吧訂單編號(hào)作為行索引，該怎么實(shí)現(xiàn)呢？

（1）Excel實(shí)現(xiàn)

在Excel中重新設(shè)置行索引比較簡(jiǎn)單，你想讓哪一列做行索引，直接把這一列拖到第一列的位置即可。

（2）Python實(shí)現(xiàn)

在Python中可以利用set_index()方法重新設(shè)置索引列，在set_index()里指明要用作行索引的列的名稱即可。

在重新設(shè)置索引時(shí)，還可以給set_index()方法傳入兩個(gè)或者多個(gè)列名，我們把這種一個(gè)表中用哪個(gè)多列來做索引的方式稱為層次化索引，層次化索引一般用在某一列中含有多個(gè)重復(fù)值的情況下。層次化索引的例子，如下所示，其中a、b、c、d分別有多個(gè)重復(fù)值。

3、重命名索引

重命名索引是針對(duì)現(xiàn)有的索引名進(jìn)行修改的，就是改字段名。

（1）Excel實(shí)現(xiàn)

在Excel中重命名索引比較簡(jiǎn)單，就是直接修改字段名。

（2）Python實(shí)現(xiàn)

在Python中重命名索引，我們利用的是rename()方法，在rename后的括號(hào)里指明要修改的行索引及列索引名。

4、重置索引

重置索引主要用在層次化索引表中，重置索引是將索引列當(dāng)做一個(gè)columns進(jìn)行返回。

在下圖左側(cè)的表中，Z1，Z2是一個(gè)層次化索引，經(jīng)過重置索引以后，Z1、Z2這兩個(gè)索引以columns的形式返回，變?yōu)槌Ｒ?guī)的兩列。

在Excel中，我們要進(jìn)行這種轉(zhuǎn)換，直接通過復(fù)制、粘貼、刪除等功能就可以實(shí)現(xiàn)，比較簡(jiǎn)單。我們主要講一下在Python中怎么實(shí)現(xiàn)。

在Python利用的是reset_index()方法，reset_index()方法常用的參數(shù)如下：

level參數(shù)用來指定要將層次化索引的第幾級(jí)別轉(zhuǎn)化為columns，第一個(gè)索引為0級(jí)，第二個(gè)索引為1級(jí)，默認(rèn)為全部索引，即默認(rèn)吧索引全部轉(zhuǎn)化為columns。

drop參數(shù)是用來指定是否將原索引刪掉，即不作為一個(gè)新的columns，默認(rèn)為False，即不刪除原索引。

inplace參數(shù)用來指定是否修改原數(shù)據(jù)表。

reset_index()方法常用于數(shù)據(jù)分組、數(shù)據(jù)透視表中。