作者 | 劉順祥

來源 | 數(shù)據(jù)分析1480

前言

在《Python數(shù)據(jù)清洗(一)：類型轉(zhuǎn)換和冗余數(shù)據(jù)刪除》中分享了有關(guān)數(shù)據(jù)類型轉(zhuǎn)換和冗余信息刪除的兩個知識點(diǎn)，接下來繼續(xù)講解缺失值的識別和處理辦法。缺失值指的是由于人為或機(jī)器等原因?qū)е聰?shù)據(jù)記錄的丟失或隱瞞，缺失值的存在一定程度上會影響后續(xù)數(shù)據(jù)分析和挖掘的結(jié)果，所以對他的處理將顯得尤為重要。

缺失值的識別

判斷一個數(shù)據(jù)集是否存在缺失觀測，通常從兩個方面入手，一個是變量的角度，即判斷每個變量中是否包含缺失值；另一個是數(shù)據(jù)行的角度，即判斷每行數(shù)據(jù)中是否包含缺失值。關(guān)于缺失值的判斷可以使用isnull方法。下面使用isnull方法對data3數(shù)據(jù)（數(shù)據(jù)可至中---下載）進(jìn)行判斷，統(tǒng)計輸出的結(jié)果如下表所示。

# 判斷各變量中是否存在缺失值data3.isnull().any(axis = 0)# 各變量中缺失值的數(shù)量data3.isnull().sum(axis = 0)# 各變量中缺失值的比例data3.isnull().sum(axis = 0)/data3.shape[0]

如上結(jié)果所示，數(shù)據(jù)集data3中有三個變量存在缺失值，即gender、age和edu，它們的缺失數(shù)量分別為136、100和1,927，缺失比例分別為4.53%、3.33%和64.23%。

需要說明的是，判斷數(shù)據(jù)是否為缺失值NaN，可以使用isnull“方法”，它會返回與原數(shù)據(jù)行列數(shù)相同的矩陣，并且矩陣的元素為bool類型的值，為了得到每一列的判斷結(jié)果，仍然需要any“方法”（且設(shè)置“方法”內(nèi)的axis參數(shù)為0）；統(tǒng)計各變量的缺失值個數(shù)可以在isnull的基礎(chǔ)上使用sum“方法”（同樣需要設(shè)置axis參數(shù)為0）；計算缺失比例就是在缺失數(shù)量的基礎(chǔ)上除以總的樣本量（shape方法返回數(shù)據(jù)集的行數(shù)和列數(shù)，[0]表示取出對應(yīng)的數(shù)據(jù)行數(shù)）。

讀者可能對代碼中的“axis=0”感到困惑，它代表了什么？為什么是0？是否還可以寫其他值？下面通過圖表的形式來說明axis參數(shù)的用法：

假設(shè)上圖為學(xué)生的考試成績表，如果直接對成績表中的分?jǐn)?shù)進(jìn)行加和操作，得到的是所有學(xué)生的分?jǐn)?shù)總和（很顯然沒有什么意義），如果按學(xué)生分別計算總分，將是上圖從左到右的轉(zhuǎn)換。該轉(zhuǎn)換的特征是列數(shù)發(fā)生了變化（可以是列數(shù)減少，也可以是列數(shù)增多），類似于在水平方向上受了外部的壓力或拉力，這樣的外力就理解為軸axis為1的效果（便于理解，可以想象為飛機(jī)在有動力的情況下，可以保持水平飛行狀態(tài)）。

同樣對于如上的學(xué)生成績表，如果直接對成績表中的分?jǐn)?shù)計算平均值，得到的是所有學(xué)生的平均分?jǐn)?shù)（很顯然也沒有什么意義），如果按學(xué)科分別計算平均分，將是上圖中從上到下的轉(zhuǎn)換。該轉(zhuǎn)換的特征是行數(shù)發(fā)生了變化（可以是行數(shù)減少，也可以是行數(shù)增多），類似于在垂直方向上受了外部的擠壓或拉伸，這樣的外力就理解為軸axis為0的效果（便于理解，可以想象為飛機(jī)在沒有動力的情況下，呈下降趨勢）。

如上是關(guān)于變量方面的缺失值判斷過程，還可以利用下方的代碼識別數(shù)據(jù)行的缺失值分布情況：

# 判斷數(shù)據(jù)行中是否存在缺失值

如上結(jié)果所示，返回True值，說明data3中的數(shù)據(jù)行存在缺失值。代碼中使用了兩次any“方法”，第一次用于判斷每一行對應(yīng)的True（即行內(nèi)有缺失值）或False值（即行內(nèi)沒有缺失值）；第二次則用于綜合判斷所有數(shù)據(jù)行中是否包含缺失值。同理，進(jìn)一步還可以判斷缺失行的具體數(shù)量和占比，代碼如下：

# 缺失觀測的行數(shù)data3.isnull().any(axis = 1).sum()# 缺失觀測的比例data3.isnull().any(axis = 1).sum()/data3.shape[0]

如上結(jié)果所示，3000行的數(shù)據(jù)集中有2024行存在缺失值，缺失行的比例約67.47%。不管是變量角度的缺失值判斷，還是數(shù)據(jù)行角度的缺失值判斷，一旦發(fā)現(xiàn)缺失值，都需要對其作相應(yīng)的處理，否則一定程度上都會影響數(shù)據(jù)分析或挖掘的準(zhǔn)確性。

缺失值的處理辦法

通常對于缺失值的處理，最常用的方法無外乎刪除法、替換法和插補(bǔ)法。刪除法是指將缺失值所在的觀測行刪除（前提是缺失行的比例非常低，如5%以內(nèi)），或者刪除缺失值所對應(yīng)的變量（前提是該變量中包含的缺失值比例非常高，如70%左右）；替換法是指直接利用缺失變量的均值、中位數(shù)或眾數(shù)替換該變量中的缺失值，其好處是缺失值的處理速度快，弊端是易產(chǎn)生有偏估計，導(dǎo)致缺失值替換的準(zhǔn)確性下降；插補(bǔ)法則是利用有監(jiān)督的機(jī)器學(xué)習(xí)方法（如回歸模型、樹模型、網(wǎng)絡(luò)模型等）對缺失值作預(yù)測，其優(yōu)勢在于預(yù)測的準(zhǔn)確性高，缺點(diǎn)是需要大量的計算，導(dǎo)致缺失值的處理速度大打折扣。下面將選擇刪除法、替換法和插補(bǔ)法對缺失值進(jìn)行處理，代碼如下：

# 刪除字段 -- 如刪除缺失率非常高的edu變量data3.drop(labels = 'edu', axis = 1, inplace=True)# 數(shù)據(jù)預(yù)覽data3.head()

如上結(jié)果所示，表中的edu變量已被成功刪除。對于字段的刪除可以選擇drop“方法”，其中l(wèi)abels參數(shù)用于指定需要刪除的變量名稱，如果是多個變量，則需要將這些變量名稱寫在一對中括號內(nèi)（如['var1','var2','var3']）；刪除變量一定要設(shè)置axis參數(shù)為1，因?yàn)樽兞總€數(shù)發(fā)生了變化（所以，借助于axis參數(shù)也可以刪除觀測行啦）；inplace則表示是否原地修改，即是否直接將原表中的字段進(jìn)行刪除，這里設(shè)置為True，如果設(shè)置為False，則將刪除變量的預(yù)覽效果輸出來，而非真正改變原始數(shù)據(jù)。

# 刪除觀測，-- 如刪除age變量中所對應(yīng)的缺失觀測data3_new = data3.drop(labels = data3.index[data3['age'].isnull()], 

axis = 0)# 查看數(shù)據(jù)的規(guī)模data3_new.shapeout:(2900, 5)

如上結(jié)果所示，利用drop“方法”實(shí)現(xiàn)了數(shù)據(jù)行的刪除，但必須將axis參數(shù)設(shè)置為0，而此時的labels參數(shù)則需要指定待刪除的行編號。這里的行編號是借助于index“方法”（用于返回原始數(shù)據(jù)的行編號）和isnull“方法”（用于判斷數(shù)據(jù)是否為缺失狀態(tài)，如果是缺失則返回True）實(shí)現(xiàn)的，其邏輯就是將True對應(yīng)的行編號取出來，傳遞給labels參數(shù)。

如果變量的缺失比例非常大，或者缺失行的比例非常小時，使用刪除法是一個不錯的選擇，反之，將會丟失大量的數(shù)據(jù)信息而得不償失。接下來講解如何使用替換法處理缺失值，代碼如下：

# 替換法處理缺失值data3.fillna(value = {'gender': data3['gender'].mode()[0], 

# 使用性別的眾數(shù)替換缺失性別 'age':data3['age'].mean() 

# 使用年齡的平均值替換缺失年齡 }, inplace = True # 原地修改數(shù)據(jù) )

# 再次查看各變量的缺失比例data3.isnull().sum(axis = 0)

如上結(jié)果所示，采用替換法后，原始數(shù)據(jù)中的變量不再含有缺失值。缺失值的填充使用的是fillna“方法”，其中value參數(shù)可以通過字典的形式對不同的變量指定不同的值。需要強(qiáng)調(diào)的是，如果計算某個變量的眾數(shù)，一定要使用索引技術(shù)，例如代碼中的[0]，表示取出眾數(shù)序列中的第一個（我們知道，眾數(shù)是指出現(xiàn)頻次最高的值，假設(shè)一個變量中有多個值共享最高頻次，那么Python將會把這些值以序列的形式存儲起來，故取出指定的眾數(shù)值，必須使用索引）。

正如前文所說，雖然替換法思想簡單、效率高效，但是其替換的值往往不具有很高的準(zhǔn)確性，于是出現(xiàn)了插補(bǔ)方法。該方法需要使用機(jī)器學(xué)習(xí)算法，不妨以KNN算法為例，對Titanic數(shù)據(jù)集中的Age變量做插補(bǔ)法完成缺失值的處理。代碼如下：

# 讀取數(shù)據(jù)titanic = pd.read_csv('Titanic.csv')# 刪除缺失嚴(yán)重的Cabin變量titanic.drop(labels='Cabin', axis = 1, 

inplace=True)# 根據(jù)Embarked變量，刪除對應(yīng)的缺失行titanic.dropna(subset=['Embarked'], inplace=True)

# 刪除無關(guān)緊要的變量（這些變量對后面預(yù)測年齡沒有太多的幫助）

titanic.drop(labels=['PassengerId','Name','Ticket','Embarked'], axis = 1, inplace=True)

# 將字符型的性別變量映射為數(shù)值變量titanic.Sex = titanic.Sex.map({'male':1, 'female':0})

# 將數(shù)據(jù)拆分為兩組，一是年齡缺失組，二是年齡非缺失組，后續(xù)基于非缺失值構(gòu)建KNN模型，再對缺失組做預(yù)測

nomissing = titanic.loc[~titanic.Age.isnull(),]missing = titanic.loc[titanic.Age.isnull(),]

# 導(dǎo)入機(jī)器學(xué)習(xí)的第三方包from sklearn import neighbors

# 提取出所有的自變量X = nomissing.columns[nomissing.columns != 'Age']

# 構(gòu)建模型knn = neighbors.KNeighborsRegressor()

# 模型擬合knn.fit(nomissing[X], nomissing.Age)

# 年齡預(yù)測pred_age = knn.predict(missing[X])