作者 | 劉順祥

來(lái)源 | 數(shù)據(jù)分析1480

前言

在《Python數(shù)據(jù)清洗(一)：類型轉(zhuǎn)換和冗余數(shù)據(jù)刪除》中分享了有關(guān)數(shù)據(jù)類型轉(zhuǎn)換和冗余信息刪除的兩個(gè)知識(shí)點(diǎn)，接下來(lái)繼續(xù)講解缺失值的識(shí)別和處理辦法。缺失值指的是由于人為或機(jī)器等原因?qū)е聰?shù)據(jù)記錄的丟失或隱瞞，缺失值的存在一定程度上會(huì)影響后續(xù)數(shù)據(jù)分析和挖掘的結(jié)果，所以對(duì)他的處理將顯得尤為重要。

缺失值的識(shí)別

判斷一個(gè)數(shù)據(jù)集是否存在缺失觀測(cè)，通常從兩個(gè)方面入手，一個(gè)是變量的角度，即判斷每個(gè)變量中是否包含缺失值；另一個(gè)是數(shù)據(jù)行的角度，即判斷每行數(shù)據(jù)中是否包含缺失值。關(guān)于缺失值的判斷可以使用isnull方法。下面使用isnull方法對(duì)data3數(shù)據(jù)（數(shù)據(jù)可至中---下載）進(jìn)行判斷，統(tǒng)計(jì)輸出的結(jié)果如下表所示。

# 判斷各變量中是否存在缺失值data3.isnull().any(axis = 0)# 各變量中缺失值的數(shù)量data3.isnull().sum(axis = 0)# 各變量中缺失值的比例data3.isnull().sum(axis = 0)/data3.shape[0]

如上結(jié)果所示，數(shù)據(jù)集data3中有三個(gè)變量存在缺失值，即gender、age和edu，它們的缺失數(shù)量分別為136、100和1,927，缺失比例分別為4.53%、3.33%和64.23%。

需要說(shuō)明的是，判斷數(shù)據(jù)是否為缺失值NaN，可以使用isnull“方法”，它會(huì)返回與原數(shù)據(jù)行列數(shù)相同的矩陣，并且矩陣的元素為bool類型的值，為了得到每一列的判斷結(jié)果，仍然需要any“方法”（且設(shè)置“方法”內(nèi)的axis參數(shù)為0）；統(tǒng)計(jì)各變量的缺失值個(gè)數(shù)可以在isnull的基礎(chǔ)上使用sum“方法”（同樣需要設(shè)置axis參數(shù)為0）；計(jì)算缺失比例就是在缺失數(shù)量的基礎(chǔ)上除以總的樣本量（shape方法返回?cái)?shù)據(jù)集的行數(shù)和列數(shù)，[0]表示取出對(duì)應(yīng)的數(shù)據(jù)行數(shù)）。

讀者可能對(duì)代碼中的“axis=0”感到困惑，它代表了什么？為什么是0？是否還可以寫(xiě)其他值？下面通過(guò)圖表的形式來(lái)說(shuō)明axis參數(shù)的用法：

假設(shè)上圖為學(xué)生的考試成績(jī)表，如果直接對(duì)成績(jī)表中的分?jǐn)?shù)進(jìn)行加和操作，得到的是所有學(xué)生的分?jǐn)?shù)總和（很顯然沒(méi)有什么意義），如果按學(xué)生分別計(jì)算總分，將是上圖從左到右的轉(zhuǎn)換。該轉(zhuǎn)換的特征是列數(shù)發(fā)生了變化（可以是列數(shù)減少，也可以是列數(shù)增多），類似于在水平方向上受了外部的壓力或拉力，這樣的外力就理解為軸axis為1的效果（便于理解，可以想象為飛機(jī)在有動(dòng)力的情況下，可以保持水平飛行狀態(tài)）。

同樣對(duì)于如上的學(xué)生成績(jī)表，如果直接對(duì)成績(jī)表中的分?jǐn)?shù)計(jì)算平均值，得到的是所有學(xué)生的平均分?jǐn)?shù)（很顯然也沒(méi)有什么意義），如果按學(xué)科分別計(jì)算平均分，將是上圖中從上到下的轉(zhuǎn)換。該轉(zhuǎn)換的特征是行數(shù)發(fā)生了變化（可以是行數(shù)減少，也可以是行數(shù)增多），類似于在垂直方向上受了外部的擠壓或拉伸，這樣的外力就理解為軸axis為0的效果（便于理解，可以想象為飛機(jī)在沒(méi)有動(dòng)力的情況下，呈下降趨勢(shì)）。

如上是關(guān)于變量方面的缺失值判斷過(guò)程，還可以利用下方的代碼識(shí)別數(shù)據(jù)行的缺失值分布情況：

# 判斷數(shù)據(jù)行中是否存在缺失值

如上結(jié)果所示，返回True值，說(shuō)明data3中的數(shù)據(jù)行存在缺失值。代碼中使用了兩次any“方法”，第一次用于判斷每一行對(duì)應(yīng)的True（即行內(nèi)有缺失值）或False值（即行內(nèi)沒(méi)有缺失值）；第二次則用于綜合判斷所有數(shù)據(jù)行中是否包含缺失值。同理，進(jìn)一步還可以判斷缺失行的具體數(shù)量和占比，代碼如下：

# 缺失觀測(cè)的行數(shù)data3.isnull().any(axis = 1).sum()# 缺失觀測(cè)的比例data3.isnull().any(axis = 1).sum()/data3.shape[0]

如上結(jié)果所示，3000行的數(shù)據(jù)集中有2024行存在缺失值，缺失行的比例約67.47%。不管是變量角度的缺失值判斷，還是數(shù)據(jù)行角度的缺失值判斷，一旦發(fā)現(xiàn)缺失值，都需要對(duì)其作相應(yīng)的處理，否則一定程度上都會(huì)影響數(shù)據(jù)分析或挖掘的準(zhǔn)確性。

缺失值的處理辦法

通常對(duì)于缺失值的處理，最常用的方法無(wú)外乎刪除法、替換法和插補(bǔ)法。刪除法是指將缺失值所在的觀測(cè)行刪除（前提是缺失行的比例非常低，如5%以內(nèi)），或者刪除缺失值所對(duì)應(yīng)的變量（前提是該變量中包含的缺失值比例非常高，如70%左右）；替換法是指直接利用缺失變量的均值、中位數(shù)或眾數(shù)替換該變量中的缺失值，其好處是缺失值的處理速度快，弊端是易產(chǎn)生有偏估計(jì)，導(dǎo)致缺失值替換的準(zhǔn)確性下降；插補(bǔ)法則是利用有監(jiān)督的機(jī)器學(xué)習(xí)方法（如回歸模型、樹(shù)模型、網(wǎng)絡(luò)模型等）對(duì)缺失值作預(yù)測(cè)，其優(yōu)勢(shì)在于預(yù)測(cè)的準(zhǔn)確性高，缺點(diǎn)是需要大量的計(jì)算，導(dǎo)致缺失值的處理速度大打折扣。下面將選擇刪除法、替換法和插補(bǔ)法對(duì)缺失值進(jìn)行處理，代碼如下：

# 刪除字段 -- 如刪除缺失率非常高的edu變量data3.drop(labels = 'edu', axis = 1, inplace=True)# 數(shù)據(jù)預(yù)覽data3.head()

如上結(jié)果所示，表中的edu變量已被成功刪除。對(duì)于字段的刪除可以選擇drop“方法”，其中l(wèi)abels參數(shù)用于指定需要?jiǎng)h除的變量名稱，如果是多個(gè)變量，則需要將這些變量名稱寫(xiě)在一對(duì)中括號(hào)內(nèi)（如['var1','var2','var3']）；刪除變量一定要設(shè)置axis參數(shù)為1，因?yàn)樽兞總€(gè)數(shù)發(fā)生了變化（所以，借助于axis參數(shù)也可以刪除觀測(cè)行啦）；inplace則表示是否原地修改，即是否直接將原表中的字段進(jìn)行刪除，這里設(shè)置為T(mén)rue，如果設(shè)置為False，則將刪除變量的預(yù)覽效果輸出來(lái)，而非真正改變?cè)紨?shù)據(jù)。

# 刪除觀測(cè)，-- 如刪除age變量中所對(duì)應(yīng)的缺失觀測(cè)data3_new = data3.drop(labels = data3.index[data3['age'].isnull()], 

axis = 0)# 查看數(shù)據(jù)的規(guī)模data3_new.shapeout:(2900, 5)

如上結(jié)果所示，利用drop“方法”實(shí)現(xiàn)了數(shù)據(jù)行的刪除，但必須將axis參數(shù)設(shè)置為0，而此時(shí)的labels參數(shù)則需要指定待刪除的行編號(hào)。這里的行編號(hào)是借助于index“方法”（用于返回原始數(shù)據(jù)的行編號(hào)）和isnull“方法”（用于判斷數(shù)據(jù)是否為缺失狀態(tài)，如果是缺失則返回True）實(shí)現(xiàn)的，其邏輯就是將True對(duì)應(yīng)的行編號(hào)取出來(lái)，傳遞給labels參數(shù)。

如果變量的缺失比例非常大，或者缺失行的比例非常小時(shí)，使用刪除法是一個(gè)不錯(cuò)的選擇，反之，將會(huì)丟失大量的數(shù)據(jù)信息而得不償失。接下來(lái)講解如何使用替換法處理缺失值，代碼如下：

# 替換法處理缺失值data3.fillna(value = {'gender': data3['gender'].mode()[0], 

# 使用性別的眾數(shù)替換缺失性別 'age':data3['age'].mean() 

# 使用年齡的平均值替換缺失年齡 }, inplace = True # 原地修改數(shù)據(jù) )

# 再次查看各變量的缺失比例data3.isnull().sum(axis = 0)

如上結(jié)果所示，采用替換法后，原始數(shù)據(jù)中的變量不再含有缺失值。缺失值的填充使用的是fillna“方法”，其中value參數(shù)可以通過(guò)字典的形式對(duì)不同的變量指定不同的值。需要強(qiáng)調(diào)的是，如果計(jì)算某個(gè)變量的眾數(shù)，一定要使用索引技術(shù)，例如代碼中的[0]，表示取出眾數(shù)序列中的第一個(gè)（我們知道，眾數(shù)是指出現(xiàn)頻次最高的值，假設(shè)一個(gè)變量中有多個(gè)值共享最高頻次，那么Python將會(huì)把這些值以序列的形式存儲(chǔ)起來(lái)，故取出指定的眾數(shù)值，必須使用索引）。

正如前文所說(shuō)，雖然替換法思想簡(jiǎn)單、效率高效，但是其替換的值往往不具有很高的準(zhǔn)確性，于是出現(xiàn)了插補(bǔ)方法。該方法需要使用機(jī)器學(xué)習(xí)算法，不妨以KNN算法為例，對(duì)Titanic數(shù)據(jù)集中的Age變量做插補(bǔ)法完成缺失值的處理。代碼如下：

# 讀取數(shù)據(jù)titanic = pd.read_csv('Titanic.csv')# 刪除缺失嚴(yán)重的Cabin變量titanic.drop(labels='Cabin', axis = 1, 

inplace=True)# 根據(jù)Embarked變量，刪除對(duì)應(yīng)的缺失行titanic.dropna(subset=['Embarked'], inplace=True)

# 刪除無(wú)關(guān)緊要的變量（這些變量對(duì)后面預(yù)測(cè)年齡沒(méi)有太多的幫助）

titanic.drop(labels=['PassengerId','Name','Ticket','Embarked'], axis = 1, inplace=True)

# 將字符型的性別變量映射為數(shù)值變量titanic.Sex = titanic.Sex.map({'male':1, 'female':0})

# 將數(shù)據(jù)拆分為兩組，一是年齡缺失組，二是年齡非缺失組，后續(xù)基于非缺失值構(gòu)建KNN模型，再對(duì)缺失組做預(yù)測(cè)

nomissing = titanic.loc[~titanic.Age.isnull(),]missing = titanic.loc[titanic.Age.isnull(),]

# 導(dǎo)入機(jī)器學(xué)習(xí)的第三方包from sklearn import neighbors

# 提取出所有的自變量X = nomissing.columns[nomissing.columns != 'Age']

# 構(gòu)建模型knn = neighbors.KNeighborsRegressor()

# 模型擬合knn.fit(nomissing[X], nomissing.Age)

# 年齡預(yù)測(cè)pred_age = knn.predict(missing[X])