缺失值是指粗糙數(shù)據(jù)中由于缺少信息而造成的數(shù)據(jù)的聚類、分組、刪失或截?cái)?。它指的是現(xiàn)有數(shù)據(jù)集中某個(gè)或某些屬性的值是不完全的。

python缺失的處理一般情況下有三種方法：

（1）刪掉缺失值數(shù)據(jù)

刪除法是對(duì)缺失值進(jìn)行處理的最原始方法。它將存在缺失值的個(gè)案刪除。如果數(shù)據(jù)缺失問(wèn)題可以通過(guò)簡(jiǎn)單的刪除小部分樣本來(lái)達(dá)到目標(biāo)，那么這個(gè)方法是最有效的。

（2）不對(duì)其進(jìn)行處理

在實(shí)際應(yīng)用中，一些模型無(wú)法應(yīng)對(duì)具有缺失值的數(shù)據(jù)，因此要對(duì)缺失值進(jìn)行處理。然而還有一些模型本身就可以應(yīng)對(duì)具有缺失值的數(shù)據(jù)，此時(shí)無(wú)需對(duì)數(shù)據(jù)進(jìn)行處理，比如Xgboost，rfr等高級(jí)模型。

（3）利用插補(bǔ)法對(duì)數(shù)據(jù)進(jìn)行補(bǔ)充

A.均值插補(bǔ)

屬于單值插補(bǔ)。數(shù)據(jù)的屬性分為定距型和非定距型。如果缺失值是定距型的，就以該屬性存在值的平均值來(lái)插補(bǔ)缺失的值;如果缺失值是非定距型的，就用該屬性的眾數(shù)來(lái)補(bǔ)齊缺失的值。

B.利用同類均值插補(bǔ)

屬于單值插補(bǔ)。用層次聚類模型預(yù)測(cè)缺失變量的類型，再以該類型的均值插補(bǔ)。

C.熱卡填補(bǔ)

熱卡填充法是在完整數(shù)據(jù)中找到一個(gè)與它最相似的對(duì)象，然后用這個(gè)相似對(duì)象的值來(lái)進(jìn)行填充。通常會(huì)找到超出一個(gè)的相似對(duì)象，在所有匹配對(duì)象中沒(méi)有最好的，而是從中隨機(jī)的挑選一個(gè)作為填充值。這個(gè)問(wèn)題關(guān)鍵是不同的問(wèn)題可能會(huì)選用不同的標(biāo)準(zhǔn)來(lái)對(duì)相似進(jìn)行判定，以及如何制定這個(gè)判定標(biāo)準(zhǔn)。該方法概念上很簡(jiǎn)單，且利用了數(shù)據(jù)間的關(guān)系來(lái)進(jìn)行空值估計(jì)，但缺點(diǎn)在于難以定義相似標(biāo)準(zhǔn)，主觀因素較多。

D.多重插補(bǔ)

多值插補(bǔ)的思想來(lái)源于貝葉斯估計(jì)，認(rèn)為待插補(bǔ)的值是隨機(jī)的，它的值來(lái)自于已觀測(cè)到的值。具體實(shí)踐上通常是估計(jì)出待插補(bǔ)的值，然后再加上不同的噪聲，形成多組可選插補(bǔ)值。根據(jù)某種選擇依據(jù)，選取最合適的插補(bǔ)值。

E.極大似然估計(jì)（Max Likelihood ,ML）

在缺失類型為隨機(jī)缺失的條件下，假設(shè)模型對(duì)于完整的樣本是正確的，那么通過(guò)觀測(cè)數(shù)據(jù)的邊際分布可以對(duì)未知參數(shù)進(jìn)行極大似然估計(jì)(Little and Rubin)。這種方法也被稱為忽略缺失值的極大似然估計(jì)，對(duì)于極大似然的參數(shù)估計(jì)實(shí)際中常采用的計(jì)算方法是期望值最大化(Expectation Maximization，EM)。

F.建模預(yù)測(cè)

將缺失的屬性作為預(yù)測(cè)目標(biāo)來(lái)預(yù)測(cè)，將數(shù)據(jù)集按照是否含有特定屬性的缺失值分為兩類，利用現(xiàn)有的機(jī)器學(xué)習(xí)算法對(duì)待預(yù)測(cè)數(shù)據(jù)集的缺失值進(jìn)行預(yù)測(cè)。

該方法的根本的缺陷是如果其他屬性和缺失屬性無(wú)關(guān)，則預(yù)測(cè)的結(jié)果毫無(wú)意義;但是若預(yù)測(cè)結(jié)果相當(dāng)準(zhǔn)確，則說(shuō)明這個(gè)缺失屬性是沒(méi)必要納入數(shù)據(jù)集中的；一般的情況是介于兩者之間。

以上就是小編整理的python缺失值處理的幾種常用方法，希望對(duì)大家有所幫助。