我們都知道pandas 是一款功能強(qiáng)大的python庫(kù)，基于Numpy，支持高性能的矩陣運(yùn)算，通常在數(shù)據(jù)挖掘和數(shù)據(jù)分析領(lǐng)域應(yīng)用較多，但是pandas 數(shù)據(jù)清洗功能也不能忽視，今天小編就為大家分享pandas是如何檢測(cè)和處理缺失數(shù)據(jù)的。

一、缺失值是什么?

缺失值是指粗糙數(shù)據(jù)中由于缺少信息而造成的數(shù)據(jù)的聚類、分組、刪失或截?cái)?。它指的是現(xiàn)有數(shù)據(jù)集中某個(gè)或某些屬性的值是不完全的。通常按照數(shù)據(jù)缺失機(jī)制，可分為以下幾種：

1.可忽略的缺失

(1)完全隨機(jī)缺失 MCAR全稱：missing completely at random，顧名思義，指的是數(shù)據(jù)的缺失是隨機(jī)的，與已觀察到的和未觀察到的數(shù)據(jù)無(wú)關(guān)

(2)隨機(jī)缺失MAR，全稱：missing at random，該類數(shù)據(jù)的缺失依賴于其他完全變量

2.不可忽略的缺失NIM(全稱：non-ignorable missing ) 或者非隨機(jī)缺失，這種數(shù)據(jù)的缺失既依賴于完全變量又依賴于不完全變量本身

二、判斷是否有缺失值

1.創(chuàng)建數(shù)據(jù)

import pandas as pd

import numpy as np

data = pd.DataFrame({'a': [1. 2. 4. np.nan,7. 9], 'b': ['a', 'b', np.nan, np.nan, 'd', 'e'], 'c': [np.nan, 0. 4. np.nan, np.nan, 5], 'd': [np.nan, np.nan, np.nan, np.nan, np.nan, np.nan]})

a    b    c   d

0  1.0    a  NaN NaN

1  2.0    b  0.0 NaN

2  4.0  NaN  4.0 NaN

3  NaN  NaN  NaN NaN

4  7.0    d  NaN NaN

5  9.0    e  5.0 NaN

2.判斷是否有缺失值及統(tǒng)計(jì)

print(data.isnull().any())

a    True

b    True

c    True

d    True

print(data.isnull().sum())  #t統(tǒng)計(jì)每一列的缺失值個(gè)數(shù)

a    1

b    2

c    3

d    6

三、pandas缺失值處理一般采用兩種方法

1.刪除;

pandas缺失值處理最原始的方法，pandas刪除缺失值，通常通過dropna的方法，使用dropna的前提是，缺失值的類型必須是np.nan

刪除缺失值為np.nan的所在行

movie.dropna()

參數(shù)說明：

axis 參數(shù)用于控制行或列，跟其他不一樣的是，axis=0 (默認(rèn))表示操作行，axis=1 表示操作列。

how 參數(shù)可選的值為 any(默認(rèn)) 或者 all。any 表示一行/列有任意元素為空時(shí)即丟棄，all 一行/列所有值都為空時(shí)才丟棄。

subset 參數(shù)表示刪除時(shí)只考慮的索引或列名。

thresh參數(shù)的類型為整數(shù)，它的作用是，比如 thresh=3.會(huì)在一行/列中至少有 3 個(gè)非空值時(shí)將其保留。

2.填充。

最常見的是使用 fillna 完成填充。

data.fillna(0)

除了可以使用標(biāo)量來填充之外，還可以使用前一個(gè)或后一個(gè)有效值來填充。

設(shè)置參數(shù) method=‘pad’ 或 method=‘ffill’ 可以使用前一個(gè)有效值來填充。

設(shè)置參數(shù) method=‘bfill’ 或 method=‘backfill’ 可以使用后一個(gè)有效值來填充。

3.替換。

有時(shí)候，某些異常值也會(huì)被當(dāng)做缺失值來處理，可以使用 replace 方法來替換缺失值。

比如：  user_info.replace({“age”: 40. “birth”: pd.Timestamp(“1978-08-08”)}, np.nan) #將年齡40替換 日期為1978-08-08也替換