99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁大數(shù)據(jù)時(shí)代pandas是如何檢測和處理缺失數(shù)據(jù)的？
pandas是如何檢測和處理缺失數(shù)據(jù)的？
2020-07-17
收藏

我們都知道pandas 是一款功能強(qiáng)大的python庫，基于Numpy，支持高性能的矩陣運(yùn)算，通常在數(shù)據(jù)挖掘和數(shù)據(jù)分析領(lǐng)域應(yīng)用較多，但是pandas 數(shù)據(jù)清洗功能也不能忽視，今天小編就為大家分享pandas是如何檢測和處理缺失數(shù)據(jù)的。

一、缺失值是什么?

缺失值是指粗糙數(shù)據(jù)中由于缺少信息而造成的數(shù)據(jù)的聚類、分組、刪失或截?cái)?。它指的是現(xiàn)有數(shù)據(jù)集中某個(gè)或某些屬性的值是不完全的。通常按照數(shù)據(jù)缺失機(jī)制，可分為以下幾種：

1.可忽略的缺失

(1)完全隨機(jī)缺失 MCAR全稱：missing completely at random，顧名思義，指的是數(shù)據(jù)的缺失是隨機(jī)的，與已觀察到的和未觀察到的數(shù)據(jù)無關(guān)

(2)隨機(jī)缺失MAR，全稱：missing at random，該類數(shù)據(jù)的缺失依賴于其他完全變量

2.不可忽略的缺失NIM(全稱：non-ignorable missing ) 或者非隨機(jī)缺失，這種數(shù)據(jù)的缺失既依賴于完全變量又依賴于不完全變量本身

二、判斷是否有缺失值

1.創(chuàng)建數(shù)據(jù)

import pandas as pd

import numpy as np

data = pd.DataFrame({'a': [1. 2. 4. np.nan,7. 9], 'b': ['a', 'b', np.nan, np.nan, 'd', 'e'], 'c': [np.nan, 0. 4. np.nan, np.nan, 5], 'd': [np.nan, np.nan, np.nan, np.nan, np.nan, np.nan]})

a    b    c   d

0  1.0    a  NaN NaN

1  2.0    b  0.0 NaN

2  4.0  NaN  4.0 NaN

3  NaN  NaN  NaN NaN

4  7.0    d  NaN NaN

5  9.0    e  5.0 NaN

2.判斷是否有缺失值及統(tǒng)計(jì)

print(data.isnull().any())

a    True

b    True

c    True

d    True

print(data.isnull().sum())  #t統(tǒng)計(jì)每一列的缺失值個(gè)數(shù)

a    1

b    2

c    3

d    6

三、pandas缺失值處理一般采用兩種方法

1.刪除;

pandas缺失值處理最原始的方法，pandas刪除缺失值，通常通過dropna的方法，使用dropna的前提是，缺失值的類型必須是np.nan

刪除缺失值為np.nan的所在行

movie.dropna()

參數(shù)說明：

axis 參數(shù)用于控制行或列，跟其他不一樣的是，axis=0 (默認(rèn))表示操作行，axis=1 表示操作列。

how 參數(shù)可選的值為 any(默認(rèn)) 或者 all。any 表示一行/列有任意元素為空時(shí)即丟棄，all 一行/列所有值都為空時(shí)才丟棄。

subset 參數(shù)表示刪除時(shí)只考慮的索引或列名。

thresh參數(shù)的類型為整數(shù)，它的作用是，比如 thresh=3.會在一行/列中至少有 3 個(gè)非空值時(shí)將其保留。

2.填充。

最常見的是使用 fillna 完成填充。

data.fillna(0)

除了可以使用標(biāo)量來填充之外，還可以使用前一個(gè)或后一個(gè)有效值來填充。

設(shè)置參數(shù) method=‘pad’ 或 method=‘ffill’ 可以使用前一個(gè)有效值來填充。

設(shè)置參數(shù) method=‘bfill’ 或 method=‘backfill’ 可以使用后一個(gè)有效值來填充。

3.替換。

有時(shí)候，某些異常值也會被當(dāng)做缺失值來處理，可以使用 replace 方法來替換缺失值。

比如：  user_info.replace({“age”: 40. “birth”: pd.Timestamp(“1978-08-08”)}, np.nan) #將年齡40替換 日期為1978-08-08也替換

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }