
R語言:異常值檢驗(yàn)、離群點(diǎn)分析、異常值處理
筆者寄語:異常值處理一般分為以下幾個(gè)步驟:異常值檢測(cè)、異常值篩選、異常值處理。其中異常值檢測(cè)的方法主要有:箱型圖、簡(jiǎn)單統(tǒng)計(jì)量(比如觀察極值)
異常值處理方法主要有:刪除法、插補(bǔ)法、替換法。
提到異常值不得不說一個(gè)詞:魯棒性。就是不受異常值影響,一般是魯棒性高的數(shù)據(jù),比較優(yōu)質(zhì)。
一、異常值檢驗(yàn)
異常值大概包括缺失值、離群值、重復(fù)值,數(shù)據(jù)不一致。
1、基本函數(shù)
summary可以顯示每個(gè)變量的缺失值數(shù)量.
2、缺失值檢驗(yàn)
關(guān)于缺失值的檢測(cè)應(yīng)該包括:缺失值數(shù)量、缺失值比例、缺失值與完整值數(shù)據(jù)篩選。
[plain] view plain copy
print?在CODE上查看代碼片派生到我的代碼片
#缺失值解決方案
sum(complete.cases(saledata)) #is.na(saledata)
sum(!complete.cases(saledata))
mean(!complete.cases(saledata)) #1/201數(shù)字,缺失值比例
saledata[!complete.cases(saledata),] #篩選出缺失值的數(shù)值
3、箱型圖檢驗(yàn)離群值
箱型圖的檢測(cè)包括:四分位數(shù)檢測(cè)(箱型圖自帶)+1δ標(biāo)準(zhǔn)差上下+異常值數(shù)據(jù)點(diǎn)。
箱型圖有一個(gè)非常好的地方是,boxplot之后,結(jié)果中會(huì)自帶異常值,就是下面代碼中的sp$out,這個(gè)是做箱型圖,按照上下邊界之外為異常值進(jìn)行判定的。
上下邊界,分別是Q3+(Q3-Q1)、Q1-(Q3-Q1)。
[plain] view plain copy
print?在CODE上查看代碼片派生到我的代碼片
sp=boxplot(saledata$"銷量",boxwex=0.7)
title("銷量異常值檢測(cè)箱線圖")
xi=1.1
sd.s=sd(saledata[complete.cases(saledata),]$"銷量")
mn.s=mean(saledata[complete.cases(saledata),]$"銷量")
points(xi,mn.s,col="red",pch=18)
arrows(xi, mn.s - sd.s, xi, mn.s + sd.s, code = 3, col = "pink", angle = 75, length = .1)
text(rep(c(1.05,1.05,0.95,0.95),length=length(sp$out)),labels=sp$out[order(sp$out)],
sp$out[order(sp$out)]+rep(c(150,-150,150,-150),length=length(sp$out)),col="red")
代碼中text函數(shù)的格式為text(x,label,y,col);points加入均值點(diǎn);arrows加入均值上下1δ標(biāo)準(zhǔn)差范圍箭頭。
4、數(shù)據(jù)去重
數(shù)據(jù)去重與數(shù)據(jù)分組合并存在一定區(qū)別,去重是純粹的所有變量都是重復(fù)的,而數(shù)據(jù)分組合并可能是因?yàn)橐恍┲麈I的重復(fù)。
數(shù)據(jù)去重包括重復(fù)檢測(cè)(table、unique函數(shù))以及重復(fù)數(shù)據(jù)處理(unique/duplicated)。
常見的有unique、數(shù)據(jù)框中duplicated函數(shù),duplicated返回的是邏輯值。
二、異常值處理
常見的異常值處理辦法是刪除法、替代法(連續(xù)變量均值替代、離散變量用眾數(shù)以及中位數(shù)替代)、插補(bǔ)法(回歸插補(bǔ)、多重插補(bǔ))
除了直接刪除,可以先把異常值變成缺失值、然后進(jìn)行后續(xù)缺失值補(bǔ)齊。
實(shí)踐中,異常值處理,一般劃分為NA缺失值或者返回公司進(jìn)行數(shù)據(jù)修整(數(shù)據(jù)返修為主要方法)
1、異常值識(shí)別
利用圖形——箱型圖進(jìn)行異常值檢測(cè)。
[plain] view plain copy
print?在CODE上查看代碼片派生到我的代碼片
#異常值識(shí)別
par(mfrow=c(1,2))#將繪圖窗口劃為1行兩列,同時(shí)顯示兩圖
dotchart(inputfile$sales)#繪制單變量散點(diǎn)圖,多蘭圖
pc=boxplot(inputfile$sales,horizontal=T)#繪制水平箱形圖
2、蓋帽法
整行替換數(shù)據(jù)框里99%以上和1%以下的點(diǎn),將99%以上的點(diǎn)值=99%的點(diǎn)值;小于1%的點(diǎn)值=1%的點(diǎn)值。
[html] view plain copy
print?在CODE上查看代碼片派生到我的代碼片
#異常數(shù)據(jù)處理
q1<-quantile(result$tot_derog, 0.001) #取得時(shí)1%時(shí)的變量值
q99<-quantile(result$tot_derog, 0.999) #replacement has 1 row, data has 0 說明一個(gè)沒換
result[result$tot_derog result[result$tot_derog>q99,]$tot_derog<-q99
summary(result$tot_derog) #蓋帽法之后,查看數(shù)據(jù)情況
fix(inputfile)#表格形式呈現(xiàn)數(shù)據(jù)
which(inputfile$sales==6607.4)#可以找到極值點(diǎn)序號(hào)是啥
把缺失值數(shù)據(jù)集、非缺失值數(shù)據(jù)集分開。
[plain] view plain copy
print?在CODE上查看代碼片派生到我的代碼片
#缺失值的處理
inputfile$date=as.numeric(inputfile$date)#將日期轉(zhuǎn)換成數(shù)值型變量
sub=which(is.na(inputfile$sales))#識(shí)別缺失值所在行數(shù)
inputfile1=inputfile[-sub,]#將數(shù)據(jù)集分成完整數(shù)據(jù)和缺失數(shù)據(jù)兩部分
inputfile2=inputfile[sub,]
3、噪聲數(shù)據(jù)處理——分箱法
將連續(xù)變量等級(jí)化之后,不同的分位數(shù)的數(shù)據(jù)就會(huì)變成不同的等級(jí)數(shù)據(jù),連續(xù)變量離散化了,消除了極值的影響。
4、異常值處理——均值替換
數(shù)據(jù)集分為缺失值、非缺失值兩塊內(nèi)容。缺失值處理如果是連續(xù)變量,可以選擇均值;離散變量,可以選擇眾數(shù)或者中位數(shù)。
計(jì)算非缺失值數(shù)據(jù)的均值,
然后賦值給缺失值數(shù)據(jù)。
[plain] view plain copy
print?在CODE上查看代碼片派生到我的代碼片
#均值替換法處理缺失,結(jié)果轉(zhuǎn)存
#思路:拆成兩份,把缺失值一份用均值賦值,然后重新合起來
avg_sales=mean(inputfile1$sales)#求變量未缺失部分的均值
inputfile2$sales=rep(avg_sales,n)#用均值替換缺失
result2=rbind(inputfile1,inputfile2)#并入完成插補(bǔ)的數(shù)據(jù)
5、異常值處理——回歸插補(bǔ)法
[plain] view plain copy
print?在CODE上查看代碼片派生到我的代碼片
#回歸插補(bǔ)法處理缺失,結(jié)果轉(zhuǎn)存
model=lm(sales~date,data=inputfile1)#回歸模型擬合
inputfile2$sales=predict(model,inputfile2)#模型預(yù)測(cè)
result3=rbind(inputfile1,inputfile2)
6、異常值處理——多重插補(bǔ)——mice包
注意:多重插補(bǔ)的處理有兩個(gè)要點(diǎn):先刪除Y變量的缺失值然后插補(bǔ)
1、被解釋變量有缺失值的觀測(cè)不能填補(bǔ),只能刪除,不能自己亂補(bǔ);
2、只對(duì)放入模型的解釋變量進(jìn)行插補(bǔ)。
比較詳細(xì)的來介紹一下這個(gè)多重插補(bǔ)法。筆者整理了大致的步驟簡(jiǎn)介如下:
缺失數(shù)據(jù)集——MCMC估計(jì)插補(bǔ)成幾個(gè)數(shù)據(jù)集——每個(gè)數(shù)據(jù)集進(jìn)行插補(bǔ)建模(glm、lm模型)——將這些模型整合到一起(pool)——評(píng)價(jià)插補(bǔ)模型優(yōu)劣(模型系數(shù)的t統(tǒng)計(jì)量)——輸出完整數(shù)據(jù)集(compute)
步驟詳細(xì)介紹:
函數(shù)mice()首先從一個(gè)包含缺失數(shù)據(jù)的數(shù)據(jù)框開始,然后返回一個(gè)包含多個(gè)(默認(rèn)為5個(gè))完整數(shù)據(jù)集的對(duì)象。
每個(gè)完整數(shù)據(jù)集都是通過對(duì)原始數(shù)據(jù)框中的缺失數(shù)據(jù)進(jìn)行插補(bǔ)而生成的。 由于插補(bǔ)有隨機(jī)的成分,因此每個(gè)完整數(shù)據(jù)集都略有不同。
其中,mice中使用決策樹cart有以下幾個(gè)要注意的地方:該方法只對(duì)數(shù)值變量進(jìn)行插補(bǔ),分類變量的缺失值保留,cart插補(bǔ)法一般不超過5k數(shù)據(jù)集。
然后, with()函數(shù)可依次對(duì)每個(gè)完整數(shù)據(jù)集應(yīng)用統(tǒng)計(jì)模型(如線性模型或廣義線性模型) ,
最后, pool()函數(shù)將這些單獨(dú)的分析結(jié)果整合為一組結(jié)果。最終模型的標(biāo)準(zhǔn)誤和p值都將準(zhǔn)確地反映出由于缺失值和多重插補(bǔ)而產(chǎn)生的不確定性。
[plain] view plain copy
print?在CODE上查看代碼片派生到我的代碼片
#多重插補(bǔ)法處理缺失,結(jié)果轉(zhuǎn)存
library(lattice) #調(diào)入函數(shù)包
library(MASS)
library(nnet)
library(mice) #前三個(gè)包是mice的基礎(chǔ)
imp=mice(inputfile,m=4) #4重插補(bǔ),即生成4個(gè)無缺失數(shù)據(jù)集
fit=with(imp,lm(sales~date,data=inputfile))#選擇插補(bǔ)模型
pooled=pool(fit)
summary(pooled)
result4=complete(imp,action=3)#選擇第三個(gè)插補(bǔ)數(shù)據(jù)集作為結(jié)果
結(jié)果解讀:
(1)imp對(duì)象中,包含了:每個(gè)變量缺失值個(gè)數(shù)信息、每個(gè)變量插補(bǔ)方式(PMM,預(yù)測(cè)均值法常見)、插補(bǔ)的變量有哪些、預(yù)測(cè)變量矩陣(在矩陣中,行代表插補(bǔ)變量,列代表為插補(bǔ)提供信息的變量, 1和0分別表示使用和未使用);
同時(shí) 利用這個(gè)代碼imp$imp$sales 可以找到,每個(gè)插補(bǔ)數(shù)據(jù)集缺失值位置的數(shù)據(jù)補(bǔ)齊具體數(shù)值是啥。
[plain] view plain copy
print?在CODE上查看代碼片派生到我的代碼片
> imp$imp$sales
1 2 3 4
9 3614.7 3393.1 4060.3 3393.1
15 2332.1 3614.7 3295.5 3614.7
(2)with對(duì)象。插補(bǔ)模型可以多樣化,比如lm,glm都是可以直接應(yīng)用進(jìn)去,詳情可見《R語言實(shí)戰(zhàn)》第十五章;
(3)pool對(duì)象。summary之后,會(huì)出現(xiàn)lm模型系數(shù),可以如果出現(xiàn)系數(shù)不顯著,那么則需要考慮換插補(bǔ)模型;
(4)complete對(duì)象。m個(gè)完整插補(bǔ)數(shù)據(jù)集,同時(shí)可以利用此函數(shù)輸出。
其他:
mice包提供了一個(gè)很好的函數(shù)md.pattern(),用它可以對(duì)缺失數(shù)據(jù)的模式有個(gè)更好的理解。還有一些可視化的界面,通過VIM、箱型圖、lattice來展示缺失值情況。
三、離群點(diǎn)檢測(cè)
離群點(diǎn)檢測(cè)與第二節(jié)異常值主要的區(qū)別在于,異常值針對(duì)單一變量,而離群值指的是很多變量綜合考慮之后的異常值。下面介紹一種基于聚類+歐氏距離的離群點(diǎn)檢測(cè)方法。
基于聚類的離群點(diǎn)檢測(cè)的步驟如下:數(shù)據(jù)標(biāo)準(zhǔn)化——聚類——求每一類每一指標(biāo)的均值點(diǎn)——每一類每一指標(biāo)生成一個(gè)矩陣——計(jì)算歐式距離——畫圖判斷。
[plain] view plain copy
print?在CODE上查看代碼片派生到我的代碼片
Data=read.csv(".data.csv",header=T)[,2:4]
Data=scale(Data)
set.seed(12)
km=kmeans(Data,center=3)
print(km)
km$centers #每一類的均值點(diǎn)
#各樣本歐氏距離,每一行
x1=matrix(km$centers[1,], nrow = 940, ncol =3 , byrow = T)
juli1=sqrt(rowSums((Data-x1)^2))
x2=matrix(km$centers[2,], nrow = 940, ncol =3 , byrow = T)
juli2=sqrt(rowSums((Data-x2)^2))
x3=matrix(km$centers[3,], nrow = 940, ncol =3 , byrow = T)
juli3=sqrt(rowSums((Data-x3)^2))
dist=data.frame(juli1,juli2,juli3)
##歐氏距離最小值
y=apply(dist, 1, min)
plot(1:940,y,xlim=c(0,940),xlab="樣本點(diǎn)",ylab="歐氏距離")
points(which(y>2.5),y[which(y>2.5)],pch=19,col="red")
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03