利用Python進(jìn)行異常值分析實(shí)例代碼

異常值是指樣本中的個(gè)別值，也稱(chēng)為離群點(diǎn)，其數(shù)值明顯偏離其余的觀(guān)測(cè)值。常用檢測(cè)方法3σ原則和箱型圖。其中，3σ原則只適用服從正態(tài)分布的數(shù)據(jù)。在3σ原則下，異常值被定義為觀(guān)察值和平均值的偏差超過(guò)3倍標(biāo)準(zhǔn)差的值。P(|x?μ|>3σ)≤0.003，在正太分布假設(shè)下，大于3σ的值出現(xiàn)的概率小于0.003，屬于小概率事件，故可認(rèn)定其為異常值。

異常值分析是檢驗(yàn)數(shù)據(jù)是否有錄入錯(cuò)誤以及含有不合常理的數(shù)據(jù)。忽視異常值的存在是十分危險(xiǎn)的，不加剔除地把異常值包括進(jìn)數(shù)據(jù)的計(jì)算分析過(guò)程中，對(duì)結(jié)果會(huì)產(chǎn)生不良影響；重視異常值的出現(xiàn)，分析其產(chǎn)生的原因，常常成為發(fā)現(xiàn)問(wèn)題進(jìn)而改進(jìn)決策的契機(jī)。

異常值是指樣本中的個(gè)別值，其數(shù)值明顯偏離其余的觀(guān)測(cè)值。異常值也稱(chēng)為離群點(diǎn)，異常值的分析也稱(chēng)為離群點(diǎn)分析。

（1）簡(jiǎn)單統(tǒng)計(jì)量分析

可以先對(duì)變量做一個(gè)描述性統(tǒng)計(jì)，進(jìn)而查看哪些數(shù)據(jù)是不合理的。最常用的統(tǒng)計(jì)量是最大值和最小值，用來(lái)判斷這個(gè)變量的取值是否超出了合理的范圍。如客戶(hù)年齡的最大值為199歲，則該變量的取值存在異常。

（2）3原則

如果數(shù)據(jù)服從正態(tài)分布，在3原則下，異常值被定義為一組測(cè)定值中與平均值的偏差超過(guò)3倍標(biāo)準(zhǔn)差的值。在正態(tài)分布的假設(shè)下，距離平均值3之外的值出現(xiàn)的概率為P（｜x-｜>3）≤0.003，屬于極個(gè)別的小概率事件。

如果數(shù)據(jù)不服從正態(tài)分布，也可以用遠(yuǎn)離平均值的多少倍標(biāo)準(zhǔn)差來(lái)描述。

（3）箱型圖分析

箱型圖提供了識(shí)別異常值的一個(gè)標(biāo)準(zhǔn)：異常值通常被定義為小于QL－1.5IQR或大于QU＋1.5IQR的值。QL稱(chēng)為下四分位數(shù)，表示全部觀(guān)察值中有四分之一的數(shù)據(jù)取值比它??；QU稱(chēng)為上四分位數(shù)，表示全部觀(guān)察值中有四分之一的數(shù)據(jù)取值比它大；IQR稱(chēng)為四分位數(shù)間距，是上四分位數(shù)QU與下四分位數(shù)QL之差，其間包含了全部觀(guān)察值的一半。

箱型圖依據(jù)實(shí)際數(shù)據(jù)繪制，沒(méi)有對(duì)數(shù)據(jù)作任何限制性要求（如服從某種特定的分布形式），它只是真實(shí)直觀(guān)地表現(xiàn)數(shù)據(jù)分布的本來(lái)面貌；另一方面，箱型圖判斷異常值的標(biāo)準(zhǔn)以四分位數(shù)和四分位距為基礎(chǔ)，四分位數(shù)具有一定的魯棒性：多達(dá)25%的數(shù)據(jù)可以變得任意遠(yuǎn)而不會(huì)很大地?cái)_動(dòng)四分位數(shù)，所以異常值不能對(duì)這個(gè)標(biāo)準(zhǔn)施加影響。由此可見(jiàn)，箱型圖識(shí)別異常值的結(jié)果比較客觀(guān)，在識(shí)別異常值方面有一定的優(yōu)越性，如圖3-1所示。

如下數(shù)據(jù)：

日期 2015/2/10 2015/2/11 2015/2/12 2015/2/13 2015/2/14

銷(xiāo)量額 2742.8 3014.3 865 3036.8

我們對(duì)其進(jìn)行異常值分析

import pandas as pd
 
catering_sale = 'data2.xls' #餐飲數(shù)據(jù)
data = pd.read_excel(catering_sale, index_col = u'日期') #讀取數(shù)據(jù)，指定“日期”列為索引列
 
import matplotlib.pyplot as plt #導(dǎo)入圖像庫(kù)
plt.rcParams['font.sans-serif'] = ['SimHei'] #用來(lái)正常顯示中文標(biāo)簽
plt.rcParams['axes.unicode_minus'] = False #用來(lái)正常顯示負(fù)號(hào)
 
plt.figure() #建立圖像
p = data.boxplot() #畫(huà)箱線(xiàn)圖，直接使用DataFrame的方法
x = p['fliers'][0].get_xdata() # 'flies'即為異常值的標(biāo)簽
y = p['fliers'][0].get_ydata()
y.sort() #從小到大排序，該方法直接改變?cè)瓕?duì)象
 
#用annotate添加注釋
#其中有些相近的點(diǎn)，注解會(huì)出現(xiàn)重疊，難以看清，需要一些技巧來(lái)控制。
#以下參數(shù)都是經(jīng)過(guò)調(diào)試的，需要具體問(wèn)題具體調(diào)試。
for i in range(len(x)):
 if i>0:
 plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
 else:
 plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))
 
plt.show()

結(jié)果如下：

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值