離群值的判斷與處理

我們?cè)?a href="http://www.3lll3.cn" target="_blank">數(shù)據(jù)分析的時(shí)候，經(jīng)常會(huì)碰到某些數(shù)據(jù)遠(yuǎn)遠(yuǎn)大于或小于其他數(shù)據(jù)，這些明顯偏離的數(shù)據(jù)就是離群值，也叫奇異值、極端值。

離群值產(chǎn)生的原因大致有兩點(diǎn)：

1.總體固有變異的極端表現(xiàn)，這是真實(shí)而正常的數(shù)據(jù)，只是在這次實(shí)驗(yàn)中表現(xiàn)的有些極端，這類離群值與其余觀測(cè)值屬于同一總體。

2.由于試驗(yàn)條件和實(shí)驗(yàn)方法的偶然性，或觀測(cè)、記錄、計(jì)算時(shí)的失誤所產(chǎn)生的結(jié)果，是一種非正常的、錯(cuò)誤的數(shù)據(jù)，這些數(shù)據(jù)與其余觀測(cè)值不屬于同一總體。

由于數(shù)據(jù)的分布不同，判斷離群值的方法也有所差別，在此只介紹國(guó)標(biāo)GB/T4883-2008對(duì)于正態(tài)分布情況下的離群值判斷方法，其他分布情況下，我還沒(méi)有找到相關(guān)資料。

對(duì)于離群值，國(guó)標(biāo)也有一些概念定義：

1.檢出水平
為檢驗(yàn)出離群值而指定的統(tǒng)計(jì)檢驗(yàn)的顯著性水平，和大多數(shù)檢驗(yàn)一樣，α一般為0.05

2.剔除水平
為檢驗(yàn)出離群值是否為高度離群值而指定的統(tǒng)計(jì)檢驗(yàn)的顯著性水平，剔除水平α*不應(yīng)超過(guò)檢出水平α，通常為0.01，個(gè)人認(rèn)為這個(gè)剔除水平就是判斷該離群值是否需要實(shí)際剔除，也就是說(shuō)該離群值有可能是第二類原因產(chǎn)生的非正常樣本數(shù)據(jù)。

3.統(tǒng)計(jì)離群值
在剔除水平下統(tǒng)計(jì)檢驗(yàn)為顯著的離群值

4.歧離值
在檢出水平下顯著，而在剔除水平下不顯著的離群值。
================================================

正態(tài)分布情況下的離群值判斷方法，大致可分為兩類：可以檢驗(yàn)剔除水平和不可檢驗(yàn)剔除水平

一、可檢驗(yàn)剔除水平

1.總體標(biāo)準(zhǔn)差已知時(shí)，奈爾檢驗(yàn)法

對(duì)樣本數(shù)據(jù)按從小到大順序排序，
如懷疑最大值X_(n)為最大值，則計(jì)算統(tǒng)計(jì)量R_n

確定檢出水平α，查奈爾系數(shù)表（見(jiàn)國(guó)標(biāo)GB/T4883-2008），得出臨界值

當(dāng)R_n>R_1-α(n)時(shí)，判定X_(n)為離群值，否則不能判定

確定剔除水平α*，查奈爾系數(shù)表（見(jiàn)國(guó)標(biāo)GB/T4883-2008），得出臨界值

當(dāng)R_n>R_1-α*(n)時(shí)，判定X_(n)為統(tǒng)計(jì)離群值，否則不能判定

如懷疑最小值X₍₁₎為最大值，則計(jì)算統(tǒng)計(jì)量R_n'

確定檢出水平α，查奈爾系數(shù)表（見(jiàn)國(guó)標(biāo)GB/T4883-2008），得出臨界值
當(dāng)R_n'>R_1-α(n)時(shí)，判定X₍₁₎為離群值，否則不能判定
確定剔除水平α*，查奈爾系數(shù)表（見(jiàn)國(guó)標(biāo)GB/T4883-2008），得出臨界值
當(dāng)R_n'>R_1-α*(n)時(shí)，判定X₍₁₎為統(tǒng)計(jì)離群值，否則不能判定

2.總體標(biāo)準(zhǔn)差未知時(shí)，格拉布斯檢驗(yàn)法

對(duì)樣本數(shù)據(jù)按從小到大順序排序，然后計(jì)算樣本均值和樣本標(biāo)準(zhǔn)差s


如懷疑最大值X(n)為最大值，計(jì)算統(tǒng)計(jì)量Gn

確定檢出水平α，查出格拉布斯系數(shù)表（見(jiàn)國(guó)標(biāo)GB/T4883-2008），得出臨界值
當(dāng)G_n>G_1-α(n)時(shí)，判定X_(n)為離群值，否則不能判定
確定剔除水平α*，查出格拉布斯系數(shù)表（見(jiàn)國(guó)標(biāo)GB/T4883-2008），得出臨界值
當(dāng)G_n>G_1-α*(n)時(shí)，判定X_(n)為統(tǒng)計(jì)離群值，否則不能判定

如懷疑最小值X₍₁₎為最大值，則計(jì)算統(tǒng)計(jì)量G_n'

確定檢出水平α，查出格拉布斯系數(shù)表（見(jiàn)國(guó)標(biāo)GB/T4883-2008），得出臨界值
當(dāng)G_n'>G_1-α(n)時(shí)，判定X₍₁₎為離群值，否則不能判定
確定剔除水平α*，查出格拉布斯系數(shù)表（見(jiàn)國(guó)標(biāo)GB/T4883-2008），得出臨界值
當(dāng)G_n'>G_1-α*(n)時(shí)，判定X₍₁₎為統(tǒng)計(jì)離群值，否則不能判定

3.總體標(biāo)準(zhǔn)差未知時(shí)，狄克遜(Dixon)檢驗(yàn)法

對(duì)樣本數(shù)據(jù)按從小到大順序排序

樣本量n在3-30時(shí)

計(jì)算統(tǒng)計(jì)量


樣本量n在30-100時(shí)
計(jì)算統(tǒng)計(jì)量



確定檢出水平α，查狄克遜系數(shù)表（見(jiàn)國(guó)標(biāo)GB/T4883-2008），得出臨界值
當(dāng)D_n>D_1-α(n)時(shí)，判定高端值X_(n)為離群值，否則不能判定
當(dāng)D_n'>D_1-α*(n)時(shí)，判定低端值X₍₁₎為離群值，否則不能判定

4.總體標(biāo)準(zhǔn)差未知時(shí)，偏度-峰度檢驗(yàn)法

我們知道峰度和偏度是判斷數(shù)據(jù)是否為正態(tài)分布的指標(biāo)，而離群值則明顯偏離樣本主體，因此我們也可以使用偏度-峰度檢驗(yàn)法來(lái)判斷離群值

單側(cè)情形——偏度檢驗(yàn)法

當(dāng)離群值處于高端或低端一側(cè)時(shí)，可使用偏度檢驗(yàn)法判斷，首先構(gòu)造偏度統(tǒng)計(jì)量bs

確定檢出水平α，查偏度檢驗(yàn)系數(shù)表（見(jiàn)國(guó)標(biāo)GB/T4883-2008），得出臨界值
當(dāng)b_s>b_1-α(n)時(shí)，判定高端值X_(n)為離群值，否則不能判定
當(dāng)b_s'>b_1-α(n)時(shí)，判定低端值X₍₁₎為離群值，否則不能判定

確定剔除水平α*，查偏度系數(shù)表（見(jiàn)國(guó)標(biāo)GB/T4883-2008），得出臨界值
當(dāng)b_s>b_1-α*(n)時(shí)，判定高端值X_(n)為統(tǒng)計(jì)離群值，否則不能判定
當(dāng)b_s'>b_1-α*(n)時(shí)，判定低端值X₍₁₎為統(tǒng)計(jì)離群值，否則不能判定

雙側(cè)情形——峰度檢驗(yàn)法

當(dāng)高端、低端兩側(cè)都可能出現(xiàn)離群值時(shí)，可使用峰度檢驗(yàn)法判斷，首先構(gòu)造峰度統(tǒng)計(jì)量bk

確定檢出水平α，查峰度檢驗(yàn)系數(shù)表（見(jiàn)國(guó)標(biāo)GB/T4883-2008），得出臨界值
當(dāng)b_k>b'_1-α(n)時(shí)，判定離均值最遠(yuǎn)的觀測(cè)值為離群值，否則判定未發(fā)現(xiàn)離群值

確定剔除水平α*，查峰度系數(shù)表（見(jiàn)國(guó)標(biāo)GB/T4883-2008），得出臨界值
當(dāng)b_k>b'_1-α*(n)時(shí)，判定離均值最遠(yuǎn)的觀測(cè)值為統(tǒng)計(jì)離群值，否則未發(fā)現(xiàn)統(tǒng)計(jì)離群值。

二、不可檢驗(yàn)剔除水平

1.觀察法

根據(jù)直方圖或四分位圖進(jìn)行判斷，現(xiàn)在很多統(tǒng)計(jì)軟件在繪制這兩種圖時(shí)，都會(huì)將離群值特殊標(biāo)記，一般認(rèn)為在均值±3倍標(biāo)準(zhǔn)差以外都屬于離群值，高出四分位距兩倍以上也屬于離群值。

2.萊伊達(dá)法

又稱為3σ準(zhǔn)則，在已知總體標(biāo)準(zhǔn)差的情況下使用σ進(jìn)行判斷，但是實(shí)際上總體標(biāo)準(zhǔn)差往往未知，因此常使用樣本標(biāo)準(zhǔn)差s替代σ，以樣本均值替代真值，具體為

X_d是疑似離群值，X為均值

如果疑似離群值與均值的差值大于三倍標(biāo)準(zhǔn)差，則可認(rèn)為該值為離群值。

3.肖維特法

統(tǒng)計(jì)量

如果計(jì)算出的ω值大于肖維特系數(shù)表中相應(yīng)測(cè)定次數(shù)n時(shí)的值，則可認(rèn)為該值為異常值

3.羅曼諾夫斯基檢驗(yàn)法

又稱t檢驗(yàn)，首先將疑似離群值剔除，然后計(jì)算剔除后的均值和標(biāo)準(zhǔn)差

根據(jù)測(cè)量次數(shù)n和顯著性水平α，進(jìn)行t檢驗(yàn)，得出系數(shù)k，如果

則認(rèn)為x_^j為離群值

4.4d檢驗(yàn)法




5.中位數(shù)與算數(shù)平均值比較判斷法

我們知道中位數(shù)居于一組數(shù)據(jù)中間的數(shù)，而均值則可認(rèn)為是一組數(shù)字的“重心”或“平衡點(diǎn)”，當(dāng)二者相等的時(shí)候，可認(rèn)為這組數(shù)字是絕對(duì)平衡、沒(méi)有離群值的，我們可以據(jù)此進(jìn)行判斷，當(dāng)二者相差較大時(shí)，表面該組數(shù)據(jù)可能存在離群值，將疑似離群值剔除之后，再計(jì)算均值和中位數(shù)，如果二者相差變小，則可認(rèn)為被剔除值是離群值。

======================================

數(shù)據(jù)分析師們：判斷離群值方法的選擇與應(yīng)注意的問(wèn)題

1.合理選擇離群值的判斷方法

離群值的判斷方法很多，實(shí)際中到底選用哪一個(gè)，需根據(jù)對(duì)測(cè)量要求的精準(zhǔn)度和測(cè)量次數(shù)多少來(lái)綜合確定，一般情況下，測(cè)量次數(shù)多于30，或大于10次且只做粗略判斷時(shí)，使用萊伊達(dá)法即可；判斷精度要求不高，但要求快捷方便時(shí)，可以選用4d和中位數(shù)與算數(shù)平均數(shù)比較法。實(shí)際上，對(duì)于不用查表的方法大都比較便捷，但是代價(jià)是精度不夠，且無(wú)法檢驗(yàn)剔除水平，相反一些需要借助查表的方法精度較高但是計(jì)算復(fù)雜，各有利弊。

2.準(zhǔn)確找出離群值

一般情況下，測(cè)量列中殘差較大者就是疑似離群值，它也就是樣本數(shù)據(jù)中的最大值或最小值
3.查找產(chǎn)生離群值的原因

已經(jīng)判斷為離群值的，即使是統(tǒng)計(jì)離群值，也不要簡(jiǎn)單剔除了之，應(yīng)進(jìn)一步分析產(chǎn)生離群值的原因。

推薦學(xué)習(xí)書(shū)籍
《CDA一級(jí)教材》適合CDA一級(jí)考生備考，也適合業(yè)務(wù)及數(shù)據(jù)分析崗位的從業(yè)者提升自我。完整電子版已上線CDA網(wǎng)校，累計(jì)已有10萬(wàn)+在讀~

免費(fèi)加入閱讀：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0