離群值的判斷與處理

我們在數(shù)據(jù)分析的時候，經(jīng)常會碰到某些數(shù)據(jù)遠遠大于或小于其他數(shù)據(jù)，這些明顯偏離的數(shù)據(jù)就是離群值，也叫奇異值、極端值。

離群值產(chǎn)生的原因大致有兩點：

1.總體固有變異的極端表現(xiàn)，這是真實而正常的數(shù)據(jù)，只是在這次實驗中表現(xiàn)的有些極端，這類離群值與其余觀測值屬于同一總體。

2.由于試驗條件和實驗方法的偶然性，或觀測、記錄、計算時的失誤所產(chǎn)生的結(jié)果，是一種非正常的、錯誤的數(shù)據(jù)，這些數(shù)據(jù)與其余觀測值不屬于同一總體。

由于數(shù)據(jù)的分布不同，判斷離群值的方法也有所差別，在此只介紹國標GB/T4883-2008對于正態(tài)分布情況下的離群值判斷方法，其他分布情況下，我還沒有找到相關(guān)資料。

對于離群值，國標也有一些概念定義：

1.檢出水平
為檢驗出離群值而指定的統(tǒng)計檢驗的顯著性水平，和大多數(shù)檢驗一樣，α一般為0.05

2.剔除水平
為檢驗出離群值是否為高度離群值而指定的統(tǒng)計檢驗的顯著性水平，剔除水平α*不應(yīng)超過檢出水平α，通常為0.01，個人認為這個剔除水平就是判斷該離群值是否需要實際剔除，也就是說該離群值有可能是第二類原因產(chǎn)生的非正常樣本數(shù)據(jù)。

3.統(tǒng)計離群值
在剔除水平下統(tǒng)計檢驗為顯著的離群值

4.歧離值
在檢出水平下顯著，而在剔除水平下不顯著的離群值。
================================================

正態(tài)分布情況下的離群值判斷方法，大致可分為兩類：可以檢驗剔除水平和不可檢驗剔除水平

一、可檢驗剔除水平

1.總體標準差已知時，奈爾檢驗法

對樣本數(shù)據(jù)按從小到大順序排序，
如懷疑最大值X_(n)為最大值，則計算統(tǒng)計量R_n

確定檢出水平α，查奈爾系數(shù)表（見國標GB/T4883-2008），得出臨界值

當R_n>R_1-α(n)時，判定X_(n)為離群值，否則不能判定

確定剔除水平α*，查奈爾系數(shù)表（見國標GB/T4883-2008），得出臨界值

當R_n>R_1-α*(n)時，判定X_(n)為統(tǒng)計離群值，否則不能判定

如懷疑最小值X₍₁₎為最大值，則計算統(tǒng)計量R_n'

確定檢出水平α，查奈爾系數(shù)表（見國標GB/T4883-2008），得出臨界值
當R_n'>R_1-α(n)時，判定X₍₁₎為離群值，否則不能判定
確定剔除水平α*，查奈爾系數(shù)表（見國標GB/T4883-2008），得出臨界值
當R_n'>R_1-α*(n)時，判定X₍₁₎為統(tǒng)計離群值，否則不能判定

2.總體標準差未知時，格拉布斯檢驗法

對樣本數(shù)據(jù)按從小到大順序排序，然后計算樣本均值和樣本標準差s


如懷疑最大值X(n)為最大值，計算統(tǒng)計量Gn

確定檢出水平α，查出格拉布斯系數(shù)表（見國標GB/T4883-2008），得出臨界值
當G_n>G_1-α(n)時，判定X_(n)為離群值，否則不能判定
確定剔除水平α*，查出格拉布斯系數(shù)表（見國標GB/T4883-2008），得出臨界值
當G_n>G_1-α*(n)時，判定X_(n)為統(tǒng)計離群值，否則不能判定

如懷疑最小值X₍₁₎為最大值，則計算統(tǒng)計量G_n'

確定檢出水平α，查出格拉布斯系數(shù)表（見國標GB/T4883-2008），得出臨界值
當G_n'>G_1-α(n)時，判定X₍₁₎為離群值，否則不能判定
確定剔除水平α*，查出格拉布斯系數(shù)表（見國標GB/T4883-2008），得出臨界值
當G_n'>G_1-α*(n)時，判定X₍₁₎為統(tǒng)計離群值，否則不能判定

3.總體標準差未知時，狄克遜(Dixon)檢驗法

對樣本數(shù)據(jù)按從小到大順序排序

樣本量n在3-30時

計算統(tǒng)計量


樣本量n在30-100時
計算統(tǒng)計量



確定檢出水平α，查狄克遜系數(shù)表（見國標GB/T4883-2008），得出臨界值
當D_n>D_1-α(n)時，判定高端值X_(n)為離群值，否則不能判定
當D_n'>D_1-α*(n)時，判定低端值X₍₁₎為離群值，否則不能判定

4.總體標準差未知時，偏度-峰度檢驗法

我們知道峰度和偏度是判斷數(shù)據(jù)是否為正態(tài)分布的指標，而離群值則明顯偏離樣本主體，因此我們也可以使用偏度-峰度檢驗法來判斷離群值

單側(cè)情形——偏度檢驗法

當離群值處于高端或低端一側(cè)時，可使用偏度檢驗法判斷，首先構(gòu)造偏度統(tǒng)計量bs

確定檢出水平α，查偏度檢驗系數(shù)表（見國標GB/T4883-2008），得出臨界值
當b_s>b_1-α(n)時，判定高端值X_(n)為離群值，否則不能判定
當b_s'>b_1-α(n)時，判定低端值X₍₁₎為離群值，否則不能判定

確定剔除水平α*，查偏度系數(shù)表（見國標GB/T4883-2008），得出臨界值
當b_s>b_1-α*(n)時，判定高端值X_(n)為統(tǒng)計離群值，否則不能判定
當b_s'>b_1-α*(n)時，判定低端值X₍₁₎為統(tǒng)計離群值，否則不能判定

雙側(cè)情形——峰度檢驗法

當高端、低端兩側(cè)都可能出現(xiàn)離群值時，可使用峰度檢驗法判斷，首先構(gòu)造峰度統(tǒng)計量bk

確定檢出水平α，查峰度檢驗系數(shù)表（見國標GB/T4883-2008），得出臨界值
當b_k>b'_1-α(n)時，判定離均值最遠的觀測值為離群值，否則判定未發(fā)現(xiàn)離群值

確定剔除水平α*，查峰度系數(shù)表（見國標GB/T4883-2008），得出臨界值
當b_k>b'_1-α*(n)時，判定離均值最遠的觀測值為統(tǒng)計離群值，否則未發(fā)現(xiàn)統(tǒng)計離群值。

二、不可檢驗剔除水平

1.觀察法

根據(jù)直方圖或四分位圖進行判斷，現(xiàn)在很多統(tǒng)計軟件在繪制這兩種圖時，都會將離群值特殊標記，一般認為在均值±3倍標準差以外都屬于離群值，高出四分位距兩倍以上也屬于離群值。

2.萊伊達法

又稱為3σ準則，在已知總體標準差的情況下使用σ進行判斷，但是實際上總體標準差往往未知，因此常使用樣本標準差s替代σ，以樣本均值替代真值，具體為

X_d是疑似離群值，X為均值

如果疑似離群值與均值的差值大于三倍標準差，則可認為該值為離群值。

3.肖維特法

統(tǒng)計量

如果計算出的ω值大于肖維特系數(shù)表中相應(yīng)測定次數(shù)n時的值，則可認為該值為異常值

3.羅曼諾夫斯基檢驗法

又稱t檢驗，首先將疑似離群值剔除，然后計算剔除后的均值和標準差

根據(jù)測量次數(shù)n和顯著性水平α，進行t檢驗，得出系數(shù)k，如果

則認為x_^j為離群值

4.4d檢驗法




5.中位數(shù)與算數(shù)平均值比較判斷法

我們知道中位數(shù)居于一組數(shù)據(jù)中間的數(shù)，而均值則可認為是一組數(shù)字的“重心”或“平衡點”，當二者相等的時候，可認為這組數(shù)字是絕對平衡、沒有離群值的，我們可以據(jù)此進行判斷，當二者相差較大時，表面該組數(shù)據(jù)可能存在離群值，將疑似離群值剔除之后，再計算均值和中位數(shù)，如果二者相差變小，則可認為被剔除值是離群值。

======================================

數(shù)據(jù)分析師們：判斷離群值方法的選擇與應(yīng)注意的問題

1.合理選擇離群值的判斷方法

離群值的判斷方法很多，實際中到底選用哪一個，需根據(jù)對測量要求的精準度和測量次數(shù)多少來綜合確定，一般情況下，測量次數(shù)多于30，或大于10次且只做粗略判斷時，使用萊伊達法即可；判斷精度要求不高，但要求快捷方便時，可以選用4d和中位數(shù)與算數(shù)平均數(shù)比較法。實際上，對于不用查表的方法大都比較便捷，但是代價是精度不夠，且無法檢驗剔除水平，相反一些需要借助查表的方法精度較高但是計算復雜，各有利弊。

2.準確找出離群值

一般情況下，測量列中殘差較大者就是疑似離群值，它也就是樣本數(shù)據(jù)中的最大值或最小值
3.查找產(chǎn)生離群值的原因

已經(jīng)判斷為離群值的，即使是統(tǒng)計離群值，也不要簡單剔除了之，應(yīng)進一步分析產(chǎn)生離群值的原因。

推薦學習書籍
《CDA一級教材》適合CDA一級考生備考，也適合業(yè)務(wù)及數(shù)據(jù)分析崗位的從業(yè)者提升自我。完整電子版已上線CDA網(wǎng)校，累計已有10萬+在讀~

免費加入閱讀：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0