R語言-如何處理回歸中的異常值點(diǎn)

異常觀測(cè)值

一個(gè)全面的回歸分析要覆蓋對(duì)異常值的分析，包括離群點(diǎn)、高杠桿值點(diǎn)和強(qiáng)影響點(diǎn)。這些數(shù)據(jù)點(diǎn)需要更深入的研究，因?yàn)樗鼈冊(cè)谝欢ǔ潭壬吓c其他觀測(cè)點(diǎn)不同，可能對(duì)結(jié)果產(chǎn)生較大的負(fù)面影響。下面我們依次學(xué)習(xí)這些異常值。

8.4.1 離群點(diǎn)

離群點(diǎn)是指那些模型預(yù)測(cè)效果不佳的觀測(cè)點(diǎn)。它們通常有很大的、或正或負(fù)的殘差（Yi-Y ?i ）。正的殘差說明模型低估了響應(yīng)值，負(fù)的殘差則說明高估了響應(yīng)值。你已經(jīng)學(xué)習(xí)過一種鑒別離群點(diǎn)的方法：圖8-9的Q-Q圖，落在置信區(qū)間帶外的點(diǎn)即可被認(rèn)為是離群點(diǎn)。另外一個(gè)粗糙的判斷準(zhǔn)則：標(biāo)準(zhǔn)化殘差值大于2或者小于-2的點(diǎn)可能是離群點(diǎn)，需要特別關(guān)注。
car包也提供了一種離群點(diǎn)的統(tǒng)計(jì)檢驗(yàn)方法。 outlierTest()函數(shù)可以求得最大標(biāo)準(zhǔn)化殘差絕對(duì)值Bonferroni調(diào)整后的p值：

此處，你可以看到Nevada被判定為離群點(diǎn)（p=0.048）。注意，該函數(shù)只是根據(jù)單個(gè)最大（或正或負(fù)）殘差值的顯著性來判斷是否有離群點(diǎn)。若不顯著，則說明數(shù)據(jù)集中沒有離群點(diǎn)；若顯著，則你必須刪除該離群點(diǎn)，然后再檢驗(yàn)是否還有其他離群點(diǎn)存在。

8.4.2 高杠桿值點(diǎn)

高杠桿值觀測(cè)點(diǎn)，即是與其他預(yù)測(cè)變量有關(guān)的離群點(diǎn)。換句話說，它們是由許多異常的預(yù)測(cè)變量值組合起來的，與響應(yīng)變量值沒有關(guān)系。高杠桿值的觀測(cè)點(diǎn)可通過帽子統(tǒng)計(jì)量（hat statistic）判斷。對(duì)于一個(gè)給定的數(shù)據(jù)集，帽子均值為p/n，其中p 是模型估計(jì)的參數(shù)數(shù)目（包含截距項(xiàng)）， n 是樣本量。一般來說，若觀測(cè)點(diǎn)的帽子值大于帽子均值的2或3倍，即可以認(rèn)定為高杠桿值點(diǎn)。下面代碼畫出了帽子值的分布：

結(jié)果見圖8-13。

水平線標(biāo)注的即帽子均值2倍和3倍的位置。 定位函數(shù)（locator function）能以交互模式繪圖：?jiǎn)螕舾信d趣的點(diǎn)，然后進(jìn)行標(biāo)注，停止交互時(shí)，用戶可按Esc鍵退出，或從圖形下拉菜單中選擇Stop，或直接右擊圖形。此圖中，可以看到Alaska和California非常異常，查看它們的預(yù)測(cè)變量值，與其他48個(gè)州進(jìn)行比較發(fā)現(xiàn)： Alaska收入比其他州高得多，而人口和溫度卻很低； California人口比其他州府多得多，但收入和溫度也很高。高杠桿值點(diǎn)可能會(huì)是強(qiáng)影響點(diǎn)，也可能不是，這要看它們是否是離群點(diǎn)。

8.4.3 強(qiáng)影響點(diǎn)

強(qiáng)影響點(diǎn)，即對(duì)模型參數(shù)估計(jì)值影響有些比例失衡的點(diǎn)。例如，若移除模型的一個(gè)觀測(cè)點(diǎn)時(shí)模型會(huì)發(fā)生巨大的改變，那么你就需要檢測(cè)一下數(shù)據(jù)中是否存在強(qiáng)影響點(diǎn)了。有兩種方法可以檢測(cè)強(qiáng)影響點(diǎn)： Cook距離，或稱D統(tǒng)計(jì)量，以及變量添加圖（added variable plot） 。一般來說， Cook’s D值大于4/(n-k-1)，則表明它是強(qiáng)影響點(diǎn)，其中n 為樣本量大小， k 是預(yù)測(cè)變量數(shù)目。可通過如下代碼繪制Cook’s D圖形（圖8-14）：

通過圖形可以判斷Alaska、 Hawaii和Nevada是強(qiáng)影響點(diǎn)。若刪除這些點(diǎn)，將會(huì)導(dǎo)致回歸模型截距項(xiàng)和斜率發(fā)生顯著變化。注意，雖然該圖對(duì)搜尋強(qiáng)影響點(diǎn)很有用，但我逐漸發(fā)現(xiàn)以1為分割點(diǎn)比4/(n?k ?1)更具一般性。若設(shè)定D=1為判別標(biāo)準(zhǔn)，則數(shù)據(jù)集中沒有點(diǎn)看起來像是強(qiáng)影響點(diǎn)。Cook’s D圖有助于鑒別強(qiáng)影響點(diǎn)，但是并不提供關(guān)于這些點(diǎn)如何影響模型的信息。變量添加圖彌補(bǔ)了這個(gè)缺陷。對(duì)于一個(gè)響應(yīng)變量和k 個(gè)預(yù)測(cè)變量，你可以如下圖創(chuàng)建k 個(gè)變量添加圖。所謂變量添加圖，即對(duì)于每個(gè)預(yù)測(cè)變量Xk，繪制Xk 在其他k ?1個(gè)預(yù)測(cè)變量上回歸的殘差值相對(duì)于響應(yīng)變量在其他k-1個(gè)預(yù)測(cè)變量上回歸的殘差值的關(guān)系圖。 car包中的avPlots()函數(shù)可提供變量添加圖：

結(jié)果如圖8-15所示。

圖形一次生成一個(gè)，用戶可以通過單擊點(diǎn)來判斷強(qiáng)影響點(diǎn)。按下Esc，或從圖形菜單中選擇Stop，或右擊，便可移動(dòng)到下一個(gè)圖形。我已在左下圖中鑒別出Alaska為強(qiáng)影響點(diǎn)。
圖中的直線表示相應(yīng)預(yù)測(cè)變量的實(shí)際回歸系數(shù)。你可以想象刪除某些強(qiáng)影響點(diǎn)后直線的改變，以此來估計(jì)它的影響效果。例如，來看左下角的圖（“ Murder|others” VS“ Income|others”），若刪除點(diǎn)Alaska，直線將往負(fù)向移動(dòng)。事實(shí)上，刪除Alaska， Income的回歸系數(shù)將會(huì)從0.000 06變?yōu)?0.000 85。當(dāng)然，利用car包中的influencePlot()函數(shù)，你還可以將離群點(diǎn)、杠桿值和強(qiáng)影響點(diǎn)的信息整合到一幅圖形中：

圖8-16反映出Nevada和Rhode Island是離群點(diǎn)， New York、 California、 Hawaii和Washington有高杠桿值， Nevada、 Alaska和Hawaii為強(qiáng)影響點(diǎn)。