使用R對(duì)共線性檢驗(yàn)

高維數(shù)據(jù)常會(huì)出現(xiàn)共線性 、變量選擇等問(wèn)題 。如何消除共線性確定最佳模型，是回歸分析的一個(gè)重點(diǎn)。 傳統(tǒng)的最小二乘估計(jì)在處理多重共線性問(wèn)題上 往往有令人不太滿意的地方， 主要有兩點(diǎn): 一是 預(yù)測(cè)準(zhǔn)確性，二是模型可解釋性。 目前處理嚴(yán)重共線性的常用方法有以下幾種: 主成分回歸、逐步回歸、嶺回歸等， 這些方法有各自的優(yōu)缺點(diǎn) 多重共線性的Lasso 方法兼有子集選擇和嶺估計(jì)的優(yōu)點(diǎn)，同時(shí)進(jìn)行變 量選擇與未知參數(shù)估計(jì)。選擇最佳模型的標(biāo)準(zhǔn)有 Cp、AIC、BIC準(zhǔn)則，它們也有各自的適用范圍。（Mallows Cp 統(tǒng)計(jì)量用來(lái)作為逐步回歸的判停規(guī)則，對(duì)于一個(gè)好的模型，它的Cp統(tǒng)計(jì)量非常接近于模型的參數(shù)數(shù)目）

Robert Tibshirani （就是R中MASS以及 The Elements of Statistical Learning的作者之一）于 1996 年提出了一種新的變 量選擇技術(shù)Lasso，即 Least Absolute Shrinkage and Selection Operator 就是翻譯過(guò)來(lái)頗顯別扭的套索回歸， lasso方法用模型系數(shù)的絕對(duì)值 函數(shù)作為懲罰來(lái)壓縮模型系數(shù)，使一些回歸系數(shù)變 小，甚至使一些絕對(duì)值較小的系數(shù)直接變?yōu)? 。
本文先從普通回歸說(shuō)起：
R語(yǔ)句如下

[plain] view plain copy

    library(car)  
    D=read.csv("/Users/Documents/train_test_model/ridgereg1.csv",sep=",") # 加載數(shù)據(jù)  
    a=lm(y~., data=D);summary(a) # 定義模型，summary為輸出匯總  
    vif(a) # 輸出模型匯總 
得到一下擬合檢驗(yàn)參數(shù)
[plain] view plain copy

    Call:  
    lm(formula = y ~ ., data = D)  
    Coefficients:  
                 Estimate Std. Error t value Pr(>|t|)      
    (Intercept) 11.011694   1.718393   6.408 4.94e-06 ***  
    long         1.692736   0.369589   4.580 0.000232 ***  
    touwei      -2.158831   0.535513  -4.031 0.000783 ***  
    weight       0.007472   0.001144   6.531 3.87e-06 ***  
    ---  
    Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1  
      
    Residual standard error: 1.163 on 18 degrees of freedom  
    Multiple R-squared:  0.9754,    Adjusted R-squared:  0.9713   
    F-statistic: 238.1 on 3 and 18 DF,  p-value: 1.14e-14  
    long  
    200.013181140721  
    touwei  
    209.429825510575  
    weight  
    9.68788132590006 

通過(guò)vif方差膨脹因子可以知道上面三個(gè)變量存在嚴(yán)重的共線性，有書(shū)中規(guī)定超過(guò)10就算存在嚴(yán)重共線性同時(shí)分析回歸系數(shù)，嬰兒的頭圍越大，年齡應(yīng)該越大才對(duì)，不應(yīng)該是負(fù)向預(yù)測(cè)關(guān)系，從這里也可以看出一些端倪以上是我們依據(jù)數(shù)據(jù)診斷出多元回歸中自變量存在嚴(yán)重共線性，當(dāng)然在spss中也是可以直接選擇，杜賓-瓦特森檢驗(yàn)，也是統(tǒng)計(jì)分析中常用的一種檢驗(yàn)序列一階自相關(guān)最常用的方法。所以不能直接使用常規(guī)ols方法。于是請(qǐng)看下面的解決辦法。#我們進(jìn)一步的對(duì)檢測(cè)回歸分析的另一個(gè)前提--即方差齊性
[plain] view plain copy

    library(MASS)  
    install.packages("gvlma") #導(dǎo)入gvlma包  
    library(gvlma)  
    gvmodel <- gvlma(a)  
    summary(gvmodel)  
得到如下參數(shù)

[plain] view plain copy

    Call:  
    lm(formula = y ~ ., data = D)  
    Residuals:  
    Min       1Q   Median       3Q      Max   
    -1.87262 -0.69499 -0.09376  0.74618  2.80676   
    Coefficients:  
    Estimate Std. Error t value Pr(>|t|)      
    (Intercept) 11.011694   1.718393   6.408 4.94e-06 ***  
    long         1.692736   0.369589   4.580 0.000232 ***  
    touwei      -2.158831   0.535513  -4.031 0.000783 ***  
    weight       0.007472   0.001144   6.531 3.87e-06 ***  
    ---  
    Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1  
    Call:  
    gvlma(x = a)   
    Value p-value                   Decision  
    Global Stat        6.6421 0.15605    Assumptions acceptable.  
    Skewness           0.7794 0.37733    Assumptions acceptable.  
    Kurtosis           0.1147 0.73484    Assumptions acceptable.  
    Link Function      1.7108 0.19088    Assumptions acceptable.  
    Heteroscedasticity 4.0372 0.04451 Assumptions NOT satisfied!  
可以得出，異方差性違反，也違反了普通最小二乘建模的前提。如果還是不死心，我們來(lái)看看殘差分析吧。
#建模試試，看是否存在異常

[plain] view plain copy

    lm.sol<-lm(y~.,data=D)  
    summary(lm.sol)  
    #可視化，殘差與預(yù)測(cè)散點(diǎn)圖  
    plot(fitted(lm.sol), resid(lm.sol),  
    cex=1.2, pch=21, col="red", bg="orange"  
    xlab="Fitted Value", ylab="Residuals") 

當(dāng)描繪的點(diǎn)圍繞殘差等于0的直線上下隨機(jī)散布，說(shuō)明回歸直線對(duì)原觀測(cè)值的擬合情況良好。否則，說(shuō)明回歸直線對(duì)原觀測(cè)值的擬合不理想。 在標(biāo)準(zhǔn)化殘差圖中，大約有95.45%的殘差在-2到+2之間 同時(shí)，也可以識(shí)別異常點(diǎn)，標(biāo)準(zhǔn)化殘差小于-3或者大于+3時(shí)，就可以判斷為異常值。
那么最后大概是可以相信這個(gè)模型用最小二乘法是并不合適。