【連載5】如何用spss做加權(quán)最小二乘回歸及嶺回歸

上一節(jié)我們講到一般多元線性回歸的操作方法。本節(jié)要介紹的是多元線性回歸的其他幾種情況。包括適用于含有加權(quán)變量的加權(quán)最小二乘回歸方程等。然后繼續(xù)討論上一節(jié)中沒有討論完畢的如何解決多重共線性這個問題。

講加權(quán)最小二乘回歸之前，我們首先還是舉個例子。假設(shè)我們想考察全國三十一個省的某種疾病的發(fā)病率和每個省的面積，平均氣溫等的關(guān)系，那么我們知道，這三十一個省的人口肯定是不同的。而且差距還蠻大。并且最重要的，我們知道，發(fā)病率的高低很可能和人口的多少有關(guān)系（考慮傳染性，人口密度什么的），那么這個時候我們直接用最小二乘回歸就不是那么合適了，我們更好的選擇是加權(quán)最小二乘回歸法。也就是說，當(dāng)樣本和某一個權(quán)數(shù)存在某種關(guān)系的時候，我們就用加權(quán)最小二乘回歸。

在上一節(jié)中我們提到過在線性回歸主面板最下邊有一個WLS權(quán)重框框。在加權(quán)最小二乘回歸方法里邊，我們就要用到這個框框了。我們在設(shè)置變量的時候除了自變量和因變量，還要設(shè)置一個權(quán)數(shù)變量（在上述的醫(yī)學(xué)例子里，這個變量可以是每個省的人口。在其他一些金融案例里邊，比方研究高價股票和低價股票的波動時，由于這兩種股票在其他因素相同時的波動幅度不同，因此需要設(shè)一個權(quán)數(shù)，這個權(quán)數(shù)可能就是自己設(shè)定的了。）然后我們把這個權(quán)數(shù)變量選入到WLS權(quán)重框里邊。其他過程和一般線性回歸一致。

解釋結(jié)果的時候也和一般線性回歸類似，只是有一個小小的地方需要大家注意一下。我們知道，模型匯總表里邊的決定系數(shù)是一個比較重要的參考數(shù)據(jù)。它會告訴你你的方程能解釋你的模型的百分之多少，從而從側(cè)面考察了你的方程的合理性。但是不幸的是，這個決定系數(shù)在加權(quán)線性回歸里邊出現(xiàn)了比較嚴(yán)重的偏差。這個和決定系數(shù)的計算方法有關(guān)系。因此假如我們用同樣的數(shù)據(jù)做一遍加權(quán)的回歸，和一遍不加權(quán)的回歸，往往會發(fā)現(xiàn)不加權(quán)的方程決定系數(shù)大于加權(quán)的。但是這個并不能代表不加權(quán)的方程就一定比加權(quán)后的準(zhǔn)確。實際上加權(quán)以后的模型和不加權(quán)的模型到底孰優(yōu)孰劣，好的那個方程又能好多少，這些問題spss都不能給出直接的數(shù)據(jù)。因此在使用加權(quán)最小二乘回歸的時候應(yīng)當(dāng)格外謹(jǐn)慎。

此外，由于有時候權(quán)重并不特別明確，（比如上邊那個金融的案例），這時候可以使用分析——回歸——權(quán)重估計這個選項。這個選項的主面板和回歸分析主面板類似，自變量，因變量，權(quán)重。變量選擇的方法和上邊的加權(quán)回歸也類似。這個方法也需要你事先給出一個大概的權(quán)重變量，然后系統(tǒng)會做一定的調(diào)整來使方程達(dá)到最佳效果。結(jié)果解釋等也類似，就不贅述了。

除了加權(quán)回歸以外，還有一個比較特別的線性回歸是曲線參數(shù)估計。

如果你的線性模型擬合的不是那么理想，那么你的模型很可能就是曲線型的（尤其是你有兩個變量的時候，線性模型有時候會非常糟糕）。需要打開分析——回歸——曲線估計，選擇你的因變量，自變量。此外下邊還有十一種模型供你選擇。選好以后，結(jié)果會給出每種模型的決定系數(shù)，F(xiàn)值，P值，你可以從這些數(shù)據(jù)中判斷哪個方程最適合你的模型。

當(dāng)然，這個不會給出你非常詳細(xì)的數(shù)據(jù)。如果你還想要看更詳細(xì)的數(shù)據(jù)，比如方程中每個參數(shù)的P值什么的，你最好還是用線性回歸做一下。啊，當(dāng)然，當(dāng)然，你的數(shù)據(jù)肯定是沒辦法直接做線性回歸的，不然也就不用做曲線估計了。你需要首先轉(zhuǎn)換你的數(shù)據(jù)。舉個例子：Y=X1^2*a1+X2^2*a2……，假設(shè)你的模型做出來符合這種形式。那你首先要在數(shù)據(jù)——計算新變量里邊，計算出新變量x1的方，x2的方，然后在做這兩個新變量和因變量的一般線性回歸。當(dāng)然，如果你想要在方程的自變量里在加一個x1和x2的積，你也可以這么加上去。

那么除了logistic回歸以外，線性回歸的內(nèi)容基本就完畢了。下邊我們繼續(xù)討論一個問題：如何消除自變量間的共線性？

上一節(jié)里邊提到，如果VIF（方差因子膨脹率）合格，而DW不合格的話，我們可以使用廣義差分法來改善DW，得到好的模型。那這一節(jié)，我們就來討論一下VIF不合格的情況。我們已經(jīng)知道，如果VIF不合格的話，說明自變量存在嚴(yán)重的共線性。在回歸的范疇里邊，通常有三種方法可以解決這個問題。他們分別是偏最小平方回歸，嶺回歸，路徑分析。

偏最小平方回歸對于初學(xué)者來講，是一個并不常用的回歸方法。如果想用這個分析的話，需要額外下載相關(guān)模塊。下好相關(guān)模塊以后，打開分析——回歸——部分最小回歸，（如果沒有下載相關(guān)模塊的話，他會提示你下載），打開主面板，這是一個相當(dāng)簡單的面板，選好自變量，因變量之后，點確定就可以。結(jié)果會呈現(xiàn)四個表，也并不難判斷。就不贅述了。

嶺回歸可以下載相關(guān)模塊，也可以自己編程來實現(xiàn)。大部分人都會選擇后一種方法。這個主要是因為代碼很簡潔，很容易編寫。代碼如下：

INCLUDE’d:\spss20.0\Ridge Regression.sps’.

Ridgereg enter=X1 X2 X3

/dep=y

諾，就這么三行。第一行單引號里邊填寫你的spss安裝目錄。比如我的按在d盤下面，所以我就填d:\spss20.0，如果你的按在c盤，那就填C盤唄。然后目錄后邊那個ridge regression，是最小二乘平方的宏的調(diào)用。然后第二行X1，X2，X3的位置填寫你的自變量的名字。有幾個就填幾個。中間用空格隔開。第三行y的位置填你的因變量。運行的時候，打開文件——新建——語法，進(jìn)入語法編輯器窗口，輸入上邊的代碼，然后點運行——全部就可以了。結(jié)果會有一個系數(shù)表，這個表的第一列是K值，第二列是決定系數(shù)，第三列往后是你的自變量。其中k值會從0開始增大，同時決定系數(shù)也會慢慢變小，最終趨于穩(wěn)定。（嶺回歸舍棄了一定的信息，從而改善了多重共線性）要從這張表里邊選取合適的k值，使決定系數(shù)盡量大，同時盡量穩(wěn)定。選好k值就可以參照系數(shù)寫出方程了。此外在嶺回歸里邊是不會輸出常數(shù)的。這也是和一般回歸方法的一個不同之處。

嶺回歸和偏最小平方回歸比較而言，嶺回歸的優(yōu)勢在于容易操作。偏最小平方回歸的優(yōu)勢在于可以用于例數(shù)很少的情況。如果例數(shù)很少，自變量又很多，甚至例數(shù)都少于自變量的數(shù)目，那么就一定要用偏最小平方回歸了。額，通常在金融領(lǐng)域不會發(fā)生這種情況，但是在一些特殊的領(lǐng)域，醫(yī)學(xué)啊什么的，則是有可能發(fā)生的。因此在某種程度上來講，偏最小平方回歸是給特殊需要的人使用的。

最后補充介紹一下路徑分析。如果說前邊兩種方法都是從過程中實現(xiàn)的話，那么路徑分析就是從專業(yè)角度來刻畫方程了。舉個例子，比如你想看看一朵鮮花的開放時間和陽光強度，空氣濕度，空氣溫度，日照時間等等的關(guān)系，做出分析來一看，存在共線性。如果你是專業(yè)人員，那么很可能你就知道，由于空氣溫度受到陽光強度，和日照時間的影響，所以你的方程就存在了共線性。所以呢，你就能寫出一個空氣溫度，陽光強度，日照時間之間的一個回歸方程。然后你就能畫出一個路徑圖，代表陽光強度的圈圈不僅直接影響了花朵開放時間，而且還影響了空氣溫度，從而間接影響了花朵開放時間，并且你還能寫出彼此之間的影響系數(shù)。這就是路徑分析的主要內(nèi)容。

當(dāng)然路徑分析需要有專業(yè)知識的人來做。并且呢，通常需要經(jīng)過許多嘗試，才能正確的寫出因變量和自變量之間的方程。而且，最重要的是，路徑分析只能幫助我們搞清楚自變量之間到底存在怎么樣的共線性，對于矯正方程沒有什么作用。也就是說，方程的決定系數(shù)可能依然很糟糕。所以它更多的是用來做演示圖或者什么的，對于改善多重共線性真的沒什么用。

解決多重共線性的常見方法可以告一段落了。在非線性回歸，分類回歸之后我們介紹因子分析時將會舊話重提，再次討論多重共線性的問題。CDA數(shù)據(jù)分析師培訓(xùn)