【連載5】如何用spss做加權(quán)最小二乘回歸及嶺回歸

上一節(jié)我們講到一般多元線性回歸的操作方法。本節(jié)要介紹的是多元線性回歸的其他幾種情況。包括適用于含有加權(quán)變量的加權(quán)最小二乘回歸方程等。然后繼續(xù)討論上一節(jié)中沒(méi)有討論完畢的如何解決多重共線性這個(gè)問(wèn)題。

講加權(quán)最小二乘回歸之前，我們首先還是舉個(gè)例子。假設(shè)我們想考察全國(guó)三十一個(gè)省的某種疾病的發(fā)病率和每個(gè)省的面積，平均氣溫等的關(guān)系，那么我們知道，這三十一個(gè)省的人口肯定是不同的。而且差距還蠻大。并且最重要的，我們知道，發(fā)病率的高低很可能和人口的多少有關(guān)系（考慮傳染性，人口密度什么的），那么這個(gè)時(shí)候我們直接用最小二乘回歸就不是那么合適了，我們更好的選擇是加權(quán)最小二乘回歸法。也就是說(shuō)，當(dāng)樣本和某一個(gè)權(quán)數(shù)存在某種關(guān)系的時(shí)候，我們就用加權(quán)最小二乘回歸。

在上一節(jié)中我們提到過(guò)在線性回歸主面板最下邊有一個(gè)WLS權(quán)重框框。在加權(quán)最小二乘回歸方法里邊，我們就要用到這個(gè)框框了。我們?cè)谠O(shè)置變量的時(shí)候除了自變量和因變量，還要設(shè)置一個(gè)權(quán)數(shù)變量（在上述的醫(yī)學(xué)例子里，這個(gè)變量可以是每個(gè)省的人口。在其他一些金融案例里邊，比方研究高價(jià)股票和低價(jià)股票的波動(dòng)時(shí)，由于這兩種股票在其他因素相同時(shí)的波動(dòng)幅度不同，因此需要設(shè)一個(gè)權(quán)數(shù)，這個(gè)權(quán)數(shù)可能就是自己設(shè)定的了。）然后我們把這個(gè)權(quán)數(shù)變量選入到WLS權(quán)重框里邊。其他過(guò)程和一般線性回歸一致。

解釋結(jié)果的時(shí)候也和一般線性回歸類似，只是有一個(gè)小小的地方需要大家注意一下。我們知道，模型匯總表里邊的決定系數(shù)是一個(gè)比較重要的參考數(shù)據(jù)。它會(huì)告訴你你的方程能解釋你的模型的百分之多少，從而從側(cè)面考察了你的方程的合理性。但是不幸的是，這個(gè)決定系數(shù)在加權(quán)線性回歸里邊出現(xiàn)了比較嚴(yán)重的偏差。這個(gè)和決定系數(shù)的計(jì)算方法有關(guān)系。因此假如我們用同樣的數(shù)據(jù)做一遍加權(quán)的回歸，和一遍不加權(quán)的回歸，往往會(huì)發(fā)現(xiàn)不加權(quán)的方程決定系數(shù)大于加權(quán)的。但是這個(gè)并不能代表不加權(quán)的方程就一定比加權(quán)后的準(zhǔn)確。實(shí)際上加權(quán)以后的模型和不加權(quán)的模型到底孰優(yōu)孰劣，好的那個(gè)方程又能好多少，這些問(wèn)題spss都不能給出直接的數(shù)據(jù)。因此在使用加權(quán)最小二乘回歸的時(shí)候應(yīng)當(dāng)格外謹(jǐn)慎。

此外，由于有時(shí)候權(quán)重并不特別明確，（比如上邊那個(gè)金融的案例），這時(shí)候可以使用分析——回歸——權(quán)重估計(jì)這個(gè)選項(xiàng)。這個(gè)選項(xiàng)的主面板和回歸分析主面板類似，自變量，因變量，權(quán)重。變量選擇的方法和上邊的加權(quán)回歸也類似。這個(gè)方法也需要你事先給出一個(gè)大概的權(quán)重變量，然后系統(tǒng)會(huì)做一定的調(diào)整來(lái)使方程達(dá)到最佳效果。結(jié)果解釋等也類似，就不贅述了。

除了加權(quán)回歸以外，還有一個(gè)比較特別的線性回歸是曲線參數(shù)估計(jì)。

如果你的線性模型擬合的不是那么理想，那么你的模型很可能就是曲線型的（尤其是你有兩個(gè)變量的時(shí)候，線性模型有時(shí)候會(huì)非常糟糕）。需要打開(kāi)分析——回歸——曲線估計(jì)，選擇你的因變量，自變量。此外下邊還有十一種模型供你選擇。選好以后，結(jié)果會(huì)給出每種模型的決定系數(shù)，F(xiàn)值，P值，你可以從這些數(shù)據(jù)中判斷哪個(gè)方程最適合你的模型。

當(dāng)然，這個(gè)不會(huì)給出你非常詳細(xì)的數(shù)據(jù)。如果你還想要看更詳細(xì)的數(shù)據(jù)，比如方程中每個(gè)參數(shù)的P值什么的，你最好還是用線性回歸做一下。啊，當(dāng)然，當(dāng)然，你的數(shù)據(jù)肯定是沒(méi)辦法直接做線性回歸的，不然也就不用做曲線估計(jì)了。你需要首先轉(zhuǎn)換你的數(shù)據(jù)。舉個(gè)例子：Y=X1^2*a1+X2^2*a2……，假設(shè)你的模型做出來(lái)符合這種形式。那你首先要在數(shù)據(jù)——計(jì)算新變量里邊，計(jì)算出新變量x1的方，x2的方，然后在做這兩個(gè)新變量和因變量的一般線性回歸。當(dāng)然，如果你想要在方程的自變量里在加一個(gè)x1和x2的積，你也可以這么加上去。

那么除了logistic回歸以外，線性回歸的內(nèi)容基本就完畢了。下邊我們繼續(xù)討論一個(gè)問(wèn)題：如何消除自變量間的共線性？

上一節(jié)里邊提到，如果VIF（方差因子膨脹率）合格，而DW不合格的話，我們可以使用廣義差分法來(lái)改善DW，得到好的模型。那這一節(jié)，我們就來(lái)討論一下VIF不合格的情況。我們已經(jīng)知道，如果VIF不合格的話，說(shuō)明自變量存在嚴(yán)重的共線性。在回歸的范疇里邊，通常有三種方法可以解決這個(gè)問(wèn)題。他們分別是偏最小平方回歸，嶺回歸，路徑分析。

偏最小平方回歸對(duì)于初學(xué)者來(lái)講，是一個(gè)并不常用的回歸方法。如果想用這個(gè)分析的話，需要額外下載相關(guān)模塊。下好相關(guān)模塊以后，打開(kāi)分析——回歸——部分最小回歸，（如果沒(méi)有下載相關(guān)模塊的話，他會(huì)提示你下載），打開(kāi)主面板，這是一個(gè)相當(dāng)簡(jiǎn)單的面板，選好自變量，因變量之后，點(diǎn)確定就可以。結(jié)果會(huì)呈現(xiàn)四個(gè)表，也并不難判斷。就不贅述了。

嶺回歸可以下載相關(guān)模塊，也可以自己編程來(lái)實(shí)現(xiàn)。大部分人都會(huì)選擇后一種方法。這個(gè)主要是因?yàn)榇a很簡(jiǎn)潔，很容易編寫(xiě)。代碼如下：

INCLUDE’d:\spss20.0\Ridge Regression.sps’.

Ridgereg enter=X1 X2 X3

/dep=y

諾，就這么三行。第一行單引號(hào)里邊填寫(xiě)你的spss安裝目錄。比如我的按在d盤(pán)下面，所以我就填d:\spss20.0，如果你的按在c盤(pán)，那就填C盤(pán)唄。然后目錄后邊那個(gè)ridge regression，是最小二乘平方的宏的調(diào)用。然后第二行X1，X2，X3的位置填寫(xiě)你的自變量的名字。有幾個(gè)就填幾個(gè)。中間用空格隔開(kāi)。第三行y的位置填你的因變量。運(yùn)行的時(shí)候，打開(kāi)文件——新建——語(yǔ)法，進(jìn)入語(yǔ)法編輯器窗口，輸入上邊的代碼，然后點(diǎn)運(yùn)行——全部就可以了。結(jié)果會(huì)有一個(gè)系數(shù)表，這個(gè)表的第一列是K值，第二列是決定系數(shù)，第三列往后是你的自變量。其中k值會(huì)從0開(kāi)始增大，同時(shí)決定系數(shù)也會(huì)慢慢變小，最終趨于穩(wěn)定。（嶺回歸舍棄了一定的信息，從而改善了多重共線性）要從這張表里邊選取合適的k值，使決定系數(shù)盡量大，同時(shí)盡量穩(wěn)定。選好k值就可以參照系數(shù)寫(xiě)出方程了。此外在嶺回歸里邊是不會(huì)輸出常數(shù)的。這也是和一般回歸方法的一個(gè)不同之處。

嶺回歸和偏最小平方回歸比較而言，嶺回歸的優(yōu)勢(shì)在于容易操作。偏最小平方回歸的優(yōu)勢(shì)在于可以用于例數(shù)很少的情況。如果例數(shù)很少，自變量又很多，甚至例數(shù)都少于自變量的數(shù)目，那么就一定要用偏最小平方回歸了。額，通常在金融領(lǐng)域不會(huì)發(fā)生這種情況，但是在一些特殊的領(lǐng)域，醫(yī)學(xué)啊什么的，則是有可能發(fā)生的。因此在某種程度上來(lái)講，偏最小平方回歸是給特殊需要的人使用的。

最后補(bǔ)充介紹一下路徑分析。如果說(shuō)前邊兩種方法都是從過(guò)程中實(shí)現(xiàn)的話，那么路徑分析就是從專業(yè)角度來(lái)刻畫(huà)方程了。舉個(gè)例子，比如你想看看一朵鮮花的開(kāi)放時(shí)間和陽(yáng)光強(qiáng)度，空氣濕度，空氣溫度，日照時(shí)間等等的關(guān)系，做出分析來(lái)一看，存在共線性。如果你是專業(yè)人員，那么很可能你就知道，由于空氣溫度受到陽(yáng)光強(qiáng)度，和日照時(shí)間的影響，所以你的方程就存在了共線性。所以呢，你就能寫(xiě)出一個(gè)空氣溫度，陽(yáng)光強(qiáng)度，日照時(shí)間之間的一個(gè)回歸方程。然后你就能畫(huà)出一個(gè)路徑圖，代表陽(yáng)光強(qiáng)度的圈圈不僅直接影響了花朵開(kāi)放時(shí)間，而且還影響了空氣溫度，從而間接影響了花朵開(kāi)放時(shí)間，并且你還能寫(xiě)出彼此之間的影響系數(shù)。這就是路徑分析的主要內(nèi)容。

當(dāng)然路徑分析需要有專業(yè)知識(shí)的人來(lái)做。并且呢，通常需要經(jīng)過(guò)許多嘗試，才能正確的寫(xiě)出因變量和自變量之間的方程。而且，最重要的是，路徑分析只能幫助我們搞清楚自變量之間到底存在怎么樣的共線性，對(duì)于矯正方程沒(méi)有什么作用。也就是說(shuō)，方程的決定系數(shù)可能依然很糟糕。所以它更多的是用來(lái)做演示圖或者什么的，對(duì)于改善多重共線性真的沒(méi)什么用。

解決多重共線性的常見(jiàn)方法可以告一段落了。在非線性回歸，分類回歸之后我們介紹因子分析時(shí)將會(huì)舊話重提，再次討論多重共線性的問(wèn)題。CDA數(shù)據(jù)分析師培訓(xùn)