多元線性回歸分析理論詳解及SPSS結果分析

當影響因變量的因素是多個時候，這種一個變量同時與多個變量的回歸問題就是多元回歸，分為：多元線性回歸和多元非線性回歸。這里直說多元線性回歸。對比一元線性回歸：

1.1多元回歸模型：

3.1 多重判定系數(shù)：(Multiple coefficient of determination)

R2a同時考慮了樣本量(n)和模型中自變量的個數(shù)(k)的影響，這就使得R2a的值永遠小于R2，而且R2a的值不會因為模型中自變量的個數(shù)增多而逐漸接近于1.
(2 )R2的平方根成為多重相關系數(shù)，也稱為復相關系數(shù)，它度量了因變量同k個自變量的相關程度。
3.2 估計標準誤差

在此重點說明，在一元線性回歸中，線性關系的檢驗(F檢驗)和回歸系數(shù)的檢驗(t檢驗)是等價的。 但是在多元回歸中，線性關系的檢驗主要是檢驗因變量同多個自變量線性關系是否顯著，在k個自變量中，只要有一個自變量與因變量的線性關系顯著，F(xiàn)檢驗就能通過，但這不一定意味著每個自變量與因變量的關系都顯著。回歸系數(shù)檢驗則是對每個回歸系數(shù)分別進行單獨的檢驗，它主要用于檢驗每個自變量對因變量的影響是否都顯著。如果某個自變量沒有通過檢驗，就意味著這個自變量對因變量的影響不顯著，也許就沒有必要將這個自變量放進回歸模型中。
4.1 線性關系的檢驗
步驟：
（1）：提出假設

多重共線性：當回歸模型中兩個或兩個以上的變量彼此相關時，則稱回歸模型中存在多重共線性。
多重共線性的判別：
（1）模型中中各對自變量之間顯著相關
（2）當模型的線性關系檢驗(F檢驗)顯著時，幾乎所有的回歸系數(shù)βi的t檢驗卻不顯著。
（3）回歸系數(shù)的正負號與預期的相反。
（4）容忍度(tolerance) 與 方差擴大因子(variance inflation factor, VIF).
容忍度：某個變量的容忍度等于 1 減去該自變量為因變量而其他k?1個自變量為預測變量時所得到的線性回歸模型的判定系數(shù)。即1?R2i。 容忍度越小，多重共線性越嚴重。通常認為 容忍度小于 0.1 時，存在嚴重的多重共線性。
方差擴大因子：容忍度的倒數(shù)。 因此，VIF越大，多重共線性越嚴重，一般認為VIF的值大于10時，存在嚴重的多重共線性。

5.2 多重共線性的處理

常見的兩種辦法：
（1）將一個或多個相關的自變量從模型中剔除，使保留的自變量盡可能不相關。
（2）如果要在模型中保留所有的自變量，那么應該：
（2.1）避免根據(jù)t統(tǒng)計量對單個參數(shù)β進行檢驗，
（2.2）對因變量y值的推斷（預測和估計）限定在自變量樣本值的范圍內(nèi)。

5.3選擇變量避免共線性的幾種方式，

在建立回歸模型時，我們總是希望用最少的變量來說明問題，選擇自變量的原則通常是對統(tǒng)計量進行顯著性檢驗，檢驗的根據(jù)是：將一個或一個以上的自變量引入回歸模型中時，是否使殘差平方和(SSE)顯著減少，如果增加一個自變量使殘差平方和(SSE)顯著減少，則說明有必要將這個變量引入回歸模型中，否則，沒有必要將這個變量引入回歸模型中。確定在模型中引入自變量xi是否使殘差平方和(SSE)顯著減少的方法，就是使用F統(tǒng)計量的值作為一個標準，以此來確定在模型中增加一個自變量，還是從模型中剔除一個自變量。
變量選擇方式：
5.3.1 向前選擇;
第一步： 對k個自變量分別與因變量y的一元線性回歸模型，共有k個，然后找到F統(tǒng)計量的值最大的模型及其自變量xi并將其首先引入模型。
第二步： 在已經(jīng)引入模型的xi的基礎上，再分別擬合xi與模型外的k?1個自變量的線性回歸模型，挑選出F值最大的含有兩個自變量的模型， 依次循環(huán)、直到增加自變量不能導致SSE顯著增加為止，
5.3.2向后剔除
第一步：先對所有的自變量進行線性回歸模型。然后考察p<k個去掉一個自變量的模型，使模型的SSE值減小最少的自變量被挑選出來從模型中剔除，
第二步：考察p?1個再去掉一個自變量的模型，使模型的SSE值減小最少的自變量被挑選出來從模型中剔除，直到剔除一個自變量不會使SSE值顯著減小為止，這時，模型中的所剩自變量自然都是顯著的。
5.3.3逐步回歸
是上面兩個的結合、考慮的比較全，以后就用這個就可以。

具體的分析過程、咱們以spss的多元回歸分析結果為例。