多元線性回歸分析理論詳解及SPSS結(jié)果分析

當(dāng)影響因變量的因素是多個(gè)時(shí)候，這種一個(gè)變量同時(shí)與多個(gè)變量的回歸問(wèn)題就是多元回歸，分為：多元線性回歸和多元非線性回歸。這里直說(shuō)多元線性回歸。對(duì)比一元線性回歸：

1.1多元回歸模型：

3.1 多重判定系數(shù)：(Multiple coefficient of determination)

R2a同時(shí)考慮了樣本量(n)和模型中自變量的個(gè)數(shù)(k)的影響，這就使得R2a的值永遠(yuǎn)小于R2，而且R2a的值不會(huì)因?yàn)槟Ｐ椭凶宰兞康膫€(gè)數(shù)增多而逐漸接近于1.
(2 )R2的平方根成為多重相關(guān)系數(shù)，也稱為復(fù)相關(guān)系數(shù)，它度量了因變量同k個(gè)自變量的相關(guān)程度。
3.2 估計(jì)標(biāo)準(zhǔn)誤差

在此重點(diǎn)說(shuō)明，在一元線性回歸中，線性關(guān)系的檢驗(yàn)(F檢驗(yàn))和回歸系數(shù)的檢驗(yàn)(t檢驗(yàn))是等價(jià)的。 但是在多元回歸中，線性關(guān)系的檢驗(yàn)主要是檢驗(yàn)因變量同多個(gè)自變量線性關(guān)系是否顯著，在k個(gè)自變量中，只要有一個(gè)自變量與因變量的線性關(guān)系顯著，F(xiàn)檢驗(yàn)就能通過(guò)，但這不一定意味著每個(gè)自變量與因變量的關(guān)系都顯著?；貧w系數(shù)檢驗(yàn)則是對(duì)每個(gè)回歸系數(shù)分別進(jìn)行單獨(dú)的檢驗(yàn)，它主要用于檢驗(yàn)每個(gè)自變量對(duì)因變量的影響是否都顯著。如果某個(gè)自變量沒(méi)有通過(guò)檢驗(yàn)，就意味著這個(gè)自變量對(duì)因變量的影響不顯著，也許就沒(méi)有必要將這個(gè)自變量放進(jìn)回歸模型中。
4.1 線性關(guān)系的檢驗(yàn)
步驟：
（1）：提出假設(shè)

多重共線性：當(dāng)回歸模型中兩個(gè)或兩個(gè)以上的變量彼此相關(guān)時(shí)，則稱回歸模型中存在多重共線性。
多重共線性的判別：
（1）模型中中各對(duì)自變量之間顯著相關(guān)
（2）當(dāng)模型的線性關(guān)系檢驗(yàn)(F檢驗(yàn))顯著時(shí)，幾乎所有的回歸系數(shù)βi的t檢驗(yàn)卻不顯著。
（3）回歸系數(shù)的正負(fù)號(hào)與預(yù)期的相反。
（4）容忍度(tolerance) 與 方差擴(kuò)大因子(variance inflation factor, VIF).
容忍度：某個(gè)變量的容忍度等于 1 減去該自變量為因變量而其他k?1個(gè)自變量為預(yù)測(cè)變量時(shí)所得到的線性回歸模型的判定系數(shù)。即1?R2i。 容忍度越小，多重共線性越嚴(yán)重。通常認(rèn)為 容忍度小于 0.1 時(shí)，存在嚴(yán)重的多重共線性。
方差擴(kuò)大因子：容忍度的倒數(shù)。 因此，VIF越大，多重共線性越嚴(yán)重，一般認(rèn)為VIF的值大于10時(shí)，存在嚴(yán)重的多重共線性。

5.2 多重共線性的處理

常見(jiàn)的兩種辦法：
（1）將一個(gè)或多個(gè)相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān)。
（2）如果要在模型中保留所有的自變量，那么應(yīng)該：
（2.1）避免根據(jù)t統(tǒng)計(jì)量對(duì)單個(gè)參數(shù)β進(jìn)行檢驗(yàn)，
（2.2）對(duì)因變量y值的推斷（預(yù)測(cè)和估計(jì)）限定在自變量樣本值的范圍內(nèi)。

5.3選擇變量避免共線性的幾種方式，

在建立回歸模型時(shí)，我們總是希望用最少的變量來(lái)說(shuō)明問(wèn)題，選擇自變量的原則通常是對(duì)統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)，檢驗(yàn)的根據(jù)是：將一個(gè)或一個(gè)以上的自變量引入回歸模型中時(shí)，是否使殘差平方和(SSE)顯著減少，如果增加一個(gè)自變量使殘差平方和(SSE)顯著減少，則說(shuō)明有必要將這個(gè)變量引入回歸模型中，否則，沒(méi)有必要將這個(gè)變量引入回歸模型中。確定在模型中引入自變量xi是否使殘差平方和(SSE)顯著減少的方法，就是使用F統(tǒng)計(jì)量的值作為一個(gè)標(biāo)準(zhǔn)，以此來(lái)確定在模型中增加一個(gè)自變量，還是從模型中剔除一個(gè)自變量。
變量選擇方式：
5.3.1 向前選擇;
第一步： 對(duì)k個(gè)自變量分別與因變量y的一元線性回歸模型，共有k個(gè)，然后找到F統(tǒng)計(jì)量的值最大的模型及其自變量xi并將其首先引入模型。
第二步： 在已經(jīng)引入模型的xi的基礎(chǔ)上，再分別擬合xi與模型外的k?1個(gè)自變量的線性回歸模型，挑選出F值最大的含有兩個(gè)自變量的模型， 依次循環(huán)、直到增加自變量不能導(dǎo)致SSE顯著增加為止，
5.3.2向后剔除
第一步：先對(duì)所有的自變量進(jìn)行線性回歸模型。然后考察p<k個(gè)去掉一個(gè)自變量的模型，使模型的SSE值減小最少的自變量被挑選出來(lái)從模型中剔除，
第二步：考察p?1個(gè)再去掉一個(gè)自變量的模型，使模型的SSE值減小最少的自變量被挑選出來(lái)從模型中剔除，直到剔除一個(gè)自變量不會(huì)使SSE值顯著減小為止，這時(shí)，模型中的所剩自變量自然都是顯著的。
5.3.3逐步回歸
是上面兩個(gè)的結(jié)合、考慮的比較全，以后就用這個(gè)就可以。

具體的分析過(guò)程、咱們以spss的多元回歸分析結(jié)果為例。