多重共線性問題的幾種解決方法

在多元線性回歸模型經(jīng)典假設(shè)中，其重要假定之一是回歸模型的解釋變量之間不存在線性關(guān)系，也就是說，解釋變量X1，X2，……，Xk中的任何一個(gè)都不能是其他解釋變量的線性組合。如果違背這一假定，即線性回歸模型中某一個(gè)解釋變量與其他解釋變量間存在線性關(guān)系，就稱線性回歸模型中存在多重共線性。多重共線性違背了解釋變量間不相關(guān)的古典假設(shè)，將給普通最小二乘法帶來嚴(yán)重后果。

這里，我們總結(jié)了8個(gè)處理多重共線性問題的可用方法，大家在遇到多重共線性問題時(shí)可作參考：

1、保留重要解釋變量，去掉次要或可替代解釋變量

2、用相對(duì)數(shù)變量替代絕對(duì)數(shù)變量

3、差分法

4、逐步回歸分析

5、主成份分析

6、偏最小二乘回歸

7、嶺回歸

8、增加樣本容量

這次我們主要研究逐步回歸分析方法是如何處理多重共線性問題的。

逐步回歸分析方法的基本思想是通過相關(guān)系數(shù)r 、擬合優(yōu)度R2 和標(biāo)準(zhǔn)誤差三個(gè)方面綜合判斷一系列回歸方程的優(yōu)劣，從而得到最優(yōu)回歸方程。具體方法分為兩步：

第一步，先將被解釋變量y對(duì)每個(gè)解釋變量作簡(jiǎn)單回歸:

對(duì)每一個(gè)回歸方程進(jìn)行統(tǒng)計(jì)檢驗(yàn)分析（相關(guān)系數(shù)r 、擬合優(yōu)度R2 和標(biāo)準(zhǔn)誤差），并結(jié)合經(jīng)濟(jì)理論分析選出最優(yōu)回歸方程，也稱為基本回歸方程。

第二步，將其他解釋變量逐一引入到基本回歸方程中，建立一系列回歸方程，根據(jù)每個(gè)新加的解釋變量的標(biāo)準(zhǔn)差和復(fù)相關(guān)系數(shù)來考察其對(duì)每個(gè)回歸系數(shù)的影響，一般根據(jù)如下標(biāo)準(zhǔn)進(jìn)行分類判別：

１.如果新引進(jìn)的解釋變量使R2 得到提高,而其他參數(shù)回歸系數(shù)在統(tǒng)計(jì)上和經(jīng)濟(jì)理論上仍然合理，則認(rèn)為這個(gè)新引入的變量對(duì)回歸模型是有利的，可以作為解釋變量予以保留。

２.如果新引進(jìn)的解釋變量對(duì)R2 改進(jìn)不明顯，對(duì)其他回歸系數(shù)也沒有多大影響，則不必保留在回歸模型中。

３.如果新引進(jìn)的解釋變量不僅改變了R2 ，而且對(duì)其他回歸系數(shù)的數(shù)值或符號(hào)具有明顯影響，則認(rèn)為該解釋變量為不利變量，引進(jìn)后會(huì)使回歸模型出現(xiàn)多重共線性問題。不利變量未必是多余的，如果它可能對(duì)被解釋變量是不可缺少的，則不能簡(jiǎn)單舍棄，而是應(yīng)研究改善模型的形式，尋找更符合實(shí)際的模型，重新進(jìn)行估計(jì)。如果通過檢驗(yàn)證明回歸模型存在明顯線性相關(guān)的兩個(gè)解釋變量中的其中一個(gè)可以被另一個(gè)很好地解釋，則可略去其中對(duì)被解釋變量影響較小的那個(gè)變量，模型中保留影響較大的那個(gè)變量。

下邊我們通過實(shí)例來說明逐步回歸分析方法在解決多重共線性問題上的具體應(yīng)用過程。

具體實(shí)例

例1 設(shè)某地10年間有關(guān)服裝消費(fèi)、可支配收入、流動(dòng)資產(chǎn)、服裝類物價(jià)指數(shù)、總物價(jià)指數(shù)的調(diào)查數(shù)據(jù)如表1，請(qǐng)建立需求函數(shù)模型。

表1  服裝消費(fèi)及相關(guān)變量調(diào)查數(shù)據(jù)

（１）設(shè)對(duì)服裝的需求函數(shù)為

用最小二乘法估計(jì)得估計(jì)模型：

模型的檢驗(yàn)量得分，R2=0.998，D·W=3.383，F(xiàn)=626.4634

R2接近1，說明該回歸模型與原始數(shù)據(jù)擬合得很好。由得出拒絕零假設(shè)，認(rèn)為服裝支出與解釋變量間存在顯著關(guān)系。

（２）求各解釋變量的基本相關(guān)系數(shù)

上述基本相關(guān)系數(shù)表明解釋變量間高度相關(guān)，也就是存在較嚴(yán)重的多重共線性。

（３）為檢驗(yàn)多重共線性的影響，作如下簡(jiǎn)單回歸：

各方程下邊括號(hào)內(nèi)的數(shù)字分別表示的是對(duì)應(yīng)解釋變量系數(shù)的t檢驗(yàn)值。

觀察以上四個(gè)方程，根據(jù)經(jīng)濟(jì)理論和統(tǒng)計(jì)檢驗(yàn)（t檢驗(yàn)值=41.937最大，擬合優(yōu)度也最高），收入Ｙ是最重要的解釋變量，從而得出最優(yōu)簡(jiǎn)單回歸方程。

（４）將其余變量逐個(gè)引入，計(jì)算結(jié)果如下表2：

表2　服裝消費(fèi)模型的估計(jì)

結(jié)果分析：

①在最優(yōu)簡(jiǎn)單回歸方程中引入變量Pc，使R2由0.9955提高到0.9957；根據(jù)經(jīng)濟(jì)理論分析，正號(hào)，負(fù)號(hào)是合理的。然而t檢驗(yàn)不顯著（），而從經(jīng)濟(jì)理論分析，Pc應(yīng)該是重要因素。雖然Y與Pc高度相關(guān)，但并不影響收入Y回歸系數(shù)的顯著性和穩(wěn)定性。依照第1條判別標(biāo)準(zhǔn)，Pc可能是“有利變量”，暫時(shí)給予保留。

②模型中引入變量L ，R2 由0.9957提高到0.9959， 值略有提高。一方面，雖然Y 與L ，Pc與L 均高度相關(guān)，但是L 的引入對(duì)回歸系數(shù)、的影響不大（其中的值由0.1257變?yōu)?.1387，值由-0.0361變?yōu)?0.0345，變化很?。?；另一方面，根據(jù)經(jīng)濟(jì)理論的分析，L與服裝支出C之間應(yīng)該是正相關(guān)關(guān)系，即的符號(hào)應(yīng)該為正號(hào)而非負(fù)號(hào)，依照第2條判別標(biāo)準(zhǔn)，解釋變量L不必保留在模型中。

③舍去變量L ，加入變量P0 ，使R2 由0.9957提高到0.9980，R2 值改進(jìn)較大。、、均顯著（這三個(gè)回歸系數(shù)的t檢驗(yàn)值絕對(duì)值均大于），從經(jīng)濟(jì)意義上看也是合理的（服裝支出C與Y,P0之間呈正相關(guān)，而與服裝價(jià)格Pc之間呈負(fù)相關(guān)關(guān)系）。根據(jù)判別標(biāo)準(zhǔn)第1條，可以認(rèn)為Pc、P0皆為“有利變量”，給予保留。

④最后再引入變量L ，此時(shí)R2 ＝0.9980沒有增加（或幾乎沒有增加），新引入變量對(duì)其他三個(gè)解釋變量的參數(shù)系數(shù)也沒有產(chǎn)生多大影響，可以確定L 是多余變量，根據(jù)判別標(biāo)準(zhǔn)第2條，解釋變量L 不必保留在模型中。

因此我們得到如下結(jié)論：回歸模型為最優(yōu)模型。

通過以上案例的分析，我們從理論和實(shí)際問題兩方面具體了解了逐步回歸分析是如何對(duì)多重共線性問題進(jìn)行處理的。事實(shí)上，一般統(tǒng)計(jì)軟件如SPSS，在回歸模型的窗口中都會(huì)提供變量逐步進(jìn)入的選項(xiàng)，勾選后實(shí)際上就是選擇了運(yùn)用逐步回歸的思想來構(gòu)建回歸模型。運(yùn)用SPSS軟件不需要我們懂得其背后的運(yùn)行規(guī)律，然而作為分析師，了解并理解模型背后的理論知識(shí)，將更有助于我們理解模型、解釋結(jié)論背后的內(nèi)在含義，從而達(dá)到更好地分析問題的目的。