用主成分法解決多重共線性問題

一、多重共線性的表現(xiàn)

線性回歸模型中的解釋變量之間由于存在精確相關(guān)關(guān)系或高度相關(guān)關(guān)系?？此葡嗷オ?dú)立的指標(biāo)本質(zhì)上是相同的，是可以相互代替的，但是完全共線性的情況并不多見，一般出現(xiàn)的是在一定程度上的共線性，即近似共線性。

二、多重共線性的后果
1.理論后果

多重共線性是因?yàn)樽兞恐g的相關(guān)程度比較高。

按布蘭查德認(rèn)為, 在計(jì)量經(jīng)濟(jì)學(xué)中, 多重共線性實(shí)質(zhì)上是一個(gè)“微數(shù)缺測(cè)性”問題，就是說多重共線性其實(shí)是由樣本容量太小所造成，當(dāng)樣本容量越小，多重共線性越嚴(yán)重。
多重共線性的理論主要后果：

（1）完全共線性下參數(shù)估計(jì)量不存在；

（2）近似共線性下OLS估計(jì)量非有效；

（3）模型的預(yù)測(cè)功能失效；

（4）參數(shù)估計(jì)量經(jīng)濟(jì)含義不合理

2.現(xiàn)實(shí)后果
（1）各個(gè)解釋變量對(duì)指標(biāo)最后結(jié)論影響很難精確鑒別；
（2）置信區(qū)間比原本寬，使得接受假設(shè)的概率更大；
（3）統(tǒng)計(jì)量不顯著；
（4）擬合優(yōu)度的平方會(huì)很大；
（5）OLS估計(jì)量及其標(biāo)準(zhǔn)誤對(duì)數(shù)據(jù)微小的變化也會(huì)很敏感。

三、多重共線性產(chǎn)生的原因

1. 模型參數(shù)的選用不當(dāng)，在我們建立模型時(shí)如果變量之間存在著高度的相關(guān)性

2. 由于研究的經(jīng)濟(jì)變量隨時(shí)間往往有共同的變化趨勢(shì),他們之間存在著共性。例如當(dāng)經(jīng)濟(jì)繁榮時(shí)，反映經(jīng)濟(jì)情況的指標(biāo)有可能按著某種比例關(guān)系增長

3. 滯后變量。滯后變量的引入也會(huì)產(chǎn)生多重共線行，例如本期的消費(fèi)水平除受本期的收入影響之外，還有可能受前期的收入影響，建立模型時(shí)，本期的收入水平就有可能和前期的收入水平存在著共線性。

四、多重共線性的識(shí)別
1.方差擴(kuò)大因子法( VIF)

一般認(rèn)為如果最大的VIF超過10，常常表示存在多重共線性。
2.容差容忍定法

如果容差（tolerance）<=0.1，常常表示存在多重共線性。
3. 條件索引

條件索引(condition index)>10，可以說明存在比較嚴(yán)重的共線性。

五、多重共線性的處理方法

處理方法有多重增加樣本容量、剔除因子法、PLS(偏最小二乘法)、嶺回歸法、主成分法。

今天著重介紹——主成分法。

當(dāng)自變量間有較強(qiáng)的線性相關(guān)性時(shí)，利用個(gè)p個(gè)變量的主成分，所具有的性質(zhì)，如果他們是互不相關(guān)的，可由前m個(gè)主成z1、z2、zm來建立回歸模型。

由原始變量的觀測(cè)數(shù)據(jù)計(jì)算前個(gè)主成分的得分值，將其作為主成分的觀測(cè)值，建立Y與主成分的回歸模型即得回歸方程。這時(shí)p元降為m元,這樣既簡化了回歸方程的結(jié)構(gòu)，且消除了變量間相關(guān)性帶來的影響

六、實(shí)際的應(yīng)用

我們以下這個(gè)模型分析主營業(yè)務(wù)利潤的影響

Opinci,t=a0+a1*Intani,t+a2*Ppei,t+a3*Opinci,t-1+a4*Levi,t+a5*Asseti,t +ξi,t

1、回歸分析

2、結(jié)果

對(duì)自變量主成分法從多重共線性的識(shí)別方法來看，此模型中存在共線性問題，Ppei,t是影響因子。

3、對(duì)自變量主成分法

由于spss沒有獨(dú)立的主成分分析模塊，需要在因子分析里完成，因此需要特別注意。

在數(shù)據(jù)窗口下選擇“分析”—“降維”—“因子分析。

3.1 結(jié)果

從KMO 和 Bartlett 的檢驗(yàn)得知p<0.001，KMO檢驗(yàn)通過，適合做主成分或因子分析，從解釋的總方差表里初始特征值兩個(gè)主成分（初始因子）貢獻(xiàn)率已達(dá)86.89%，提取前兩個(gè)主成分用于分析。

由成分矩陣和表解釋的總方差可計(jì)算前兩個(gè)特征向量，用成分矩陣前兩列分別除以前兩個(gè)特征值的平方根得前兩個(gè)主成分表達(dá)式：

F1=0.4726Opinci,t-1+0.4854 Instani,t +0.5371Ppei,t+ 0.0534Levi,t+ 0.4995Asseti,t（式1）

F2=-0.1219Opinci,t-1-0.0510Instani,t -0.0497 Ppei,t+ 0.9837Levi,t+0.1131 Asseti,t（式2）

其中Opinci,t-1、 Instani,t 、Ppei,t、 Levi,t、 Asseti,t表示為標(biāo)準(zhǔn)化變量（這是因?yàn)樵谶M(jìn)行主成分分析時(shí)是以標(biāo)準(zhǔn)化變量進(jìn)行分析的，是從相關(guān)陣出發(fā)分析的）

由于主成分互不相關(guān)，可以用提取的主成分代替自變量進(jìn)行回歸分析，因此需要計(jì)算主成分得分來代替自變量Opinci,t-1、 Instani,t 、Ppei,t、 Levi,t、 Asseti,t。

主成分的計(jì)算：依據(jù)式1和2中兩個(gè)主成分的表達(dá)式，對(duì)各自變量標(biāo)準(zhǔn)化后帶入就可以計(jì)算出每個(gè)樣品的主成分得分。

但是在spss中，由因子分析提取時(shí)是用主成分法提取的，根據(jù)初始因子與主成分的關(guān)系，未旋轉(zhuǎn)的初始因子等于主成分除以特征根的平方根，因此主成分得分等于因子得分乘以特征根的平方根，可以由因子得分計(jì)算主成分得分。

前面在因子分析選項(xiàng)中保存了因子得分（因子得分保存變量），因此計(jì)算兩個(gè)主成分得分：點(diǎn)擊“轉(zhuǎn)換”—“計(jì)算變量”。

在彈出的窗口分別定義主成分

F1=第一因子得分*第一特征根的平方根

F2=第二因子得分*第二特征根的平方根

（3）主成分回歸過程

要做主成分回歸，需要用標(biāo)準(zhǔn)化的因變量（因?yàn)樽宰兞拷?jīng)過標(biāo)準(zhǔn)化處理做主成分分析，因變量需要對(duì)應(yīng)做標(biāo)準(zhǔn)化）與主成分做回歸，對(duì)因變量Opinci,t做標(biāo)準(zhǔn)化處理。

點(diǎn)擊“分析”-“描述統(tǒng)計(jì)”-“描述”，在彈出窗口中將Opinci,t調(diào)入變量，并選中“將標(biāo)準(zhǔn)化得分另存為變量”后確定完成Opinci,t的標(biāo)準(zhǔn)化。

點(diǎn)擊“分析”-“回歸”-“線性”在彈出窗口中將Z主營業(yè)務(wù)利潤（y）調(diào)入因變量，F(xiàn)1和F2調(diào)入自變量，其他選項(xiàng)如前，然后點(diǎn)擊“確定”運(yùn)行主成分回歸。

相關(guān)輸出結(jié)果：

由表可知，標(biāo)準(zhǔn)化Opinci,t對(duì)兩個(gè)主成分的線性回歸p<0.001,通過顯著性檢驗(yàn)，沒有多重共線性，回歸系數(shù)合理。

Zscore:（Opinci,t） =0.475F1-0.117F2，將前面F1、F2的表達(dá)式（式1和2）帶入可得標(biāo)準(zhǔn)化Opinci,t關(guān)于標(biāo)準(zhǔn)化自變量的回歸方程：

Zscore:（Opinci,t）=

0.2388Opinci,t-1+0.2365Instani,t +0.2609Ppei,t-0.0897Levi,t+ 0.2240Asseti,t

求得最終回歸結(jié)果。