主成分分析與因子分析之比較及實(shí)證分析

一、問(wèn)題的提出

在科學(xué)研究或日常生活中，常常需要判斷某一事物在同類事物中的好壞、優(yōu)劣程度及其發(fā)展規(guī)律等問(wèn)題。而影響事物的特征及其發(fā)展規(guī)律的因素（指標(biāo)）是多方面的，因此，在對(duì)該事物進(jìn)行研究時(shí)，為了能更全面、準(zhǔn)確地反映出它的特征及其發(fā)展規(guī)律，就不應(yīng)僅從單個(gè)指標(biāo)或單方面去評(píng)價(jià)它，而應(yīng)考慮到與其有關(guān)的多方面的因素，即研究中需要引入更多的與該事物有關(guān)系的變量，來(lái)對(duì)其進(jìn)行綜合分析和評(píng)價(jià)。多變量大樣本資料無(wú)疑能給研究人員或決策者提供很多有價(jià)值的信息，但在分析處理多變量問(wèn)題時(shí)，由于眾變量之間往往存在一定的相關(guān)性，使得觀測(cè)數(shù)據(jù)所反映的信息存在重疊現(xiàn)象。因此為了盡量避 免信息重疊和減輕工作量，人們就往往希望能找出少數(shù)幾個(gè)互不相關(guān)的綜合變量來(lái)盡可能地反映原來(lái)數(shù)據(jù)所含有的絕大部分信息。而主成分分析和因子分析正是為解決此類問(wèn)題而產(chǎn)生的多元統(tǒng)計(jì)分析方法。

近年來(lái)，這兩種方法在社會(huì)經(jīng)濟(jì)問(wèn)題研究中的應(yīng)用越來(lái)越多，其應(yīng)用范圍也愈加廣泛。因子分析是主成分分析的推廣和發(fā)展，二者之間就勢(shì)必有著許多共同之處，而 SPSS軟件不能直接進(jìn)行主成分分析，致使一些應(yīng)用者在使用SPSS進(jìn)行這兩種方法的分析時(shí)，常常會(huì)出現(xiàn)一些混淆性的錯(cuò)誤，這難免會(huì)使人們對(duì)分析結(jié)果產(chǎn)生質(zhì)疑。因此，有必要在運(yùn)用SPSS分析時(shí)，將這兩種方法加以嚴(yán)格區(qū)分，并針對(duì)實(shí)際問(wèn)題選擇正確的方法。

二、主成分分析與因子分析的聯(lián)系與區(qū)別

兩種方法的出發(fā)點(diǎn)都是變量的相關(guān)系數(shù)矩陣，在損失較少信息的前提下，把多個(gè)變量（這些變量之間要求存在較強(qiáng)的相關(guān)性，以保證能從原始變量中提取主成分）綜合成少數(shù)幾個(gè)綜合變量來(lái)研究總體各方面信息的多元統(tǒng)計(jì)方法，且這少數(shù)幾個(gè)綜合變量所代表的信息不能重疊，即變量間不相關(guān)。

主要區(qū)別：

1. 主成分分析是通過(guò)變量變換把注意力集中在具有較大變差的那些主成分上，而舍棄那些變差小的主成分；因子分析是因子模型把注意力集中在少數(shù)不可觀測(cè)的潛在變量（即公共因子）上，而舍棄特殊因子。

2. 主成分分析是將主成分表示為原觀測(cè)變量的線性組合，

 （1）

主成分的個(gè)數(shù)i=原變量的個(gè)數(shù)p，其中j=1,2,…,p， 是相關(guān)矩陣的特征值所對(duì)應(yīng)的特征向量矩陣中的元素， 是原始變量的標(biāo)準(zhǔn)化數(shù)據(jù)，均值為0，方差為1。其實(shí)質(zhì)是p維空間的坐標(biāo)變換，不改變?cè)紨?shù)據(jù)的結(jié)構(gòu)。

而因子分析則是對(duì)原觀測(cè)變量分解成公共因子和特殊因子兩部分。因子模型如式（2），

 （2）

其中i=1,2,…,p, m是因子分析過(guò)程中的初始因子載荷矩陣中的元素, 是第j個(gè)公共因子，是第i個(gè)原觀測(cè)變量的特殊因子。且此處的與的均值都為0，方差都為1。

3. 主成分的各系數(shù)，是唯一確定的、正交的。不可以對(duì)系數(shù)矩陣進(jìn)行任何的旋轉(zhuǎn)，且系數(shù)大小并不代表原變量與主成分的相關(guān)程度；而因子模型的系數(shù)矩陣是不唯一的、可以進(jìn)行旋轉(zhuǎn)的，且該矩陣表明了原變量和公共因子的相關(guān)程度。

4. 主成分分析，可以通過(guò)可觀測(cè)的原變量X直接求得主成分Y，并具有可逆性；因子分析中的載荷矩陣是不可逆的，只能通過(guò)可觀測(cè)的原變量去估計(jì)不可觀測(cè)的公共因 子，即公共因子得分的估計(jì)值等于因子得分系數(shù)矩陣與原觀測(cè)變量標(biāo)準(zhǔn)化后的矩陣相乘的結(jié)果。還有，主成分分析不可以像因子分析那樣進(jìn)行因子旋轉(zhuǎn)處理。

5.綜合排名。主成分分析一般依據(jù)第一主成分的得分排名，若第一主成分不能完全代替原始變量，則需要繼續(xù)選擇第二個(gè)主成分、第三個(gè)等等，此時(shí)綜合得分=∑ （各主成分得分×各主成分所對(duì)應(yīng)的方差貢獻(xiàn)率）,主成分得分是將原始變量的標(biāo)準(zhǔn)化值，代入主成分表達(dá)式中計(jì)算得到；而因子分析的綜合得分=∑（各因子得分 ×各因子所對(duì)應(yīng)的方差貢獻(xiàn)率）÷∑各因子的方差貢獻(xiàn)率，因子得分是將原始變量的標(biāo)準(zhǔn)化值，代入因子得分函數(shù)中計(jì)算得到。

區(qū)別中存聯(lián)系，聯(lián)系中顯區(qū)別

由于上文提到主成分可表示為原觀測(cè)變量的線性組合，其系數(shù)為原始變量相關(guān)矩陣的特征值所對(duì)應(yīng)的特征向量，且這些特征向量正交，因此，從X到Y(jié)的轉(zhuǎn)換關(guān)系是可逆的，便得到如下的關(guān)系：

 　 （3）

下面對(duì)其只保留前m個(gè)主成分（貢獻(xiàn)大），舍棄剩下貢獻(xiàn)很小的主成分，得：

　　　　i=1,2,…p　　　　　（4）

由此可見，式（4）在形式上已經(jīng)與因子模型（2）忽略特殊因子后的模型即：

 （2）*

相一致，且 （j=1,2,…,m）之間相互獨(dú)立。由于模型（2）*是因子分析中未進(jìn)行因子載荷旋轉(zhuǎn)時(shí)建立的模型，故如果不進(jìn)行因子載荷旋轉(zhuǎn)，許多應(yīng)用者將容易把此時(shí)的因子分析理解成主成分分析，這顯然是不正確的。

然而此時(shí)的主成分的系數(shù)陣即特征向量與因子載荷矩陣確實(shí)存在如下關(guān)系：

主成分分析中，主成分的方差等于原始數(shù)據(jù)相關(guān)矩陣的特征根，其標(biāo)準(zhǔn)差也即特征根的平方根，于是可以將除以其標(biāo)準(zhǔn)差（單位化）后轉(zhuǎn)化成合適的公因子，即令，，則式（4）變?yōu)椋?

 （4）*

可得，　 （5）

式（5）便是主成分系數(shù)矩陣與初始因子載荷陣之間的聯(lián)系。不能簡(jiǎn)單地將初始因子載荷矩陣認(rèn)為是主成分系數(shù)矩陣（特征向量矩陣），否則會(huì)造成偏差。

三、實(shí)證分析

通過(guò)實(shí)例來(lái)研究SPSS軟件中的因子分析和主成分分析及二者分析結(jié)果的比較。運(yùn)用兩種分析方法對(duì)2005年江蘇省13個(gè)主要城市的經(jīng)濟(jì)發(fā)展綜合水平進(jìn)行分析。

本文在選取指標(biāo)時(shí)遵循了指標(biāo)選取的基本原則，即針對(duì)性、可操作性、層次性、全面性等原則，選取了以下反映城市經(jīng)濟(jì)發(fā)展綜合水平的9項(xiàng)指標(biāo)： GDP(X1)億元 、人均GDP (X2) 元 、城鎮(zhèn)居民人均可支配收入(X3)元、農(nóng)村居民純收入(X4) 元、第三產(chǎn)業(yè)占GDP比重(X5)%、金融機(jī)構(gòu)存款余額（X6）億元、萬(wàn)人中各專業(yè)技術(shù)人員數(shù)(X7)人、科技三項(xiàng)和文教科衛(wèi)支出（X8）億元、實(shí)際利用 外資(X9) 億美元。

（一） 數(shù)據(jù)來(lái)源及處理

按照上述指標(biāo)體系，選取了江蘇13個(gè)城市的數(shù)據(jù)，（所有數(shù)據(jù)均來(lái)源于《江蘇統(tǒng)計(jì)年鑒（2006）》）。指標(biāo)都是正指標(biāo)，無(wú)需歸一化，SPSS13.0將自動(dòng)對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化處理，消除指標(biāo)量綱及數(shù)量級(jí)的影響。

（二） 運(yùn)用SPSS進(jìn)行分析

首先，通過(guò)SPSS中的Data Reduction-Factor命令進(jìn)行因子分析，本文采取主成分分析法來(lái)抽取公共因子，并依據(jù)特征值大于1來(lái)確定因子數(shù)目。

相關(guān)的分析結(jié)果及分析，如下：

1.相關(guān)系數(shù)矩陣

由于因子分析是基于相關(guān)矩陣進(jìn)行的，即要求各指標(biāo)之間具有一定的相關(guān)性，求出相關(guān)矩陣是必要的。KMO統(tǒng)計(jì)量是0.659，且Bartlett球體檢驗(yàn) 值為190.584，卡方統(tǒng)計(jì)值的顯著性水平為0.000小于0.01，都說(shuō)明各指標(biāo)之間具有較高相關(guān)性，因此本文數(shù)據(jù)適用于作因子分析。

2.總方差分解

表2中，依據(jù)特征值大于1的原則，提取了2個(gè)公因子（主成分），它們的累積方差貢獻(xiàn)率達(dá)91.4555%，這2個(gè)公因子（主成分）包含了原指標(biāo)的絕大部分信息，可以代替原來(lái)9個(gè)變量對(duì)城市經(jīng)濟(jì)發(fā)展水平現(xiàn)狀進(jìn)行衡量。

3.主成分表達(dá)式與因子模型

初始因子載荷矩陣（見表3）反映了公因子與原始變量之間的相關(guān)程度，而主成分的系數(shù)矩陣并不反映公因子與原始變量之間的相關(guān)程度，故不能直接用表3中的 數(shù)據(jù)表示。根據(jù)該系數(shù)矩陣與初始因子載荷陣之間的關(guān)系（如式（5）），可以計(jì)算出前2個(gè)特征值所對(duì)應(yīng)的特征向量陣（系數(shù)矩陣），見表4。

很明顯表4和表3中的數(shù)據(jù)相差很大，因此，如果將初始因子載荷陣誤認(rèn)為是主成分系數(shù)矩陣，分析結(jié)果將會(huì)產(chǎn)生較大偏差。

主成分的表達(dá)式應(yīng)為：（6）
Y1=0.3622 *Z1+0.3607 *Z2+…+0.3260*Z9
Y2=-0.1298 *Z1-0.0799 *Z2+…-0.3849*Z9
=（79.4012* Y1+12.0543* Y2）/100

因子模型：
X1=0.9684*F1-0.1352*F2
X2=0.9642*F1-0.0832*F2
…
X9=0.8714*F1-0.4009*F2
其中Z1~Z9是X1~X9的標(biāo)準(zhǔn)化數(shù)據(jù).

4.因子得分函數(shù)

從表3得知，各因子在各變量上的載荷已經(jīng)向0和1兩極分化，故無(wú)需進(jìn)行因子旋轉(zhuǎn)。公因子是不可觀測(cè)的，估計(jì)因子得分應(yīng)借助于未旋轉(zhuǎn)因子得分系數(shù)矩陣，見表5。

得到以下因子得分函數(shù)：（7）
F1=0.1355*Z1+0.1349*Z2 +…+0.1219*Z9
F2=-0.1247 *Z1-0.0767*Z2 +…-0.3696*Z9
同樣Z1~Z9是標(biāo)準(zhǔn)化的數(shù)據(jù)，其綜合得分計(jì)算公式：
=(73.4228*F1+18.0327*F2)/91.4555（8）

（三） 兩種方法綜合排名比較

按照主成分綜合得分和因子綜合得分，對(duì)江蘇13個(gè)城市的經(jīng)濟(jì)發(fā)展綜合水平進(jìn)行排名，見表6。

表6中，綜合得分出現(xiàn)負(fù)值，這只表明該城市的綜合水平處于平均水平之下（由于主成分（因子）已經(jīng)標(biāo)準(zhǔn)化了）。

從該表看出，主成分分析與因子分析的實(shí)證結(jié)果，不僅大部分城市的排名存在差異，且綜合得分值上存在較大差異，其定量值差異較大，這對(duì)于后來(lái)的綜合定量定性分析，最終所提出的政策建議等都會(huì)產(chǎn)生較大影響。因此不能混用。

四、結(jié)束語(yǔ)

使用主成分分析和因子分析進(jìn)行綜合評(píng)價(jià)時(shí)，可以通過(guò)不同的統(tǒng)計(jì)軟件來(lái)完成數(shù)據(jù)分析，除SPSS軟件外，其他軟件都分別設(shè)有兩種方法的過(guò)程命令，使用者可以根據(jù)需要采用其中一種來(lái)分析問(wèn)題，一般不會(huì)混淆。而正是因?yàn)镾PSS沒有直接進(jìn)行主成分分析的命令，才使得那些本身尚未清楚區(qū)分這兩種方法的使用者更加迷惑，不慎便會(huì)出現(xiàn)混淆性錯(cuò)誤。因此，本文很詳細(xì)地從理論和實(shí)證角度，分析了這兩種方法的異同及如何運(yùn)用SPSS軟件進(jìn)行分析。從實(shí)證結(jié)果看，運(yùn)用主成分分析和因子分析進(jìn)行綜合定量分析時(shí)，不但綜合排名結(jié)果存在差異，而且定量值也存在較大差異，這必然會(huì)影響后面的綜合定性分析結(jié)果。因此，我們應(yīng)正確理解和運(yùn)用這兩種方法，使其發(fā)揮出各自最大的優(yōu)勢(shì)，以便更好地服務(wù)于實(shí)際問(wèn)題的分析。