主成分分析與因子分析之比較及實證分析

一、問題的提出

在科學研究或日常生活中，常常需要判斷某一事物在同類事物中的好壞、優(yōu)劣程度及其發(fā)展規(guī)律等問題。而影響事物的特征及其發(fā)展規(guī)律的因素（指標）是多方面的，因此，在對該事物進行研究時，為了能更全面、準確地反映出它的特征及其發(fā)展規(guī)律，就不應僅從單個指標或單方面去評價它，而應考慮到與其有關的多方面的因素，即研究中需要引入更多的與該事物有關系的變量，來對其進行綜合分析和評價。多變量大樣本資料無疑能給研究人員或決策者提供很多有價值的信息，但在分析處理多變量問題時，由于眾變量之間往往存在一定的相關性，使得觀測數(shù)據(jù)所反映的信息存在重疊現(xiàn)象。因此為了盡量避 免信息重疊和減輕工作量，人們就往往希望能找出少數(shù)幾個互不相關的綜合變量來盡可能地反映原來數(shù)據(jù)所含有的絕大部分信息。而主成分分析和因子分析正是為解決此類問題而產(chǎn)生的多元統(tǒng)計分析方法。

近年來，這兩種方法在社會經(jīng)濟問題研究中的應用越來越多，其應用范圍也愈加廣泛。因子分析是主成分分析的推廣和發(fā)展，二者之間就勢必有著許多共同之處，而 SPSS軟件不能直接進行主成分分析，致使一些應用者在使用SPSS進行這兩種方法的分析時，常常會出現(xiàn)一些混淆性的錯誤，這難免會使人們對分析結果產(chǎn)生質疑。因此，有必要在運用SPSS分析時，將這兩種方法加以嚴格區(qū)分，并針對實際問題選擇正確的方法。

二、主成分分析與因子分析的聯(lián)系與區(qū)別

兩種方法的出發(fā)點都是變量的相關系數(shù)矩陣，在損失較少信息的前提下，把多個變量（這些變量之間要求存在較強的相關性，以保證能從原始變量中提取主成分）綜合成少數(shù)幾個綜合變量來研究總體各方面信息的多元統(tǒng)計方法，且這少數(shù)幾個綜合變量所代表的信息不能重疊，即變量間不相關。

主要區(qū)別：

1. 主成分分析是通過變量變換把注意力集中在具有較大變差的那些主成分上，而舍棄那些變差小的主成分；因子分析是因子模型把注意力集中在少數(shù)不可觀測的潛在變量（即公共因子）上，而舍棄特殊因子。

2. 主成分分析是將主成分表示為原觀測變量的線性組合，

 （1）

主成分的個數(shù)i=原變量的個數(shù)p，其中j=1,2,…,p， 是相關矩陣的特征值所對應的特征向量矩陣中的元素， 是原始變量的標準化數(shù)據(jù)，均值為0，方差為1。其實質是p維空間的坐標變換，不改變原始數(shù)據(jù)的結構。

而因子分析則是對原觀測變量分解成公共因子和特殊因子兩部分。因子模型如式（2），

 （2）

其中i=1,2,…,p, m是因子分析過程中的初始因子載荷矩陣中的元素, 是第j個公共因子，是第i個原觀測變量的特殊因子。且此處的與的均值都為0，方差都為1。

3. 主成分的各系數(shù)，是唯一確定的、正交的。不可以對系數(shù)矩陣進行任何的旋轉，且系數(shù)大小并不代表原變量與主成分的相關程度；而因子模型的系數(shù)矩陣是不唯一的、可以進行旋轉的，且該矩陣表明了原變量和公共因子的相關程度。

4. 主成分分析，可以通過可觀測的原變量X直接求得主成分Y，并具有可逆性；因子分析中的載荷矩陣是不可逆的，只能通過可觀測的原變量去估計不可觀測的公共因 子，即公共因子得分的估計值等于因子得分系數(shù)矩陣與原觀測變量標準化后的矩陣相乘的結果。還有，主成分分析不可以像因子分析那樣進行因子旋轉處理。

5.綜合排名。主成分分析一般依據(jù)第一主成分的得分排名，若第一主成分不能完全代替原始變量，則需要繼續(xù)選擇第二個主成分、第三個等等，此時綜合得分=∑ （各主成分得分×各主成分所對應的方差貢獻率）,主成分得分是將原始變量的標準化值，代入主成分表達式中計算得到；而因子分析的綜合得分=∑（各因子得分 ×各因子所對應的方差貢獻率）÷∑各因子的方差貢獻率，因子得分是將原始變量的標準化值，代入因子得分函數(shù)中計算得到。

區(qū)別中存聯(lián)系，聯(lián)系中顯區(qū)別

由于上文提到主成分可表示為原觀測變量的線性組合，其系數(shù)為原始變量相關矩陣的特征值所對應的特征向量，且這些特征向量正交，因此，從X到Y的轉換關系是可逆的，便得到如下的關系：

 　 （3）

下面對其只保留前m個主成分（貢獻大），舍棄剩下貢獻很小的主成分，得：

　　　　i=1,2,…p　　　　?。?）

由此可見，式（4）在形式上已經(jīng)與因子模型（2）忽略特殊因子后的模型即：

 （2）*

相一致，且 （j=1,2,…,m）之間相互獨立。由于模型（2）*是因子分析中未進行因子載荷旋轉時建立的模型，故如果不進行因子載荷旋轉，許多應用者將容易把此時的因子分析理解成主成分分析，這顯然是不正確的。

然而此時的主成分的系數(shù)陣即特征向量與因子載荷矩陣確實存在如下關系：

主成分分析中，主成分的方差等于原始數(shù)據(jù)相關矩陣的特征根，其標準差也即特征根的平方根，于是可以將除以其標準差（單位化）后轉化成合適的公因子，即令，，則式（4）變?yōu)椋?

 （4）*

可得，　 （5）

式（5）便是主成分系數(shù)矩陣與初始因子載荷陣之間的聯(lián)系。不能簡單地將初始因子載荷矩陣認為是主成分系數(shù)矩陣（特征向量矩陣），否則會造成偏差。

三、實證分析

通過實例來研究SPSS軟件中的因子分析和主成分分析及二者分析結果的比較。運用兩種分析方法對2005年江蘇省13個主要城市的經(jīng)濟發(fā)展綜合水平進行分析。

本文在選取指標時遵循了指標選取的基本原則，即針對性、可操作性、層次性、全面性等原則，選取了以下反映城市經(jīng)濟發(fā)展綜合水平的9項指標： GDP(X1)億元 、人均GDP (X2) 元 、城鎮(zhèn)居民人均可支配收入(X3)元、農(nóng)村居民純收入(X4) 元、第三產(chǎn)業(yè)占GDP比重(X5)%、金融機構存款余額（X6）億元、萬人中各專業(yè)技術人員數(shù)(X7)人、科技三項和文教科衛(wèi)支出（X8）億元、實際利用 外資(X9) 億美元。

（一） 數(shù)據(jù)來源及處理

按照上述指標體系，選取了江蘇13個城市的數(shù)據(jù)，（所有數(shù)據(jù)均來源于《江蘇統(tǒng)計年鑒（2006）》）。指標都是正指標，無需歸一化，SPSS13.0將自動對原始數(shù)據(jù)進行標準差標準化處理，消除指標量綱及數(shù)量級的影響。

（二） 運用SPSS進行分析

首先，通過SPSS中的Data Reduction-Factor命令進行因子分析，本文采取主成分分析法來抽取公共因子，并依據(jù)特征值大于1來確定因子數(shù)目。

相關的分析結果及分析，如下：

1.相關系數(shù)矩陣

由于因子分析是基于相關矩陣進行的，即要求各指標之間具有一定的相關性，求出相關矩陣是必要的。KMO統(tǒng)計量是0.659，且Bartlett球體檢驗 值為190.584，卡方統(tǒng)計值的顯著性水平為0.000小于0.01，都說明各指標之間具有較高相關性，因此本文數(shù)據(jù)適用于作因子分析。

2.總方差分解

表2中，依據(jù)特征值大于1的原則，提取了2個公因子（主成分），它們的累積方差貢獻率達91.4555%，這2個公因子（主成分）包含了原指標的絕大部分信息，可以代替原來9個變量對城市經(jīng)濟發(fā)展水平現(xiàn)狀進行衡量。

3.主成分表達式與因子模型

初始因子載荷矩陣（見表3）反映了公因子與原始變量之間的相關程度，而主成分的系數(shù)矩陣并不反映公因子與原始變量之間的相關程度，故不能直接用表3中的 數(shù)據(jù)表示。根據(jù)該系數(shù)矩陣與初始因子載荷陣之間的關系（如式（5）），可以計算出前2個特征值所對應的特征向量陣（系數(shù)矩陣），見表4。

很明顯表4和表3中的數(shù)據(jù)相差很大，因此，如果將初始因子載荷陣誤認為是主成分系數(shù)矩陣，分析結果將會產(chǎn)生較大偏差。

主成分的表達式應為：（6）
Y1=0.3622 *Z1+0.3607 *Z2+…+0.3260*Z9
Y2=-0.1298 *Z1-0.0799 *Z2+…-0.3849*Z9
=（79.4012* Y1+12.0543* Y2）/100

因子模型：
X1=0.9684*F1-0.1352*F2
X2=0.9642*F1-0.0832*F2
…
X9=0.8714*F1-0.4009*F2
其中Z1~Z9是X1~X9的標準化數(shù)據(jù).

4.因子得分函數(shù)

從表3得知，各因子在各變量上的載荷已經(jīng)向0和1兩極分化，故無需進行因子旋轉。公因子是不可觀測的，估計因子得分應借助于未旋轉因子得分系數(shù)矩陣，見表5。

得到以下因子得分函數(shù)：（7）
F1=0.1355*Z1+0.1349*Z2 +…+0.1219*Z9
F2=-0.1247 *Z1-0.0767*Z2 +…-0.3696*Z9
同樣Z1~Z9是標準化的數(shù)據(jù)，其綜合得分計算公式：
=(73.4228*F1+18.0327*F2)/91.4555（8）

（三） 兩種方法綜合排名比較

按照主成分綜合得分和因子綜合得分，對江蘇13個城市的經(jīng)濟發(fā)展綜合水平進行排名，見表6。

表6中，綜合得分出現(xiàn)負值，這只表明該城市的綜合水平處于平均水平之下（由于主成分（因子）已經(jīng)標準化了）。

從該表看出，主成分分析與因子分析的實證結果，不僅大部分城市的排名存在差異，且綜合得分值上存在較大差異，其定量值差異較大，這對于后來的綜合定量定性分析，最終所提出的政策建議等都會產(chǎn)生較大影響。因此不能混用。

四、結束語

使用主成分分析和因子分析進行綜合評價時，可以通過不同的統(tǒng)計軟件來完成數(shù)據(jù)分析，除SPSS軟件外，其他軟件都分別設有兩種方法的過程命令，使用者可以根據(jù)需要采用其中一種來分析問題，一般不會混淆。而正是因為SPSS沒有直接進行主成分分析的命令，才使得那些本身尚未清楚區(qū)分這兩種方法的使用者更加迷惑，不慎便會出現(xiàn)混淆性錯誤。因此，本文很詳細地從理論和實證角度，分析了這兩種方法的異同及如何運用SPSS軟件進行分析。從實證結果看，運用主成分分析和因子分析進行綜合定量分析時，不但綜合排名結果存在差異，而且定量值也存在較大差異，這必然會影響后面的綜合定性分析結果。因此，我們應正確理解和運用這兩種方法，使其發(fā)揮出各自最大的優(yōu)勢，以便更好地服務于實際問題的分析。