主成分分析和因子分析十大不同點

主成分分析和因子分析無論從算法上還是應用上都有著比較相似之處，本文結(jié)合以往資料以及自己的理解總結(jié)了以下十大不同之處，適合初學者學習之用。

1.原理不同

主成分分析基本原理：利用降維（線性變換)的思想，在損失很少信息的前提下把多個指標轉(zhuǎn)化為幾個不相關(guān)的綜合指標（主成分),即每個主成分都是原始變量的線性組合,且各個主成分之間互不相關(guān),使得主成分比原始變量具有某些更優(yōu)越的性能（主成分必須保留原始變量90%以上的信息），從而達到簡化系統(tǒng)結(jié)構(gòu)，抓住問題實質(zhì)的目的。

因子分析基本原理：利用降維的思想，由研究原始變量相關(guān)矩陣內(nèi)部的依賴關(guān)系出發(fā)，把一些具有錯綜復雜關(guān)系的變量表示成少數(shù)的公共因子和僅對某一個變量有作用的特殊因子線性組合而成。就是要從數(shù)據(jù)中提取對變量起解釋作用的少數(shù)公共因子（因子分析是主成分的推廣，相對于主成分分析，更傾向于描述原始變量之間的相關(guān)關(guān)系）

2.線性表示方向不同

因子分析是把變量表示成各公因子的線性組合；而主成分分析中則是把主成分表示成各變量的線性組合。

3.假設條件不同

主成分分析：不需要有假設(assumptions),

因子分析：需要一些假設。因子分析的假設包括：各個共同因子之間不相關(guān)，特殊因子（specific factor）之間也不相關(guān)，共同因子和特殊因子之間也不相關(guān)。

4.求解方法不同

求解主成分的方法：從協(xié)方差陣出發(fā)（協(xié)方差陣已知），從相關(guān)陣出發(fā)（相關(guān)陣R已知），采用的方法只有主成分法。

（實際研究中，總體協(xié)方差陣與相關(guān)陣是未知的，必須通過樣本數(shù)據(jù)來估計）

注意事項：由協(xié)方差陣出發(fā)與由相關(guān)陣出發(fā)求解主成分所得結(jié)果不一致時，要恰當?shù)倪x取某一種方法；一般當變量單位相同或者變量在同一數(shù)量等級的情況下，可以直接采用協(xié)方差陣進行計算；對于度量單位不同的指標或是取值范圍彼此差異非常大的指標，應考慮將數(shù)據(jù)標準化，再由協(xié)方差陣求主成分；實際應用中應該盡可能的避免標準化，因為在標準化的過程中會抹殺一部分原本刻畫變量之間離散程度差異的信息。此外，最理想的情況是主成分分析前的變量之間相關(guān)性高，且變量之間不存在多重共線性問題(會出現(xiàn)最小特征根接近0的情況)；

求解因子載荷的方法：主成分法，主軸因子法，極大似然法，最小二乘法，a因子提取法。

5.主成分和因子的變化不同

主成分分析：當給定的協(xié)方差矩陣或者相關(guān)矩陣的特征值唯一時，主成分一般是固定的獨特的；

因子分析：因子不是固定的，可以旋轉(zhuǎn)得到不同的因子。

6.因子數(shù)量與主成分的數(shù)量

主成分分析：主成分的數(shù)量是一定的，一般有幾個變量就有幾個主成分（只是主成分所解釋的信息量不等），實際應用時會根據(jù)碎石圖提取前幾個主要的主成分。

因子分析：因子個數(shù)需要分析者指定（SPSS和sas根據(jù)一定的條件自動設定，只要是特征值大于1的因子主可進入分析），指定的因子數(shù)量不同而結(jié)果也不同；

7.解釋重點不同：

主成分分析：重點在于解釋個變量的總方差，

因子分析：則把重點放在解釋各變量之間的協(xié)方差。

8.算法上的不同：
主成分分析：協(xié)方差矩陣的對角元素是變量的方差；

因子分析：所采用的協(xié)方差矩陣的對角元素不在是變量的方差，而是和變量對應的共同度（變量方差中被各因子所解釋的部分）

9.優(yōu)點不同：

因子分析：對于因子分析，可以使用旋轉(zhuǎn)技術(shù)，使得因子更好的得到解釋，因此在解釋主成分方面因子分析更占優(yōu)勢；其次因子分析不是對原有變量的取舍，而是根據(jù)原始變量的信息進行重新組合，找出影響變量的共同因子，化簡數(shù)據(jù)；

主成分分析：

第一：如果僅僅想把現(xiàn)有的變量變成少數(shù)幾個新的變量（新的變量幾乎帶有原來所有變量的信息）來進入后續(xù)的分析，則可以使用主成分分析，不過一般情況下也可以使用因子分析；

第二：通過計算綜合主成分函數(shù)得分，對客觀經(jīng)濟現(xiàn)象進行科學評價；

第三：它在應用上側(cè)重于信息貢獻影響力綜合評價。

第四：應用范圍廣，主成分分析不要求數(shù)據(jù)來自正態(tài)分布總體，其技術(shù)來源是矩陣運算的技術(shù)以及矩陣對角化和矩陣的譜分解技術(shù)，因而凡是涉及多維度問題，都可以應用主成分降維；

10.應用場景不同：

主成分分析：

可以用于系統(tǒng)運營狀態(tài)做出評估，一般是將多個指標綜合成一個變量，即將多維問題降維至一維，這樣才能方便排序評估；

此外還可以應用于經(jīng)濟效益、經(jīng)濟發(fā)展水平、經(jīng)濟發(fā)展競爭力、生活水平、生活質(zhì)量的評價研究上；

主成分還可以用于和回歸分析相結(jié)合，進行主成分回歸分析，甚至可以利用主成分分析進行挑選變量，選擇少數(shù)變量再進行進一步的研究。

一般情況下主成分用于探索性分析，很少單獨使用，用主成分來分析數(shù)據(jù)，可以讓我們對數(shù)據(jù)有一個大致的了解。

幾個常用組合：

主成分分析+判別分析，適用于變量多而記錄數(shù)不多的情況；

主成分分析+多元回歸分析，主成分分析可以幫助判斷是否存在共線性，并用于處理共線性問題；

主成分分析+聚類分析，不過這種組合因子分析可以更好的發(fā)揮優(yōu)勢。

因子分析：

首先，因子分析+多元回歸分析，可以利用因子分析解決共線性問題；

其次，可以利用因子分析，尋找變量之間的潛在結(jié)構(gòu)；

再次，因子分析+聚類分析，可以通過因子分析尋找聚類變量，從而簡化聚類變量；

此外，因子分析還可以用于內(nèi)在結(jié)構(gòu)證實