數(shù)據(jù)分析：常用的降維方法之主成分分析

主成分分析（Principal Component Analysis，PCA）也稱主分量分析，旨在利用降維的思想，把多指標(biāo)轉(zhuǎn)化為少數(shù)幾個綜合指標(biāo)。
　　在統(tǒng)計(jì)學(xué)中，主成分分析是一種簡化數(shù)據(jù)集的技術(shù)。它是一個線性變換。這個變換把數(shù)據(jù)變換到一個新的坐標(biāo)系統(tǒng)中，使得任何數(shù)據(jù)投影的第一大方差在第一個坐標(biāo)(稱為第一主成分)上，第二大方差在第二個坐標(biāo)(第二主成分)上，依次類推。主成分分析經(jīng)常用減少數(shù)據(jù)集的維數(shù)，同時保持?jǐn)?shù)據(jù)集的對方差貢獻(xiàn)最大的特征。這是通過保留低階主成分，忽略高階主成分做到的。這樣低階成分往往能夠保留住數(shù)據(jù)的最重要方面。但是，這也不是一定的，要視具體應(yīng)用而定。
主成分分析的主要作用
　　1．主成分分析能降低所研究的數(shù)據(jù)空間的維數(shù)。即用研究m維的Y空間代替p維的X空間(m＜p)，而低維的Y空間代替 高維的x空間所損失的信息很少。即：使只有一個主成分Yl(即 m＝1)時，這個Yl仍是使用全部X變量(p個)得到的。例如要計(jì)算Yl的均值也得使用全部x的均值。在所選的前m個主成分中，如果某個Xi的系數(shù)全部近似于零的話，就可以把這個Xi刪除，這也是一種刪除多余變量的方法。
　　2．有時可通過因子負(fù)荷aij的結(jié)論，弄清X變量間的某些關(guān)系。
　　3．多維數(shù)據(jù)的一種圖形表示方法。我們知道當(dāng)維數(shù)大于3時便不能畫出幾何圖形，多元統(tǒng)計(jì)研究的問題大都多于3個變量。要把研究的問題用圖形表示出來是不可能的。然而，經(jīng)過主成分分析后，我們可以選取前兩個主成分或其中某兩個主成分，根據(jù)主成分的得分，畫出n個樣品在二維平面上的分布況，由圖形可直觀地看出各樣品在主分量中的地位，進(jìn)而還可以對樣本進(jìn)行分類處理，可以由圖形發(fā)現(xiàn)遠(yuǎn)離大多數(shù)樣本點(diǎn)的離群點(diǎn)。
　　4．由主成分分析法構(gòu)造回歸模型。即把各主成分作為新自變量代替原來自變量x做回歸分析。
　　5．用主成分分析篩選回歸變量?；貧w變量的選擇有著重的實(shí)際意義，為了使模型本身易于做結(jié)構(gòu)分析、控制和預(yù)報(bào)，好從原始變量所構(gòu)成的子集合中選擇最佳變量，構(gòu)成最佳變量集合。用主成分分析篩選變量，可以用較少的計(jì)算量來選擇量，獲得選擇最佳變量子集合的效果。
主成分分析法的計(jì)算步驟
1、原始指標(biāo)數(shù)據(jù)的標(biāo)準(zhǔn)化采集p 維隨機(jī)向量x = (x1,X2,...,Xp)T)n 個樣品xi = (xi1,xi2,...,xip)T ，i=1,2,…,n，
　　n＞p，構(gòu)造樣本陣，對樣本陣元進(jìn)行如下標(biāo)準(zhǔn)化變換：
　　Z_{ij}=\frac{x_{ij}-\bar{x}_j}{s_j},i=1,2,...,n; j=1,2,...,p
　　其中\(zhòng)bar{x}_j=\frac{\sum^{n}_{i=1}x_{ij}}{n},s^2_j=\frac{\sum^n_{i=1}(x_{ij}-\bar{x}_j)^2}{n-1}，得標(biāo)準(zhǔn)化陣Z。
　　2、對標(biāo)準(zhǔn)化陣Z 求相關(guān)系數(shù)矩陣
　　R=\left[r_{ij}\right]_pxp=\frac{Z^T Z}{n-1}
　　其中,r_{ij}=\frac{\sum z_{kj}\cdot z_{kj}}{n-1},i,j=1,2,...,p 。
　　3、解樣本相關(guān)矩陣R 的特征方程\left|R-\lambda I_p\right|=0得p 個特征根,確定主成分
　　按\frac{\sum^m_{j=1}\lambda_j}{\sum^p_{j=1}\lambda_j}\ge 0.85 確定m 值，使信息的利用率達(dá)85%以上，對每個λj, j=1,2,...,m, 解方程組Rb = λjb得單位特征向量b^o_j 。
　　4、將標(biāo)準(zhǔn)化后的指標(biāo)變量轉(zhuǎn)換為主成分
　　U_{ij}=z^{T}_{i}b^{o}_{j},j=1,2,...,m
　　U1稱為第一主成分,U2 稱為第二主成分,…,Up 稱為第p 主成分。
　　5 、對m 個主成分進(jìn)行綜合評價
　　對m 個主成分進(jìn)行加權(quán)求和，即得最終評價值，權(quán)數(shù)為每個主成分的方差貢獻(xiàn)率。
因子分析
　因子分析法是指從研究指標(biāo)相關(guān)矩陣內(nèi)部的依賴關(guān)系出發(fā)，把一些信息重疊、具有錯綜復(fù)雜關(guān)系的變量歸結(jié)為少數(shù)幾個不相關(guān)的綜合因子的一種多元統(tǒng)計(jì)分析方法?；舅枷胧牵焊鶕?jù)相關(guān)性大小把變量分組，使得同組內(nèi)的變量之間相關(guān)性較高，但不同組的變量不相關(guān)或相關(guān)性較低，每組變量代表一個基本結(jié)構(gòu)一即公共因子。
因子分析法的步驟
　　(1)對數(shù)據(jù)樣本進(jìn)行標(biāo)準(zhǔn)化處理。
　　(2)計(jì)算樣本的相關(guān)矩陣R。
　　(3)求相關(guān)矩陣R的特征根和特征向量。
　　(4)根據(jù)系統(tǒng)要求的累積貢獻(xiàn)率確定主因子的個數(shù)。
　　(5)計(jì)算因子載荷矩陣A。
　　(6)確定因子模型。
　　(7)根據(jù)上述計(jì)算結(jié)果，對系統(tǒng)進(jìn)行分析。