
現(xiàn)實世界中數(shù)據(jù)一般都是復(fù)雜和高維的,比如描述一個人,有姓名、年齡、性別、受教育程度、收入、地址、電話等等幾十種屬性,如此多的屬性對于數(shù)據(jù)分析是一個嚴(yán)重的挑戰(zhàn),除了極大增加建模的成本和模型的復(fù)雜度,往往也會導(dǎo)致過擬合問題,因此在實際處理過程中,一些降維的方法是必不可少,其中用的比較多的有主成分分析(PCA)、奇異值分解(SVD)、特征選擇(Feature
Select),本文將對PCA和SVD作簡單的介紹,并力圖通過案例加深對這兩種降維方法的理解。
1 主成分分析PCA
1.1 R語言案例
在R語言中PCA對應(yīng)函數(shù)是princomp,來自stats包。以美國的各州犯罪數(shù)據(jù)為對象進行分析,數(shù)據(jù)集USArrests在graphics包中。
> library(stats) ##princomp
> head(USArrests)
Murder Assault UrbanPop Rape
Alabama 13.2 236 58 21.2
Alaska 10.0 263 48 44.5
Arizona 8.1 294 80 31.0
> summary(pc.cr <- princomp(USArrests, cor = TRUE))
##每個主成分對方差的貢獻(xiàn)比例,顯然Comp.1 + Comp2所占比例超過85%,因此能夠用前兩個主成分來表示整個數(shù)據(jù)集,也將數(shù)據(jù)從4維降到兩維
Importance of components:
Comp.1 Comp.2 Comp.3 Comp.4
Standard deviation 1.5748783 0.9948694 0.5971291 0.41644938
Proportion of Variance 0.6200604 0.2474413 0.0891408 0.04335752
Cumulative Proportion 0.6200604 0.8675017 0.9566425 1.00000000
接下來查看每個特征在主成分中所在的比例
> loadings(pc.cr)
Loadings:
Comp.1 Comp.2 Comp.3 Comp.4
Murder -0.536 0.418 -0.341 0.649
Assault -0.583 0.188 -0.268 -0.743
UrbanPop -0.278 -0.873 -0.378 0.134
Rape -0.543 -0.167 0.818
Comp.1 Comp.2 Comp.3 Comp.4
SS loadings 1.00 1.00 1.00 1.00
Proportion Var 0.25 0.25 0.25 0.25
Cumulative Var 0.25 0.50 0.75 1.00
根據(jù)以上數(shù)據(jù)可很容易轉(zhuǎn)換為幾個數(shù)學(xué)等式:
Comp1 = -0.536 * Murder + (-0.583) * Assault + (-0.278)*UrbanPop + (-0.543)* Rape
Comp2 = 0.418 * Murder + 0.188 * Assault + (-0.873)*UrbanPop + (-0.167)* Rape
可以用Comp1、Comp2兩個維度的數(shù)據(jù)來表示各州,在二維圖上展現(xiàn)各州個聚類關(guān)系。
> head(pc.cr$scores) ##scores包含有各州在四個主成分的得分
Comp.1 Comp.2 Comp.3 Comp.4
Alabama -0.98556588 1.13339238 -0.44426879 0.156267145
Alaska -1.95013775 1.07321326 2.04000333 -0.438583440
Arizona -1.76316354 -0.74595678 0.05478082 -0.834652924
Arkansas 0.14142029 1.11979678 0.11457369 -0.182810896
California -2.52398013 -1.54293399 0.59855680 -0.341996478
##將前兩個Comp提取出來,轉(zhuǎn)換為data.frame方便會面繪圖
> stats.arrests <- data.frame(pc.cr$scores[, -c(3:4)])
> head(stats.arrests)
Comp.1 Comp.2
Alabama -0.9855659 1.1333924
Alaska -1.9501378 1.0732133
Arizona -1.7631635 -0.7459568
> library(ggplot2)
##展現(xiàn)各州的分布情況,觀察哪些州比較異常,哪些能夠進行聚類
> ggplot(stats.arrests, aes(x = Comp.1, y = Comp.2)) +
+ xlab("First Component") + ylab("Second Component") +
+ geom_text(alpha = 0.75, label = rownames(stats.arrests), size = 4)
有興趣的同學(xué)還可以,分析南北各州在犯罪數(shù)據(jù)上的迥異。
1.2 PCA理論基礎(chǔ)
經(jīng)過上一小節(jié)對PCA的簡單應(yīng)用,應(yīng)該可以體會到PCA在降維處理上的魅力,下面簡單介紹PCA的理論基礎(chǔ),對于更好的理解和應(yīng)用PCA會非常有幫助。
PCA本質(zhì)就是將數(shù)據(jù)投影在眾多正交向量上,根據(jù)投影后數(shù)據(jù)的方差大小,說明向量解釋數(shù)據(jù)的程度,方差越大,解釋的程度越大。以下圖為例,數(shù)據(jù)投影在向量u的方差明顯最大,因此u向量作為第一主成分,與u向量正交的v向量,作為第二主成分。
Nd
= dim(data) 代表數(shù)據(jù)的維數(shù), Sc = num(Comp)代表主成分的個數(shù)(Nd = Sc ),在實際情況中,往往取前k
<<
Nd個主成分便能解釋數(shù)據(jù)的方差程度超過90%,因此能夠在只丟失少量消息的情況,達(dá)到大規(guī)模減少數(shù)據(jù)維度的效果,無論對于建立模型、提升性能、減少成本都有很大的意義。
從某種意義上講,PCA只是將很多相互間存在線性關(guān)系的特征,轉(zhuǎn)換成新的、相互獨立的特征,從而減少特征數(shù)量。對此,它需要借助特征值來找到方差最大的主成分,每一個特征值對應(yīng)一個特征向量,特征值越大,特征向量解釋數(shù)據(jù)矩陣的方差的程度越高。因此,只需要將特征值從大到小排列,取出前k個特征向量,便能確定k個最重要的主成分。
PCA算法通常包括如下5個步驟:
A 平均值歸一化,減去每個特征的平均值,保證歸一化后的數(shù)據(jù)平均值為0
B 計算協(xié)方差矩陣,每兩個特征之間的協(xié)方差
C 計算協(xié)方差矩陣的特征向量和特征值
D 將特征向量根據(jù)對應(yīng)的特征值大小降序排列,特征向量按列組成FeatureVector = (eig_1, eig_2, …,eig_n)
E RowFeatureVector = t(FeatureVector) (轉(zhuǎn)置),eig_1變?yōu)榈谝恍校琑owDataAdjusted = t(DataAdjusted), 特征行變?yōu)榱?,得到最終的數(shù)據(jù)。
FinalData = RowFeatureVector X RowDataAdjusted
從維度變化的角度出發(fā)
協(xié)方差矩陣:n x n , FeatureVector: n x n,RowFeatureVector:n x n, n為特征數(shù)量
DataAdjusted:m x n, RowDataAdjusted: n x m
取前k個特征向量, RowFeatureVector:k x n
那么FinalData: k x m, 這樣便實現(xiàn)維度的降低。
2 奇異值分解(SVD)
2.1 案例研究
我們通過一張圖片的處理來展示奇異值分解的魅力所在,對于圖片的處理會用到R語言中raster和jpeg兩個包。
##載入圖片,并且顯示出來
> library(raster)
Loading required package: sp
> library(jpeg)
> raster.photo <- raster("Rlogo.jpg")
> photo.flip <- flip(raster.photo, direction = "y")
##將數(shù)據(jù)轉(zhuǎn)換為矩陣形式
> photo.raster <- t(as.matrix(photo.flip))
> dim(photo.raster)
[1] 288 196
> image(photo.raster, col = grey(seq(0, 1, length = 256))) ##灰化處理
##奇異值進行分解
> photo.svd <- svd(photo.raster)
> d <- diag(photo.svd$d)
> v <- as.matrix(photo.svd$v)
> u <- photo.svd$u
取第一個奇異值進行估計,如下左圖
> u1 <- as.matrix(u[, 1])
> d1 <- as.matrix(d[1, 1])
> v <- as.matrix(v[, 1])
> photo1 <- u1 %*% d1 %*% t(v)
> image(photo1, col = grey(seq(0, 1, length = 256)))
取前五十個奇異值進行模擬,基本能還原成最初的模樣,如上右圖
> u2 <- as.matrix(u[, 1:50])
> d2 <- as.matrix(d[1:50, 1:50])
> v2 <- as.matrix(v[, 1:50])
> photo2 <- u2 %*% d2 %*% t(v2)
> image(photo2, col = grey(seq(0, 1, length = 256)))
當(dāng)我們嘗試用更多的奇異值模擬時,會發(fā)現(xiàn)效果越來來越好,這就是SVD的魅力,對于降低數(shù)據(jù)規(guī)模、提高運算效率、節(jié)省存儲空間有著非常棒的效果。原本一張圖片需要288
X 196的存儲空間,經(jīng)過SVD處理后,在保證圖片質(zhì)量的前提下,只需288 X 50 + 50 X 50 + 196 X
50的存儲空間僅為原來的一半。
2.1 SVD理論基礎(chǔ)
SVD算法通過發(fā)現(xiàn)重要維度的特征,幫助更好的理解數(shù)據(jù),從而在數(shù)據(jù)處理過程中減少不必要的屬性和特征,PCA(主成分分析)只是SVD的一個特例。PCA針對的正方矩陣(協(xié)方差矩陣),而SVD可用于任何矩陣的分解。
對于任意m x n矩陣A,都有這樣一個等式
Am x n = Um x r Sr x r VTn x r
U的列稱為左奇異向量,V的列稱為右奇異向量,S是一個對角線矩陣,對角線上的值稱為奇異值,
r = min(n,
m)。U的列對應(yīng)AAT的特征向量,V的列則是ATA的特征向量,奇異值是AAT和ATA共有特征值的開方。由于A可能不是正方矩陣,因此無法利用得到特征值和特征向量,因此需要進行變換,即AAT(m
x m)和ATA(n x n),這樣就可以計算特征向量和特征值了。
A = USVT AT = VSUT
AAT = USVT VSUT = US2UT
AAT U = U S2
同樣可以推導(dǎo)出: ATA V = V S2
總結(jié)下來,SVD算法主要有六步:
A 、計算出AAT
B 、計算出AAT的特征向量和特征值
C、計算出ATA
D 、計算出ATA的特征向量和特征值
E、計算ATA和ATA共有特征值的開方
F、計算出U、 S、 V
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03