
在機(jī)器學(xué)習(xí)中,有成千上萬(wàn)甚至幾十萬(wàn)的維度的數(shù)據(jù)需要處理,這種情況下機(jī)器學(xué)習(xí)的資源消耗是不可接受的,并且很大程度上影響著算法的復(fù)雜度,因此對(duì)數(shù)據(jù)降維是必要的。PCA(Principal Component Analysis)是一種常用的數(shù)據(jù)分析方法,也是最基礎(chǔ)的無(wú)監(jiān)督降維算法。通常用于高維數(shù)據(jù)集的探索與可視化,還可以用于數(shù)據(jù)壓縮,數(shù)據(jù)預(yù)處理等。PCA通過(guò)線性變換將原始數(shù)據(jù)變換為一組各維度線性無(wú)關(guān)表示,可用于提取數(shù)據(jù)的主要特征分量及高維數(shù)據(jù)的降維,而轉(zhuǎn)換后的這組變量便是我們所說(shuō)的主成分。
均值和零均值化
均值
在PCA降維過(guò)程中,我們所求的均值是每個(gè)維度的均值。
零均值化
然后將每個(gè)維度的數(shù)據(jù)進(jìn)行零均值化,所謂零均值化就是讓均值為0.即每個(gè)數(shù)據(jù)都減去均值。
進(jìn)行去均值的原因是如果不去均值的話會(huì)容易擬合。在神經(jīng)網(wǎng)絡(luò)中,如果特征值x比較大的時(shí)候,會(huì)導(dǎo)致W*x+b的結(jié)果也會(huì)很大,這樣進(jìn)行激活函數(shù)(如relu)輸出時(shí),會(huì)導(dǎo)致對(duì)應(yīng)位置數(shù)值變化量相對(duì)來(lái)說(shuō)太小,進(jìn)行反向傳播時(shí)因?yàn)橐褂眠@里的梯度進(jìn)行計(jì)算,所以會(huì)導(dǎo)致梯度消散問(wèn)題,導(dǎo)致參數(shù)改變量很小,也就會(huì)易于擬合,效果不好。
定義
若A為n階矩陣,若數(shù)λ和n維非0列向量X滿足AX=λX,那么數(shù)λ稱為A的特征值,X稱為A的對(duì)應(yīng)于特征值λ的特征向量
在PCA降維過(guò)程中,本質(zhì)就是把原有數(shù)據(jù)投影到新的一個(gè)空間,我們也就可以看做是在原有數(shù)據(jù)基礎(chǔ)上求解特征向量和特征值
性質(zhì)
1.同一個(gè)矩陣的不同特征值對(duì)應(yīng)的特征向量是線性無(wú)關(guān)的
2.對(duì)于同一個(gè)特征值對(duì)應(yīng)的特征向量的非零線性組合仍是該特征值對(duì)應(yīng)的特征向量
3.矩陣的特征向量總是相對(duì)于矩陣的特征值而言,一個(gè)特征值具有特征向量不唯一,一個(gè)特征向量不能對(duì)應(yīng)不同特征值
從特征向量和特征值的性質(zhì)我們就可以發(fā)現(xiàn)正好符合PCA降維過(guò)程中取方差較大和線性不相關(guān)的前k維數(shù)據(jù)作為降維后數(shù)據(jù)的目的
方差
方差是是用來(lái)表示數(shù)據(jù)的離散程度的,方差越大,離散程度越大,也就是數(shù)據(jù)波動(dòng)就越大。
方差的計(jì)算:前面已經(jīng)說(shuō)了,需要先對(duì)每個(gè)維度的數(shù)據(jù)做零均值化,那么方差就是去均值后的平方和的均值
PCA中方差的意義:PCA的本質(zhì)就是找一些投影方向,使得數(shù)據(jù)在這些投影方向上的方差最大,而且這些投影方向是相互正交的(即:相關(guān)性幾乎為0)。這其實(shí)就是找新的正交基的過(guò)程,計(jì)算原始數(shù)據(jù)在這些正交基上投影的方差,方差越大,就說(shuō)明在對(duì)應(yīng)正交基上包含了更多的信息量,對(duì)數(shù)據(jù)特征影響更大,我們暫且把這些信息量可以記為特征值。原始數(shù)據(jù)協(xié)方差矩陣的特征值越大,對(duì)應(yīng)的方差越大,在對(duì)應(yīng)的特征向量上投影的信息量就越大。反之,如果特征值較小,則說(shuō)明數(shù)據(jù)在這些特征向量上投影的信息量很小,可以將小特征值對(duì)應(yīng)方向的數(shù)據(jù)刪除,從而達(dá)到了降維的目的。
協(xié)方差
協(xié)方差可以計(jì)算不同變量之間的相關(guān)性:
如果cov(x,y)=-1.變量之間完全負(fù)相關(guān)
如果cov(x,y)=1.變量之間完全正相關(guān)
如果cov(x,y)=0.變量之間完全不相關(guān)
而當(dāng)x和y相等時(shí),協(xié)方差的值就等于方差,所以也可以看作方差是協(xié)方差的一種特殊情況
在PCA的過(guò)程中我們是對(duì)原始數(shù)據(jù)做過(guò)零均值化處理的,故,協(xié)方差可以變?yōu)椋?
那么每個(gè)維度之間的相關(guān)性計(jì)算方式為:
協(xié)方差矩陣
協(xié)方差只能表示兩個(gè)維度變量之間的相互關(guān)系,如果有多個(gè)維度隨機(jī)變量,就需要使用協(xié)方差矩陣,我們假設(shè)現(xiàn)在又三個(gè)維度隨機(jī)變量x,y,z,那么對(duì)應(yīng)的協(xié)方差矩陣則為:
矩陣對(duì)角化定義
對(duì)角矩陣(diagonal matrix)是一個(gè)主對(duì)角線之外的元素皆為0的矩陣。對(duì)角線上的元素可以為0或其他值
如果存在一個(gè)可逆矩陣 P 使得 P-1AP 是對(duì)角矩陣,則矩陣A就被稱為可對(duì)角化矩陣
如果一個(gè)矩陣與一個(gè)對(duì)角矩陣相似,我們就稱這個(gè)矩陣可經(jīng)相似變換對(duì)角化,簡(jiǎn)稱可對(duì)角化;與之對(duì)應(yīng)的線性變換就稱為可對(duì)角化的線性變換
協(xié)方差矩陣對(duì)角化
上文我們已經(jīng)說(shuō)明了協(xié)方差矩陣是一個(gè)實(shí)對(duì)稱矩陣,由實(shí)對(duì)稱矩陣和相似矩陣性質(zhì)我們可以得出協(xié)方差矩陣C具有的性質(zhì):
和C相似的對(duì)角矩陣,其對(duì)角元素為各特征向量對(duì)應(yīng)的特征值(可能有重復(fù))即:C的特征值就是相似對(duì)角矩陣的對(duì)角元素
我們假設(shè)C的相似對(duì)角矩陣為A,那么如果存在一個(gè)矩陣P使得P-1CP=A,根據(jù)對(duì)角矩陣的特點(diǎn),我們就可以發(fā)現(xiàn)矩陣P的每一行就是我們所要找的協(xié)方差矩陣的特征向量,而特征值就是對(duì)角矩陣的對(duì)角元素,現(xiàn)在我們離整個(gè)PCA過(guò)程還有一步,先把每一個(gè)特征向量變成單位向量,然后再按照特征值的大小進(jìn)行排序,取前K行特征值對(duì)應(yīng)的單位向量組成的矩陣和標(biāo)準(zhǔn)化后數(shù)據(jù)相乘,就得到了我們需要的降維后的數(shù)據(jù)矩陣。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03