在翻譯sklearn文檔 2.無(wú)監(jiān)督學(xué)習(xí) 部分過(guò)程中，發(fā)現(xiàn)協(xié)方差矩陣幾乎貫穿整個(gè)章節(jié)，但sklearn指導(dǎo)手冊(cè)把協(xié)方差部分放在了這一章節(jié)偏后的部分，作為機(jī)器學(xué)習(xí)一個(gè)基礎(chǔ)概念，在這篇文章中，想把協(xié)方差矩陣的相關(guān)知識(shí)以及主要應(yīng)用。

統(tǒng)計(jì)學(xué)中常用平均值，方差，標(biāo)準(zhǔn)差等描述數(shù)據(jù)。平均值描述了樣本集合的中間點(diǎn)；方差總是一個(gè)非負(fù)數(shù)，當(dāng)隨機(jī)變量的可能值集中在數(shù)學(xué)期望的附近時(shí)，方差較小; 反之, 則方差較大。所以, 由方差的大小可以推斷隨機(jī)變量分布的分散程度, 方差能反映隨機(jī)變量的一切可能值在數(shù)學(xué)期望周?chē)姆稚⒊潭?。?biāo)準(zhǔn)差描述了各個(gè)樣本點(diǎn)到均值的距離的平均值。但這些統(tǒng)計(jì)量都是針對(duì)一維數(shù)據(jù)的計(jì)算，在處理高維數(shù)據(jù)時(shí)，便可以采用協(xié)方差來(lái)查看數(shù)據(jù)集中的一些規(guī)律。協(xié)方差來(lái)度量?jī)蓚€(gè)隨機(jī)變量關(guān)系的統(tǒng)計(jì)量，它描述的意義是：如果結(jié)果為正值，則說(shuō)明兩者是正相關(guān)的，否則是負(fù)相關(guān)的。需要注意的是，協(xié)方差是計(jì)算不同特征之間的統(tǒng)計(jì)量，不是不同樣本之間的統(tǒng)計(jì)量。

協(xié)方差基本知識(shí)：

協(xié)方差公式：

設(shè)n個(gè)隨機(jī)向量：

從公式上看，協(xié)方差是兩個(gè)變量與自身期望做差再相乘, 然后對(duì)乘積取期望。也就是說(shuō)，當(dāng)其中一個(gè)變量的取值大于自身期望，另一個(gè)變量的取值也大于自身期望時(shí)，即兩個(gè)變量的變化趨勢(shì)相同, 此時(shí)，兩個(gè)變量之間的協(xié)方差取正值。反之，即其中一個(gè)變量大于自身期望時(shí)，另外一個(gè)變量小于自身期望，那么這兩個(gè)變量之間的協(xié)方差取負(fù)值。下面根據(jù)舉一個(gè)例子來(lái)對(duì)協(xié)方差形象的解釋?zhuān)?

協(xié)方差矩陣是實(shí)對(duì)稱矩陣，實(shí)對(duì)稱矩陣的性質(zhì)：

1. 實(shí)對(duì)稱矩陣的不同特征值對(duì)應(yīng)的特征向量時(shí)正交的
2. 實(shí)對(duì)稱矩陣的特征值是實(shí)數(shù)，特征向量是實(shí)向量
3. 實(shí)對(duì)稱矩陣必可對(duì)角化，且其相似對(duì)角矩陣的對(duì)角線元素為n個(gè)特征值

協(xié)方差矩陣中的對(duì)角線元素表示方差, 非對(duì)角線元素表示隨機(jī)向量 X 的不同分量之 問(wèn)的協(xié)方差. 協(xié)方差一定程度上體現(xiàn)了相關(guān)性, 因而可作為刻畫(huà)不同分 量之間相關(guān)性的一個(gè)評(píng)判量。若不同分量之問(wèn)的相關(guān)性越小，則 非對(duì)角線元素的值就越小。特別地, 若不同分量彼此不相關(guān), 那么 C 就變成了一個(gè)對(duì)角陣。注意, 我們并不能得到協(xié)方差矩陣 $C(X)$ 的真實(shí)值, 只能根據(jù)所提供的 X 的樣本數(shù)據(jù)對(duì)其進(jìn)行近似估計(jì)。因此, 這樣計(jì)算得到的協(xié)方差矩陣是依賴于樣本數(shù)據(jù)的, 通常提供的樣本數(shù)目越多 , 樣本在總體中的覆蓋面就越廣。

理解協(xié)方差矩陣的關(guān)鍵就在于牢記它計(jì)算的是不同維度之間的協(xié)方差，而不是不同樣本之間，拿到一個(gè)樣本矩陣，我們最先要明確的就是一行是一個(gè)樣本還是一個(gè)維度，心中明確這個(gè)整個(gè)計(jì)算過(guò)程就會(huì)順流而下，這么一來(lái)就不會(huì)迷茫了。其實(shí)還有一個(gè)更簡(jiǎn)單的容易記還不容易出錯(cuò)的方法：協(xié)方差矩陣一定是一個(gè)對(duì)稱的方陣，

經(jīng)驗(yàn)協(xié)方差

有時(shí)候由于種種原因，并不使用全部的樣本數(shù)據(jù)計(jì)算協(xié)方差矩陣，而是利用部分樣本數(shù)據(jù)計(jì)算，這時(shí)候就要考慮利用部分樣本計(jì)算得到的協(xié)方差矩陣是否和真實(shí)的協(xié)方差矩陣相同或者近似。

當(dāng)提供的樣本數(shù)目相對(duì)于特征數(shù)足夠多時(shí)，利用最大似然估計(jì)（或者稱為經(jīng)驗(yàn)協(xié)方差）計(jì)算的結(jié)果，可以認(rèn)為是協(xié)方差矩陣的幾個(gè)近似結(jié)果。這種情況下，會(huì)假設(shè)數(shù)據(jù)的分布符合一個(gè)多元正太分布，數(shù)據(jù)的概率密度函數(shù)中是包含協(xié)方差矩陣的，利用最大似然函數(shù)，對(duì)其進(jìn)行估計(jì)。

收縮協(xié)方差

在矩陣的求逆過(guò)程中， 最大似然估計(jì)不是協(xié)方差矩陣的特征值的一個(gè)很好的估計(jì)， 所以從反演得到的精度矩陣是不準(zhǔn)確的。 有時(shí)，甚至出現(xiàn)因矩陣元素地特性,經(jīng)驗(yàn)協(xié)方差矩陣不能求逆。 為了避免這樣的反演問(wèn)題，引入了經(jīng)驗(yàn)協(xié)方差矩陣的一種變換方式，收縮協(xié)方差。

協(xié)方差矩陣——PCA實(shí)現(xiàn)的關(guān)鍵

PCA的本質(zhì)其實(shí)就是對(duì)角化協(xié)方差矩陣。PCA的目的就是“降噪”和“去冗余”。“降噪”的目的就是使保留下來(lái)的維度間的相關(guān)性盡可能小，而“去冗余”的目的就是使保留下來(lái)的維度含有的“能量”即方差盡可能大。那首先的首先，我們得需要知道各維度間的相關(guān)性以及個(gè)維度上的方差?。∧怯惺裁磾?shù)據(jù)結(jié)構(gòu)能同時(shí)表現(xiàn)不同維度間的相關(guān)性以及各個(gè)維度上的方差呢？自然是非協(xié)方差矩陣莫屬。協(xié)方差矩陣度量的是維度與維度之間的關(guān)系，而非樣本與樣本之間。協(xié)方差矩陣的主對(duì)角線上的元素是各個(gè)維度上的方差(即能量)，其他元素是兩兩維度間的協(xié)方差(即相關(guān)性)。我們需要的東西，協(xié)方差矩陣都有了。