在翻譯sklearn文檔 2.無監(jiān)督學習 部分過程中，發(fā)現(xiàn)協(xié)方差矩陣幾乎貫穿整個章節(jié)，但sklearn指導手冊把協(xié)方差部分放在了這一章節(jié)偏后的部分，作為機器學習一個基礎概念，在這篇文章中，想把協(xié)方差矩陣的相關(guān)知識以及主要應用。

統(tǒng)計學中常用平均值，方差，標準差等描述數(shù)據(jù)。平均值描述了樣本集合的中間點；方差總是一個非負數(shù)，當隨機變量的可能值集中在數(shù)學期望的附近時，方差較小; 反之, 則方差較大。所以, 由方差的大小可以推斷隨機變量分布的分散程度, 方差能反映隨機變量的一切可能值在數(shù)學期望周圍的分散程度。標準差描述了各個樣本點到均值的距離的平均值。但這些統(tǒng)計量都是針對一維數(shù)據(jù)的計算，在處理高維數(shù)據(jù)時，便可以采用協(xié)方差來查看數(shù)據(jù)集中的一些規(guī)律。協(xié)方差來度量兩個隨機變量關(guān)系的統(tǒng)計量，它描述的意義是：如果結(jié)果為正值，則說明兩者是正相關(guān)的，否則是負相關(guān)的。需要注意的是，協(xié)方差是計算不同特征之間的統(tǒng)計量，不是不同樣本之間的統(tǒng)計量。

協(xié)方差基本知識：

協(xié)方差公式：

設n個隨機向量：

從公式上看，協(xié)方差是兩個變量與自身期望做差再相乘, 然后對乘積取期望。也就是說，當其中一個變量的取值大于自身期望，另一個變量的取值也大于自身期望時，即兩個變量的變化趨勢相同, 此時，兩個變量之間的協(xié)方差取正值。反之，即其中一個變量大于自身期望時，另外一個變量小于自身期望，那么這兩個變量之間的協(xié)方差取負值。下面根據(jù)舉一個例子來對協(xié)方差形象的解釋：

協(xié)方差矩陣是實對稱矩陣，實對稱矩陣的性質(zhì)：

1. 實對稱矩陣的不同特征值對應的特征向量時正交的
2. 實對稱矩陣的特征值是實數(shù)，特征向量是實向量
3. 實對稱矩陣必可對角化，且其相似對角矩陣的對角線元素為n個特征值

協(xié)方差矩陣中的對角線元素表示方差, 非對角線元素表示隨機向量 X 的不同分量之 問的協(xié)方差. 協(xié)方差一定程度上體現(xiàn)了相關(guān)性, 因而可作為刻畫不同分 量之間相關(guān)性的一個評判量。若不同分量之問的相關(guān)性越小，則 非對角線元素的值就越小。特別地, 若不同分量彼此不相關(guān), 那么 C 就變成了一個對角陣。注意, 我們并不能得到協(xié)方差矩陣 $C(X)$ 的真實值, 只能根據(jù)所提供的 X 的樣本數(shù)據(jù)對其進行近似估計。因此, 這樣計算得到的協(xié)方差矩陣是依賴于樣本數(shù)據(jù)的, 通常提供的樣本數(shù)目越多 , 樣本在總體中的覆蓋面就越廣。

理解協(xié)方差矩陣的關(guān)鍵就在于牢記它計算的是不同維度之間的協(xié)方差，而不是不同樣本之間，拿到一個樣本矩陣，我們最先要明確的就是一行是一個樣本還是一個維度，心中明確這個整個計算過程就會順流而下，這么一來就不會迷茫了。其實還有一個更簡單的容易記還不容易出錯的方法：協(xié)方差矩陣一定是一個對稱的方陣，

經(jīng)驗協(xié)方差

有時候由于種種原因，并不使用全部的樣本數(shù)據(jù)計算協(xié)方差矩陣，而是利用部分樣本數(shù)據(jù)計算，這時候就要考慮利用部分樣本計算得到的協(xié)方差矩陣是否和真實的協(xié)方差矩陣相同或者近似。

當提供的樣本數(shù)目相對于特征數(shù)足夠多時，利用最大似然估計（或者稱為經(jīng)驗協(xié)方差）計算的結(jié)果，可以認為是協(xié)方差矩陣的幾個近似結(jié)果。這種情況下，會假設數(shù)據(jù)的分布符合一個多元正太分布，數(shù)據(jù)的概率密度函數(shù)中是包含協(xié)方差矩陣的，利用最大似然函數(shù)，對其進行估計。

收縮協(xié)方差

在矩陣的求逆過程中， 最大似然估計不是協(xié)方差矩陣的特征值的一個很好的估計， 所以從反演得到的精度矩陣是不準確的。 有時，甚至出現(xiàn)因矩陣元素地特性,經(jīng)驗協(xié)方差矩陣不能求逆。 為了避免這樣的反演問題，引入了經(jīng)驗協(xié)方差矩陣的一種變換方式，收縮協(xié)方差。

協(xié)方差矩陣——PCA實現(xiàn)的關(guān)鍵

PCA的本質(zhì)其實就是對角化協(xié)方差矩陣。PCA的目的就是“降噪”和“去冗余”?！敖翟搿钡哪康木褪鞘贡Ａ粝聛淼木S度間的相關(guān)性盡可能小，而“去冗余”的目的就是使保留下來的維度含有的“能量”即方差盡可能大。那首先的首先，我們得需要知道各維度間的相關(guān)性以及個維度上的方差??！那有什么數(shù)據(jù)結(jié)構(gòu)能同時表現(xiàn)不同維度間的相關(guān)性以及各個維度上的方差呢？自然是非協(xié)方差矩陣莫屬。協(xié)方差矩陣度量的是維度與維度之間的關(guān)系，而非樣本與樣本之間。協(xié)方差矩陣的主對角線上的元素是各個維度上的方差(即能量)，其他元素是兩兩維度間的協(xié)方差(即相關(guān)性)。我們需要的東西，協(xié)方差矩陣都有了。