十分鐘搞定PCA主成分分析

在數(shù)據(jù)建模當中我們經(jīng)常會聽到一個詞叫做降維，首先咱們先來嘮一嘮數(shù)據(jù)為啥要降維呢？最主要的原因還是在于一方面使得我們需要計算的量更少啦，想象一下一個100維的數(shù)據(jù)和一個10維數(shù)據(jù)計算的速度肯定是不一樣的，另一方面如果我們的數(shù)據(jù)中有很無關特征，這些對結果看起來沒什么促進的作用，那我們就干脆把有價值的拿出來，因為他們才是決定模型的關鍵！

第一個強調(diào)的關鍵點：PCA是一種無監(jiān)督算法，也就是我們不需要標簽也能對數(shù)據(jù)做降維，這就使得其應用范圍更加廣泛了。那么PCA的核心思想是什么呢？這里我們提到了方差，咱們可以想象一下，如果一群人都堆疊在一起，我們想?yún)^(qū)分他們是不是比較困難，但是如果這群人站在馬路兩側，我們就可以很清晰的判斷出來應該這是兩伙人。所以基于方差我們可以做的就是讓方差來去判斷咱們數(shù)據(jù)的擁擠程度，在這里我們認為方差大的應該辨識度更高一些，因為分的比較開（一條馬路給隔開啦）。但是PCA也有一個問題，原來的數(shù)據(jù)中比如包括了年齡，性別，身高等指標降維后的數(shù)據(jù)既然維度變小了，那么每一維都是什么含義呢？這個就很難解釋了，所以PCA本質(zhì)來說是無法解釋降維后的數(shù)據(jù)的物理含義，換句話說就是降維完啦計算機能更好的認識這些數(shù)據(jù)，但是咱們就很難理解了。

在我們深入到PCA原理之前，先來解釋一下什么叫基，把這個搞清楚之后就好理解了，大家一般所認識的坐標系一般都是X,Y軸。

就像我們圖上面的，我說有一個向量（3，2），但是為什么這個向量是這樣的表示呢？因為它在我們的做標系中，如果我把坐標系換了，它就不是（3，2）了。作為基，首先的一個前提就是要相互垂直，或者說內(nèi)積為0，因為X和Y它們表達的分別是兩種指標，我們不希望它們之間內(nèi)部存在任何聯(lián)系，所以必須讓他們內(nèi)積為0，這樣就是各自獨立的啦！

那么對我們坐標來說能否進行變換呢？肯定是可以的，比如我現(xiàn)在把（3，2）變換到另外一組基中，它的表達方式就不一樣啦！這回咱們應該發(fā)現(xiàn)了這樣一個事了吧，所謂的降維就是要把我們的數(shù)據(jù)投影到最合適的基中，那下面我們的目標就是尋找最好的基！

咱這之前，還是得先來了解下另外一個知識點，叫做協(xié)方差，剛才我們已經(jīng)有了目標就是尋找一個基，可以使得我們數(shù)據(jù)投影過去后方差能夠越大越好！這個是我們的前提，但是只滿足這一點就夠了嘛？還不可以，因為我們還需要保證基的前提就是相互垂直，這就可以用協(xié)方差來進行表示啦，如果兩個變量他們之間是相互獨立的那么它們的協(xié)方差就必定為0，這就是我們的第二點要求啦，數(shù)據(jù)投影到的新基，其各個維度協(xié)方差都必須為0。（上圖中假定數(shù)據(jù)各個維度均值為0）

終于到啦要揭開謎底的時候啦！我們恰好遇到了一個東西叫做協(xié)方差矩陣，在公式中只需要對數(shù)據(jù)X進行變換就可以得到的。觀察一下協(xié)方差矩陣，恰好發(fā)現(xiàn)了這樣一個事，主對角線不就是我們的方差嘛（假設均值為0），非對角線上的元素又恰好是協(xié)方差。按照咱們之前的兩點約定，我們只需要讓方差越大越好，并且協(xié)方差等于0不就可以啦嘛！

怎么做上面的那件事呢？這就是我們的目標了。讓非對角線全為0這就需要對矩陣進行對角化啦，按照我們上面的定理，我們可以完成對角化操作，對我們所得的協(xié)方差矩陣求解其特征值與特征向量不就OK啦嘛。接下來按照特征值的大小進行排列，如果你想把數(shù)據(jù)降到3維，那就取前3個特征值所對應的特征向量就可以啦！

全部的過程就在這里啦，其實只需要得到協(xié)方差矩陣，然后對角化，將得到的特征向量進行選擇就得到我們要投影到的基啦!數(shù)據(jù)降維操作就這么愉快的搞定啦！