機(jī)器學(xué)習(xí)故事匯-搞定支持向量機(jī)（SVM）

一聽到支持向量機(jī)這個名字，給大家的感覺應(yīng)該是這個樣子滴，感覺好像很高端一個事情，但是又不知道它到底在什么。咱們今天的目標(biāo)就是用最通俗的語言搞定它！

首先我們來看一下咱們的支持向量機(jī)是要打算干一個什么大事情！其實我第一次聽到這個名字的時候最想搞清楚的就是它為啥起了個這么個怪名字（看完你就懂啦）！對于一個分類任務(wù)而言，最主要的目標(biāo)就是能分得開，但是對于上圖當(dāng)中的兩類數(shù)據(jù)點(diǎn)來說，我可以找到三條線把它們都完全分得開，其實可以找到無數(shù)條的！那么問題也隨之而來了，到底選誰呀？第二點(diǎn)，如果數(shù)據(jù)本身就很復(fù)雜，我們的這個線性分類還夠用嗎？第三點(diǎn)，這么強(qiáng)大的一個算法，它的計算復(fù)雜度咋樣呀？這些就是我們現(xiàn)在面臨的問題，準(zhǔn)備逐一攻克吧！

這里放上兩張圖，看起來有啥區(qū)別呢？左邊的決策的區(qū)域感覺小一些，右邊的大一些！但是他們倆是不是都完成了一個任務(wù)呀，完全把數(shù)據(jù)點(diǎn)切分開了！這個事咱可以這么嘮，左右兩邊現(xiàn)在不是數(shù)據(jù)點(diǎn)了而是交戰(zhàn)雙方的雷區(qū)，想想戰(zhàn)狼2最后是不是從兩個交戰(zhàn)區(qū)域沖出來了！

兩邊都是雷區(qū)，我們現(xiàn)在要開辟出來一條隔離帶，既不能碰到任何一個雷，還得讓我們的大部分安全通過，那這條隔離帶你說左邊的好還是右邊的好呢？必然是右邊的吧，因為更胖一些，這樣我們的部分更安全，說白了我們要的決策邊界應(yīng)該泛化能力更強(qiáng)一些的！

既然說到雷了，最起碼的一個要求就是不能碰到它呀！那么我們來想，你要是碰到雷應(yīng)該先碰哪個呀？離你隔離帶最近的那個吧，那這里我們就得說說距離這個問題了，它決定了雷是你咱們隔離帶多遠(yuǎn)的！

假設(shè)我們的隔離帶就是這個平面，有一個雷X，那么現(xiàn)在咱們來算一下這個雷到我平面的距離有多遠(yuǎn)！直接算感覺好像有點(diǎn)難，咱們來轉(zhuǎn)換一下，這里假定平面上有兩個點(diǎn)X’和X”,如果我知道X到X’的距離，然后把這個距離投影到我的垂線方向，這樣不就間接的計算出雷X到平面的距離了嘛。平面的垂線方向又恰好是它的法向量，只需求出它的單位向量就可以啦！問題迎刃而解，這樣就有了一個雷到隔離帶的距離了！

接下來對我的數(shù)據(jù)集進(jìn)行如下定義，支持向量機(jī)是一個經(jīng)典的二分類問題，在這里我們認(rèn)為如果說一個點(diǎn)就是一個正例，那么對應(yīng)的標(biāo)簽值就是+1，如果一個點(diǎn)是負(fù)例，那么對應(yīng)的標(biāo)簽值就是-1。對應(yīng)于我的決策方程，就可以做這樣的定義啦，如果預(yù)測值Y(x)>0我就說它是一個正例，如果 Y(x)<0我就說它是一個負(fù)例。兩個式子看起來有點(diǎn)多，整合一下吧，既然>0的時候標(biāo)簽值為+1,<0的時候標(biāo)簽值為-1。那么它們的乘積就必然是恒大于0的啦！

下面咱們來看一下我們要優(yōu)化的目標(biāo)是啥呢？我現(xiàn)在是不是要找最好的一個隔離帶（也就是決策方程，說白了就是w和b）！這個隔離帶要能夠盡可能的安全，所以就要使得離它最近的那個雷（先會碰到最近的）越遠(yuǎn)越好呀！只要大家能理解這句話，支持向量機(jī)也就差不多有個意思了！在看點(diǎn)到?jīng)Q策邊界的距離，原始的式子中有個絕對值，現(xiàn)在我們展開是不是也可以呀，因為y*y(x)恒正嘛！

來看我們要優(yōu)化的目標(biāo)，這個一個求最小，完了又求最大，這個啥意思啊？想想咱們的隔離帶咋說的，是不是先求最近的雷，然后讓這個雷滾的越遠(yuǎn)越好呀！這就是我們最小和最大是啥意思！但是現(xiàn)在這個式子看起來有點(diǎn)復(fù)雜呀，能不能簡化一下呀，直接我們認(rèn)為y(x)恒大于0，現(xiàn)在咱們把這個條件放的寬松一些，總可以通過放縮變換讓y(x)>=1嘛，這樣問題就簡單了！既然要求y*y（x）的最小值，現(xiàn)在是不是最小值就是1呀，這樣這個式子不久能化簡掉了嘛！

下面咱們來看，只剩下求解一個最大值啦！但是我們的常規(guī)套路是不是把一個最大值問題轉(zhuǎn)換成一個最小值問題呀，直接求它倒數(shù)的最小值不久完了嘛！那這個帶有約束條件的極值問題該怎么求呢？自然想到了一個神器：拉格朗日乘子法。這個概念如果沒接觸咱們就這么嘮，現(xiàn)在我的目標(biāo)是找到最合適的W和B但是這樣還帶約束的條件看起來比較難，所以我們想把這樣一個問題轉(zhuǎn)換成一個求解容易些的中間值問題，這個中間值能夠和W還有B扯上關(guān)系，這樣求出來了中間值就能找出來W和B了，差不多就是這個意思！

這個式子就是我們標(biāo)準(zhǔn)的拉格朗日乘子法嘛，感興趣可以翻翻咱們的高數(shù)書來回顧下，估計你們也不感興趣，那就認(rèn)為科學(xué)及推導(dǎo)出來的東西是對的就好啦！

這里我們利用了對偶條件，啥意思呢？看起來就是最大最小調(diào)換了一下，其實這是一個證明，可以參考下拉格朗日KKT條件，這個說起來就太惡心人了，感興趣看看KKT這三個科學(xué)家干了一件什么事吧！
接下來我就要先求解什么樣的w和b能夠使得當(dāng)前的L式子的值最小吧！這個我們自然想到了直接求偏導(dǎo)嘛！分別對w和b求偏導(dǎo)，然后得到了上述式子。

將得到的解帶回到原式當(dāng)中，相當(dāng)于把w和b就約分掉了，那么我們現(xiàn)在要求解的就是什么樣的a值，能夠使得這個式子最大吧！

對要求的極大值式子同樣加上了相反數(shù)變換成了求極小值的問題，到這里已經(jīng)接近我們最終的答案啦！

來看一個小例子吧，這個只是舉例來說SVM怎么求解，真正的求解方式參考SMO算法吧！這里我們有三個數(shù)據(jù)點(diǎn)，2個正例，1個負(fù)例，通過它們要得到最好的決策方程！在約束條件中，就要把之前所考慮的條件都帶上啦，拉格朗日乘子法也有自身的約束條件就是所有的a值必須都大于0.

對于這樣的式子，將我們的數(shù)據(jù)全部帶入就好了，注意一點(diǎn)，這個x之間求的是內(nèi)積！

在求極值的過程中，我們直接對a1和a2求偏導(dǎo)得到了結(jié)果，但是發(fā)現(xiàn)結(jié)果卻不滿足我們的約束條件，這怎么辦呢？既然極值點(diǎn)不滿足，我們只能在邊界上來尋找了！

在邊界上我們求出來所有的a值，這樣是不是就完成啦求解的任務(wù)呀！因為我們知道a和w之間的關(guān)系呀，再繼續(xù)求解就能夠算出來w和b啦，到此我們就求解出來了這個問題的解有了決策邊界！

回過頭來想一想，對于a值來說，是不是有些算出來是一個數(shù)，有些算出來就是0呀，咱們的a2就是0呀，回到那3個點(diǎn)的圖中看一下，發(fā)現(xiàn)什么了？2號樣本點(diǎn)是不是非邊界上的點(diǎn)呀，那咱們來想它的a值等于0，那么最終的w在計算的時候是不是就跟它無關(guān)了呀，那么在這里我們得出了一個非常重要的結(jié)論，支持向量機(jī)是由邊界上的點(diǎn)所支撐起來的（因為邊界上的點(diǎn)的a值不為0，非邊界上的點(diǎn)的a值為0呀），那么我們就把邊界上的點(diǎn)叫做支持向量！現(xiàn)在知道支持向量機(jī)這個奇怪的名字咋來的了吧！

這里做了這樣一個實驗，保證邊界上的點(diǎn)不變，然后在數(shù)據(jù)集中增加數(shù)據(jù)，發(fā)現(xiàn)了一個事，決策邊界沒有發(fā)生變化！左邊是60個數(shù)據(jù)的右邊是120個的，只要支持向量沒變，邊界就不會變，這就是支持向量機(jī)，因為再加的點(diǎn)a值都為0呀！

新問題又來啦！在這里我們發(fā)現(xiàn)了一個事，在構(gòu)建決策邊界的過程中，如果某一個點(diǎn)比較特(離群點(diǎn))，我們的邊界會為了滿足它而把隔離帶做的很小，這該咋辦呀？讓我們的決策邊界要求放低一些吧！

由于之前的要求太嚴(yán)格了，在這里我們指定了一個新的東西叫做松弛因子，在目標(biāo)函數(shù)中把它考慮進(jìn)來了，啥意思呢？來看一下吧，引入了參數(shù)C相當(dāng)于松弛因子讓咱們決策邊界放松的大?。∪绻鸆很大，那我們還想讓目標(biāo)函數(shù)很小，是不是松弛因子就得很小了吧！如果C很小呢？那么松弛因子稍微大一些也沒關(guān)系吧！就是這個意思！

又一個問題來啦，現(xiàn)在我的數(shù)據(jù)復(fù)雜起來了，在低維中很難進(jìn)行區(qū)分，這該怎么辦呢？一個最簡單的想法就是把數(shù)據(jù)映射到高維空間，這樣特征信息就更多了，決策邊界就更容易建立出來了吧！

這里我們要做的就是找到一種變換的方法，將數(shù)據(jù)的特征進(jìn)行高維的映射，但是問題也來了，這樣的計算復(fù)雜度是不是也上來了呀！其實是這個樣子的SVM在數(shù)學(xué)上有這樣一個巧合，我們可以把高維特征的內(nèi)積在低維當(dāng)中直接計算好然后做映射也是一樣，恰好解決計算的問題！

這個就是線性的和經(jīng)過核函數(shù)特征變換后的結(jié)果，怎么樣，SVM確實蠻厲害的吧！這些就是咱們支持向量機(jī)的推導(dǎo)啦，感謝各位觀眾老爺們的收看！