機(jī)器學(xué)習(xí)故事匯-搞定支持向量機(jī)（SVM）

一聽到支持向量機(jī)這個(gè)名字，給大家的感覺應(yīng)該是這個(gè)樣子滴，感覺好像很高端一個(gè)事情，但是又不知道它到底在什么。咱們今天的目標(biāo)就是用最通俗的語言搞定它！

首先我們來看一下咱們的支持向量機(jī)是要打算干一個(gè)什么大事情！其實(shí)我第一次聽到這個(gè)名字的時(shí)候最想搞清楚的就是它為啥起了個(gè)這么個(gè)怪名字（看完你就懂啦）！對(duì)于一個(gè)分類任務(wù)而言，最主要的目標(biāo)就是能分得開，但是對(duì)于上圖當(dāng)中的兩類數(shù)據(jù)點(diǎn)來說，我可以找到三條線把它們都完全分得開，其實(shí)可以找到無數(shù)條的！那么問題也隨之而來了，到底選誰呀？第二點(diǎn)，如果數(shù)據(jù)本身就很復(fù)雜，我們的這個(gè)線性分類還夠用嗎？第三點(diǎn)，這么強(qiáng)大的一個(gè)算法，它的計(jì)算復(fù)雜度咋樣呀？這些就是我們現(xiàn)在面臨的問題，準(zhǔn)備逐一攻克吧！

這里放上兩張圖，看起來有啥區(qū)別呢？左邊的決策的區(qū)域感覺小一些，右邊的大一些！但是他們倆是不是都完成了一個(gè)任務(wù)呀，完全把數(shù)據(jù)點(diǎn)切分開了！這個(gè)事咱可以這么嘮，左右兩邊現(xiàn)在不是數(shù)據(jù)點(diǎn)了而是交戰(zhàn)雙方的雷區(qū)，想想戰(zhàn)狼2最后是不是從兩個(gè)交戰(zhàn)區(qū)域沖出來了！

兩邊都是雷區(qū)，我們現(xiàn)在要開辟出來一條隔離帶，既不能碰到任何一個(gè)雷，還得讓我們的大部分安全通過，那這條隔離帶你說左邊的好還是右邊的好呢？必然是右邊的吧，因?yàn)楦忠恍@樣我們的部分更安全，說白了我們要的決策邊界應(yīng)該泛化能力更強(qiáng)一些的！

既然說到雷了，最起碼的一個(gè)要求就是不能碰到它呀！那么我們來想，你要是碰到雷應(yīng)該先碰哪個(gè)呀？離你隔離帶最近的那個(gè)吧，那這里我們就得說說距離這個(gè)問題了，它決定了雷是你咱們隔離帶多遠(yuǎn)的！

假設(shè)我們的隔離帶就是這個(gè)平面，有一個(gè)雷X，那么現(xiàn)在咱們來算一下這個(gè)雷到我平面的距離有多遠(yuǎn)！直接算感覺好像有點(diǎn)難，咱們來轉(zhuǎn)換一下，這里假定平面上有兩個(gè)點(diǎn)X’和X”,如果我知道X到X’的距離，然后把這個(gè)距離投影到我的垂線方向，這樣不就間接的計(jì)算出雷X到平面的距離了嘛。平面的垂線方向又恰好是它的法向量，只需求出它的單位向量就可以啦！問題迎刃而解，這樣就有了一個(gè)雷到隔離帶的距離了！

接下來對(duì)我的數(shù)據(jù)集進(jìn)行如下定義，支持向量機(jī)是一個(gè)經(jīng)典的二分類問題，在這里我們認(rèn)為如果說一個(gè)點(diǎn)就是一個(gè)正例，那么對(duì)應(yīng)的標(biāo)簽值就是+1，如果一個(gè)點(diǎn)是負(fù)例，那么對(duì)應(yīng)的標(biāo)簽值就是-1。對(duì)應(yīng)于我的決策方程，就可以做這樣的定義啦，如果預(yù)測(cè)值Y(x)>0我就說它是一個(gè)正例，如果 Y(x)<0我就說它是一個(gè)負(fù)例。兩個(gè)式子看起來有點(diǎn)多，整合一下吧，既然>0的時(shí)候標(biāo)簽值為+1,<0的時(shí)候標(biāo)簽值為-1。那么它們的乘積就必然是恒大于0的啦！

下面咱們來看一下我們要優(yōu)化的目標(biāo)是啥呢？我現(xiàn)在是不是要找最好的一個(gè)隔離帶（也就是決策方程，說白了就是w和b）！這個(gè)隔離帶要能夠盡可能的安全，所以就要使得離它最近的那個(gè)雷（先會(huì)碰到最近的）越遠(yuǎn)越好呀！只要大家能理解這句話，支持向量機(jī)也就差不多有個(gè)意思了！在看點(diǎn)到?jīng)Q策邊界的距離，原始的式子中有個(gè)絕對(duì)值，現(xiàn)在我們展開是不是也可以呀，因?yàn)閥*y(x)恒正嘛！

來看我們要優(yōu)化的目標(biāo)，這個(gè)一個(gè)求最小，完了又求最大，這個(gè)啥意思啊？想想咱們的隔離帶咋說的，是不是先求最近的雷，然后讓這個(gè)雷滾的越遠(yuǎn)越好呀！這就是我們最小和最大是啥意思！但是現(xiàn)在這個(gè)式子看起來有點(diǎn)復(fù)雜呀，能不能簡(jiǎn)化一下呀，直接我們認(rèn)為y(x)恒大于0，現(xiàn)在咱們把這個(gè)條件放的寬松一些，總可以通過放縮變換讓y(x)>=1嘛，這樣問題就簡(jiǎn)單了！既然要求y*y（x）的最小值，現(xiàn)在是不是最小值就是1呀，這樣這個(gè)式子不久能化簡(jiǎn)掉了嘛！

下面咱們來看，只剩下求解一個(gè)最大值啦！但是我們的常規(guī)套路是不是把一個(gè)最大值問題轉(zhuǎn)換成一個(gè)最小值問題呀，直接求它倒數(shù)的最小值不久完了嘛！那這個(gè)帶有約束條件的極值問題該怎么求呢？自然想到了一個(gè)神器：拉格朗日乘子法。這個(gè)概念如果沒接觸咱們就這么嘮，現(xiàn)在我的目標(biāo)是找到最合適的W和B但是這樣還帶約束的條件看起來比較難，所以我們想把這樣一個(gè)問題轉(zhuǎn)換成一個(gè)求解容易些的中間值問題，這個(gè)中間值能夠和W還有B扯上關(guān)系，這樣求出來了中間值就能找出來W和B了，差不多就是這個(gè)意思！

這個(gè)式子就是我們標(biāo)準(zhǔn)的拉格朗日乘子法嘛，感興趣可以翻翻咱們的高數(shù)書來回顧下，估計(jì)你們也不感興趣，那就認(rèn)為科學(xué)及推導(dǎo)出來的東西是對(duì)的就好啦！

這里我們利用了對(duì)偶條件，啥意思呢？看起來就是最大最小調(diào)換了一下，其實(shí)這是一個(gè)證明，可以參考下拉格朗日KKT條件，這個(gè)說起來就太惡心人了，感興趣看看KKT這三個(gè)科學(xué)家干了一件什么事吧！
接下來我就要先求解什么樣的w和b能夠使得當(dāng)前的L式子的值最小吧！這個(gè)我們自然想到了直接求偏導(dǎo)嘛！分別對(duì)w和b求偏導(dǎo)，然后得到了上述式子。

將得到的解帶回到原式當(dāng)中，相當(dāng)于把w和b就約分掉了，那么我們現(xiàn)在要求解的就是什么樣的a值，能夠使得這個(gè)式子最大吧！

對(duì)要求的極大值式子同樣加上了相反數(shù)變換成了求極小值的問題，到這里已經(jīng)接近我們最終的答案啦！

來看一個(gè)小例子吧，這個(gè)只是舉例來說SVM怎么求解，真正的求解方式參考SMO算法吧！這里我們有三個(gè)數(shù)據(jù)點(diǎn)，2個(gè)正例，1個(gè)負(fù)例，通過它們要得到最好的決策方程！在約束條件中，就要把之前所考慮的條件都帶上啦，拉格朗日乘子法也有自身的約束條件就是所有的a值必須都大于0.

對(duì)于這樣的式子，將我們的數(shù)據(jù)全部帶入就好了，注意一點(diǎn)，這個(gè)x之間求的是內(nèi)積！

在求極值的過程中，我們直接對(duì)a1和a2求偏導(dǎo)得到了結(jié)果，但是發(fā)現(xiàn)結(jié)果卻不滿足我們的約束條件，這怎么辦呢？既然極值點(diǎn)不滿足，我們只能在邊界上來尋找了！

在邊界上我們求出來所有的a值，這樣是不是就完成啦求解的任務(wù)呀！因?yàn)槲覀冎繿和w之間的關(guān)系呀，再繼續(xù)求解就能夠算出來w和b啦，到此我們就求解出來了這個(gè)問題的解有了決策邊界！

回過頭來想一想，對(duì)于a值來說，是不是有些算出來是一個(gè)數(shù)，有些算出來就是0呀，咱們的a2就是0呀，回到那3個(gè)點(diǎn)的圖中看一下，發(fā)現(xiàn)什么了？2號(hào)樣本點(diǎn)是不是非邊界上的點(diǎn)呀，那咱們來想它的a值等于0，那么最終的w在計(jì)算的時(shí)候是不是就跟它無關(guān)了呀，那么在這里我們得出了一個(gè)非常重要的結(jié)論，支持向量機(jī)是由邊界上的點(diǎn)所支撐起來的（因?yàn)檫吔缟系狞c(diǎn)的a值不為0，非邊界上的點(diǎn)的a值為0呀），那么我們就把邊界上的點(diǎn)叫做支持向量！現(xiàn)在知道支持向量機(jī)這個(gè)奇怪的名字咋來的了吧！

這里做了這樣一個(gè)實(shí)驗(yàn)，保證邊界上的點(diǎn)不變，然后在數(shù)據(jù)集中增加數(shù)據(jù)，發(fā)現(xiàn)了一個(gè)事，決策邊界沒有發(fā)生變化！左邊是60個(gè)數(shù)據(jù)的右邊是120個(gè)的，只要支持向量沒變，邊界就不會(huì)變，這就是支持向量機(jī)，因?yàn)樵偌拥狞c(diǎn)a值都為0呀！

新問題又來啦！在這里我們發(fā)現(xiàn)了一個(gè)事，在構(gòu)建決策邊界的過程中，如果某一個(gè)點(diǎn)比較特(離群點(diǎn))，我們的邊界會(huì)為了滿足它而把隔離帶做的很小，這該咋辦呀？讓我們的決策邊界要求放低一些吧！

由于之前的要求太嚴(yán)格了，在這里我們指定了一個(gè)新的東西叫做松弛因子，在目標(biāo)函數(shù)中把它考慮進(jìn)來了，啥意思呢？來看一下吧，引入了參數(shù)C相當(dāng)于松弛因子讓咱們決策邊界放松的大??！如果C很大，那我們還想讓目標(biāo)函數(shù)很小，是不是松弛因子就得很小了吧！如果C很小呢？那么松弛因子稍微大一些也沒關(guān)系吧！就是這個(gè)意思！

又一個(gè)問題來啦，現(xiàn)在我的數(shù)據(jù)復(fù)雜起來了，在低維中很難進(jìn)行區(qū)分，這該怎么辦呢？一個(gè)最簡(jiǎn)單的想法就是把數(shù)據(jù)映射到高維空間，這樣特征信息就更多了，決策邊界就更容易建立出來了吧！

這里我們要做的就是找到一種變換的方法，將數(shù)據(jù)的特征進(jìn)行高維的映射，但是問題也來了，這樣的計(jì)算復(fù)雜度是不是也上來了呀！其實(shí)是這個(gè)樣子的SVM在數(shù)學(xué)上有這樣一個(gè)巧合，我們可以把高維特征的內(nèi)積在低維當(dāng)中直接計(jì)算好然后做映射也是一樣，恰好解決計(jì)算的問題！

這個(gè)就是線性的和經(jīng)過核函數(shù)特征變換后的結(jié)果，怎么樣，SVM確實(shí)蠻厲害的吧！這些就是咱們支持向量機(jī)的推導(dǎo)啦，感謝各位觀眾老爺們的收看！