
機(jī)器學(xué)習(xí)故事匯-搞定支持向量機(jī)(SVM)
一聽到支持向量機(jī)這個(gè)名字,給大家的感覺應(yīng)該是這個(gè)樣子滴,感覺好像很高端一個(gè)事情,但是又不知道它到底在什么。咱們今天的目標(biāo)就是用最通俗的語言搞定它!
首先我們來看一下咱們的支持向量機(jī)是要打算干一個(gè)什么大事情!其實(shí)我第一次聽到這個(gè)名字的時(shí)候最想搞清楚的就是它為啥起了個(gè)這么個(gè)怪名字(看完你就懂啦)!對(duì)于一個(gè)分類任務(wù)而言,最主要的目標(biāo)就是能分得開,但是對(duì)于上圖當(dāng)中的兩類數(shù)據(jù)點(diǎn)來說,我可以找到三條線把它們都完全分得開,其實(shí)可以找到無數(shù)條的!那么問題也隨之而來了,到底選誰呀?第二點(diǎn),如果數(shù)據(jù)本身就很復(fù)雜,我們的這個(gè)線性分類還夠用嗎?第三點(diǎn),這么強(qiáng)大的一個(gè)算法,它的計(jì)算復(fù)雜度咋樣呀?這些就是我們現(xiàn)在面臨的問題,準(zhǔn)備逐一攻克吧!
這里放上兩張圖,看起來有啥區(qū)別呢?左邊的決策的區(qū)域感覺小一些,右邊的大一些!但是他們倆是不是都完成了一個(gè)任務(wù)呀,完全把數(shù)據(jù)點(diǎn)切分開了!這個(gè)事咱可以這么嘮,左右兩邊現(xiàn)在不是數(shù)據(jù)點(diǎn)了而是交戰(zhàn)雙方的雷區(qū),想想戰(zhàn)狼2最后是不是從兩個(gè)交戰(zhàn)區(qū)域沖出來了!
兩邊都是雷區(qū),我們現(xiàn)在要開辟出來一條隔離帶,既不能碰到任何一個(gè)雷,還得讓我們的大部分安全通過,那這條隔離帶你說左邊的好還是右邊的好呢?必然是右邊的吧,因?yàn)楦忠恍@樣我們的部分更安全,說白了我們要的決策邊界應(yīng)該泛化能力更強(qiáng)一些的!
既然說到雷了,最起碼的一個(gè)要求就是不能碰到它呀!那么我們來想,你要是碰到雷應(yīng)該先碰哪個(gè)呀?離你隔離帶最近的那個(gè)吧,那這里我們就得說說距離這個(gè)問題了,它決定了雷是你咱們隔離帶多遠(yuǎn)的!
假設(shè)我們的隔離帶就是這個(gè)平面,有一個(gè)雷X,那么現(xiàn)在咱們來算一下這個(gè)雷到我平面的距離有多遠(yuǎn)!直接算感覺好像有點(diǎn)難,咱們來轉(zhuǎn)換一下,這里假定平面上有兩個(gè)點(diǎn)X’和X”,如果我知道X到X’的距離,然后把這個(gè)距離投影到我的垂線方向,這樣不就間接的計(jì)算出雷X到平面的距離了嘛。平面的垂線方向又恰好是它的法向量,只需求出它的單位向量就可以啦!問題迎刃而解,這樣就有了一個(gè)雷到隔離帶的距離了!
接下來對(duì)我的數(shù)據(jù)集進(jìn)行如下定義,支持向量機(jī)是一個(gè)經(jīng)典的二分類問題,在這里我們認(rèn)為如果說一個(gè)點(diǎn)就是一個(gè)正例,那么對(duì)應(yīng)的標(biāo)簽值就是+1,如果一個(gè)點(diǎn)是負(fù)例,那么對(duì)應(yīng)的標(biāo)簽值就是-1。對(duì)應(yīng)于我的決策方程,就可以做這樣的定義啦,如果預(yù)測(cè)值Y(x)>0我就說它是一個(gè)正例,如果 Y(x)<0我就說它是一個(gè)負(fù)例。兩個(gè)式子看起來有點(diǎn)多,整合一下吧,既然>0的時(shí)候標(biāo)簽值為+1,<0的時(shí)候標(biāo)簽值為-1。那么它們的乘積就必然是恒大于0的啦!
下面咱們來看一下我們要優(yōu)化的目標(biāo)是啥呢?我現(xiàn)在是不是要找最好的一個(gè)隔離帶(也就是決策方程,說白了就是w和b)!這個(gè)隔離帶要能夠盡可能的安全,所以就要使得離它最近的那個(gè)雷(先會(huì)碰到最近的)越遠(yuǎn)越好呀!只要大家能理解這句話,支持向量機(jī)也就差不多有個(gè)意思了!在看點(diǎn)到?jīng)Q策邊界的距離,原始的式子中有個(gè)絕對(duì)值,現(xiàn)在我們展開是不是也可以呀,因?yàn)閥*y(x)恒正嘛!
來看我們要優(yōu)化的目標(biāo),這個(gè)一個(gè)求最小,完了又求最大,這個(gè)啥意思啊?想想咱們的隔離帶咋說的,是不是先求最近的雷,然后讓這個(gè)雷滾的越遠(yuǎn)越好呀!這就是我們最小和最大是啥意思!但是現(xiàn)在這個(gè)式子看起來有點(diǎn)復(fù)雜呀,能不能簡(jiǎn)化一下呀,直接我們認(rèn)為y(x)恒大于0,現(xiàn)在咱們把這個(gè)條件放的寬松一些,總可以通過放縮變換讓y(x)>=1嘛,這樣問題就簡(jiǎn)單了!既然要求y*y(x)的最小值,現(xiàn)在是不是最小值就是1呀,這樣這個(gè)式子不久能化簡(jiǎn)掉了嘛!
下面咱們來看,只剩下求解一個(gè)最大值啦!但是我們的常規(guī)套路是不是把一個(gè)最大值問題轉(zhuǎn)換成一個(gè)最小值問題呀,直接求它倒數(shù)的最小值不久完了嘛!那這個(gè)帶有約束條件的極值問題該怎么求呢?自然想到了一個(gè)神器:拉格朗日乘子法。這個(gè)概念如果沒接觸咱們就這么嘮,現(xiàn)在我的目標(biāo)是找到最合適的W和B但是這樣還帶約束的條件看起來比較難,所以我們想把這樣一個(gè)問題轉(zhuǎn)換成一個(gè)求解容易些的中間值問題,這個(gè)中間值能夠和W還有B扯上關(guān)系,這樣求出來了中間值就能找出來W和B了,差不多就是這個(gè)意思!
這個(gè)式子就是我們標(biāo)準(zhǔn)的拉格朗日乘子法嘛,感興趣可以翻翻咱們的高數(shù)書來回顧下,估計(jì)你們也不感興趣,那就認(rèn)為科學(xué)及推導(dǎo)出來的東西是對(duì)的就好啦!
這里我們利用了對(duì)偶條件,啥意思呢?看起來就是最大最小調(diào)換了一下,其實(shí)這是一個(gè)證明,可以參考下拉格朗日KKT條件,這個(gè)說起來就太惡心人了,感興趣看看KKT這三個(gè)科學(xué)家干了一件什么事吧!
接下來我就要先求解什么樣的w和b能夠使得當(dāng)前的L式子的值最小吧!這個(gè)我們自然想到了直接求偏導(dǎo)嘛!分別對(duì)w和b求偏導(dǎo),然后得到了上述式子。
將得到的解帶回到原式當(dāng)中,相當(dāng)于把w和b就約分掉了,那么我們現(xiàn)在要求解的就是什么樣的a值,能夠使得這個(gè)式子最大吧!
對(duì)要求的極大值式子同樣加上了相反數(shù)變換成了求極小值的問題,到這里已經(jīng)接近我們最終的答案啦!
來看一個(gè)小例子吧,這個(gè)只是舉例來說SVM怎么求解,真正的求解方式參考SMO算法吧!這里我們有三個(gè)數(shù)據(jù)點(diǎn),2個(gè)正例,1個(gè)負(fù)例,通過它們要得到最好的決策方程!在約束條件中,就要把之前所考慮的條件都帶上啦,拉格朗日乘子法也有自身的約束條件就是所有的a值必須都大于0.
對(duì)于這樣的式子,將我們的數(shù)據(jù)全部帶入就好了,注意一點(diǎn),這個(gè)x之間求的是內(nèi)積!
在求極值的過程中,我們直接對(duì)a1和a2求偏導(dǎo)得到了結(jié)果,但是發(fā)現(xiàn)結(jié)果卻不滿足我們的約束條件,這怎么辦呢?既然極值點(diǎn)不滿足,我們只能在邊界上來尋找了!
在邊界上我們求出來所有的a值,這樣是不是就完成啦求解的任務(wù)呀!因?yàn)槲覀冎繿和w之間的關(guān)系呀,再繼續(xù)求解就能夠算出來w和b啦,到此我們就求解出來了這個(gè)問題的解有了決策邊界!
回過頭來想一想,對(duì)于a值來說,是不是有些算出來是一個(gè)數(shù),有些算出來就是0呀,咱們的a2就是0呀,回到那3個(gè)點(diǎn)的圖中看一下,發(fā)現(xiàn)什么了?2號(hào)樣本點(diǎn)是不是非邊界上的點(diǎn)呀,那咱們來想它的a值等于0,那么最終的w在計(jì)算的時(shí)候是不是就跟它無關(guān)了呀,那么在這里我們得出了一個(gè)非常重要的結(jié)論,支持向量機(jī)是由邊界上的點(diǎn)所支撐起來的(因?yàn)檫吔缟系狞c(diǎn)的a值不為0,非邊界上的點(diǎn)的a值為0呀),那么我們就把邊界上的點(diǎn)叫做支持向量!現(xiàn)在知道支持向量機(jī)這個(gè)奇怪的名字咋來的了吧!
這里做了這樣一個(gè)實(shí)驗(yàn),保證邊界上的點(diǎn)不變,然后在數(shù)據(jù)集中增加數(shù)據(jù),發(fā)現(xiàn)了一個(gè)事,決策邊界沒有發(fā)生變化!左邊是60個(gè)數(shù)據(jù)的右邊是120個(gè)的,只要支持向量沒變,邊界就不會(huì)變,這就是支持向量機(jī),因?yàn)樵偌拥狞c(diǎn)a值都為0呀!
新問題又來啦!在這里我們發(fā)現(xiàn)了一個(gè)事,在構(gòu)建決策邊界的過程中,如果某一個(gè)點(diǎn)比較特(離群點(diǎn)),我們的邊界會(huì)為了滿足它而把隔離帶做的很小,這該咋辦呀?讓我們的決策邊界要求放低一些吧!
由于之前的要求太嚴(yán)格了,在這里我們指定了一個(gè)新的東西叫做松弛因子,在目標(biāo)函數(shù)中把它考慮進(jìn)來了,啥意思呢?來看一下吧,引入了參數(shù)C相當(dāng)于松弛因子讓咱們決策邊界放松的大??!如果C很大,那我們還想讓目標(biāo)函數(shù)很小,是不是松弛因子就得很小了吧!如果C很小呢?那么松弛因子稍微大一些也沒關(guān)系吧!就是這個(gè)意思!
又一個(gè)問題來啦,現(xiàn)在我的數(shù)據(jù)復(fù)雜起來了,在低維中很難進(jìn)行區(qū)分,這該怎么辦呢?一個(gè)最簡(jiǎn)單的想法就是把數(shù)據(jù)映射到高維空間,這樣特征信息就更多了,決策邊界就更容易建立出來了吧!
這里我們要做的就是找到一種變換的方法,將數(shù)據(jù)的特征進(jìn)行高維的映射,但是問題也來了,這樣的計(jì)算復(fù)雜度是不是也上來了呀!其實(shí)是這個(gè)樣子的SVM在數(shù)學(xué)上有這樣一個(gè)巧合,我們可以把高維特征的內(nèi)積在低維當(dāng)中直接計(jì)算好然后做映射也是一樣,恰好解決計(jì)算的問題!
這個(gè)就是線性的和經(jīng)過核函數(shù)特征變換后的結(jié)果,怎么樣,SVM確實(shí)蠻厲害的吧!這些就是咱們支持向量機(jī)的推導(dǎo)啦,感謝各位觀眾老爺們的收看!
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03