
一聽到支持向量機這個名字,給大家的感覺應該是這個樣子滴,感覺好像很高端一個事情,但是又不知道它到底在什么。咱們今天的目標就是用最通俗的語言搞定它!
首先我們來看一下咱們的支持向量機是要打算干一個什么大事情!其實我第一次聽到這個名字的時候最想搞清楚的就是它為啥起了個這么個怪名字(看完你就懂啦)!對于一個分類任務而言,最主要的目標就是能分得開,但是對于上圖當中的兩類數(shù)據(jù)點來說,我可以找到三條線把它們都完全分得開,其實可以找到無數(shù)條的!那么問題也隨之而來了,到底選誰呀?第二點,如果數(shù)據(jù)本身就很復雜,我們的這個線性分類還夠用嗎?第三點,這么強大的一個算法,它的計算復雜度咋樣呀?這些就是我們現(xiàn)在面臨的問題,準備逐一攻克吧!
這里放上兩張圖,看起來有啥區(qū)別呢?左邊的決策的區(qū)域感覺小一些,右邊的大一些!但是他們倆是不是都完成了一個任務呀,完全把數(shù)據(jù)點切分開了!這個事咱可以這么嘮,左右兩邊現(xiàn)在不是數(shù)據(jù)點了而是交戰(zhàn)雙方的雷區(qū),想想戰(zhàn)狼2最后是不是從兩個交戰(zhàn)區(qū)域沖出來了!
兩邊都是雷區(qū),我們現(xiàn)在要開辟出來一條隔離帶,既不能碰到任何一個雷,還得讓我們的大部分安全通過,那這條隔離帶你說左邊的好還是右邊的好呢?必然是右邊的吧,因為更胖一些,這樣我們的部分更安全,說白了我們要的決策邊界應該泛化能力更強一些的!
既然說到雷了,最起碼的一個要求就是不能碰到它呀!那么我們來想,你要是碰到雷應該先碰哪個呀?離你隔離帶最近的那個吧,那這里我們就得說說距離這個問題了,它決定了雷是你咱們隔離帶多遠的!
假設我們的隔離帶就是這個平面,有一個雷X,那么現(xiàn)在咱們來算一下這個雷到我平面的距離有多遠!直接算感覺好像有點難,咱們來轉(zhuǎn)換一下,這里假定平面上有兩個點X’和X”,如果我知道X到X’的距離,然后把這個距離投影到我的垂線方向,這樣不就間接的計算出雷X到平面的距離了嘛。平面的垂線方向又恰好是它的法向量,只需求出它的單位向量就可以啦!問題迎刃而解,這樣就有了一個雷到隔離帶的距離了!
接下來對我的數(shù)據(jù)集進行如下定義,支持向量機是一個經(jīng)典的二分類問題,在這里我們認為如果說一個點就是一個正例,那么對應的標簽值就是+1,如果一個點是負例,那么對應的標簽值就是-1。對應于我的決策方程,就可以做這樣的定義啦,如果預測值Y(x)>0我就說它是一個正例,如果 Y(x)<0我就說它是一個負例。兩個式子看起來有點多,整合一下吧,既然>0的時候標簽值為+1,<0的時候標簽值為-1。那么它們的乘積就必然是恒大于0的啦!
下面咱們來看一下我們要優(yōu)化的目標是啥呢?我現(xiàn)在是不是要找最好的一個隔離帶(也就是決策方程,說白了就是w和b)!這個隔離帶要能夠盡可能的安全,所以就要使得離它最近的那個雷(先會碰到最近的)越遠越好呀!只要大家能理解這句話,支持向量機也就差不多有個意思了!在看點到?jīng)Q策邊界的距離,原始的式子中有個絕對值,現(xiàn)在我們展開是不是也可以呀,因為y*y(x)恒正嘛!
來看我們要優(yōu)化的目標,這個一個求最小,完了又求最大,這個啥意思???想想咱們的隔離帶咋說的,是不是先求最近的雷,然后讓這個雷滾的越遠越好呀!這就是我們最小和最大是啥意思!但是現(xiàn)在這個式子看起來有點復雜呀,能不能簡化一下呀,直接我們認為y(x)恒大于0,現(xiàn)在咱們把這個條件放的寬松一些,總可以通過放縮變換讓y(x)>=1嘛,這樣問題就簡單了!既然要求y*y(x)的最小值,現(xiàn)在是不是最小值就是1呀,這樣這個式子不久能化簡掉了嘛!
下面咱們來看,只剩下求解一個最大值啦!但是我們的常規(guī)套路是不是把一個最大值問題轉(zhuǎn)換成一個最小值問題呀,直接求它倒數(shù)的最小值不久完了嘛!那這個帶有約束條件的極值問題該怎么求呢?自然想到了一個神器:拉格朗日乘子法。這個概念如果沒接觸咱們就這么嘮,現(xiàn)在我的目標是找到最合適的W和B但是這樣還帶約束的條件看起來比較難,所以我們想把這樣一個問題轉(zhuǎn)換成一個求解容易些的中間值問題,這個中間值能夠和W還有B扯上關系,這樣求出來了中間值就能找出來W和B了,差不多就是這個意思!
這個式子就是我們標準的拉格朗日乘子法嘛,感興趣可以翻翻咱們的高數(shù)書來回顧下,估計你們也不感興趣,那就認為科學及推導出來的東西是對的就好啦!
這里我們利用了對偶條件,啥意思呢?看起來就是最大最小調(diào)換了一下,其實這是一個證明,可以參考下拉格朗日KKT條件,這個說起來就太惡心人了,感興趣看看KKT這三個科學家干了一件什么事吧!
接下來我就要先求解什么樣的w和b能夠使得當前的L式子的值最小吧!這個我們自然想到了直接求偏導嘛!分別對w和b求偏導,然后得到了上述式子。
將得到的解帶回到原式當中,相當于把w和b就約分掉了,那么我們現(xiàn)在要求解的就是什么樣的a值,能夠使得這個式子最大吧!
對要求的極大值式子同樣加上了相反數(shù)變換成了求極小值的問題,到這里已經(jīng)接近我們最終的答案啦!
來看一個小例子吧,這個只是舉例來說SVM怎么求解,真正的求解方式參考SMO算法吧!這里我們有三個數(shù)據(jù)點,2個正例,1個負例,通過它們要得到最好的決策方程!在約束條件中,就要把之前所考慮的條件都帶上啦,拉格朗日乘子法也有自身的約束條件就是所有的a值必須都大于0.
對于這樣的式子,將我們的數(shù)據(jù)全部帶入就好了,注意一點,這個x之間求的是內(nèi)積!
在求極值的過程中,我們直接對a1和a2求偏導得到了結(jié)果,但是發(fā)現(xiàn)結(jié)果卻不滿足我們的約束條件,這怎么辦呢?既然極值點不滿足,我們只能在邊界上來尋找了!
在邊界上我們求出來所有的a值,這樣是不是就完成啦求解的任務呀!因為我們知道a和w之間的關系呀,再繼續(xù)求解就能夠算出來w和b啦,到此我們就求解出來了這個問題的解有了決策邊界!
回過頭來想一想,對于a值來說,是不是有些算出來是一個數(shù),有些算出來就是0呀,咱們的a2就是0呀,回到那3個點的圖中看一下,發(fā)現(xiàn)什么了?2號樣本點是不是非邊界上的點呀,那咱們來想它的a值等于0,那么最終的w在計算的時候是不是就跟它無關了呀,那么在這里我們得出了一個非常重要的結(jié)論,支持向量機是由邊界上的點所支撐起來的(因為邊界上的點的a值不為0,非邊界上的點的a值為0呀),那么我們就把邊界上的點叫做支持向量!現(xiàn)在知道支持向量機這個奇怪的名字咋來的了吧!
這里做了這樣一個實驗,保證邊界上的點不變,然后在數(shù)據(jù)集中增加數(shù)據(jù),發(fā)現(xiàn)了一個事,決策邊界沒有發(fā)生變化!左邊是60個數(shù)據(jù)的右邊是120個的,只要支持向量沒變,邊界就不會變,這就是支持向量機,因為再加的點a值都為0呀!
新問題又來啦!在這里我們發(fā)現(xiàn)了一個事,在構(gòu)建決策邊界的過程中,如果某一個點比較特(離群點),我們的邊界會為了滿足它而把隔離帶做的很小,這該咋辦呀?讓我們的決策邊界要求放低一些吧!
由于之前的要求太嚴格了,在這里我們指定了一個新的東西叫做松弛因子,在目標函數(shù)中把它考慮進來了,啥意思呢?來看一下吧,引入了參數(shù)C相當于松弛因子讓咱們決策邊界放松的大?。∪绻鸆很大,那我們還想讓目標函數(shù)很小,是不是松弛因子就得很小了吧!如果C很小呢?那么松弛因子稍微大一些也沒關系吧!就是這個意思!
又一個問題來啦,現(xiàn)在我的數(shù)據(jù)復雜起來了,在低維中很難進行區(qū)分,這該怎么辦呢?一個最簡單的想法就是把數(shù)據(jù)映射到高維空間,這樣特征信息就更多了,決策邊界就更容易建立出來了吧!
這里我們要做的就是找到一種變換的方法,將數(shù)據(jù)的特征進行高維的映射,但是問題也來了,這樣的計算復雜度是不是也上來了呀!其實是這個樣子的SVM在數(shù)學上有這樣一個巧合,我們可以把高維特征的內(nèi)積在低維當中直接計算好然后做映射也是一樣,恰好解決計算的問題!
這個就是線性的和經(jīng)過核函數(shù)特征變換后的結(jié)果,怎么樣,SVM確實蠻厲害的吧!這些就是咱們支持向量機的推導啦,感謝各位觀眾老爺們的收看!
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03