99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁精彩閱讀機(jī)器學(xué)習(xí)故事匯-搞定支持向量機(jī)(SVM)
機(jī)器學(xué)習(xí)故事匯-搞定支持向量機(jī)(SVM)
2018-03-21
收藏

機(jī)器學(xué)習(xí)故事匯-搞定支持向量機(jī)SVM

一聽到支持向量機(jī)這個(gè)名字,給大家的感覺應(yīng)該是這個(gè)樣子滴,感覺好像很高端一個(gè)事情,但是又不知道它到底在什么。咱們今天的目標(biāo)就是用最通俗的語言搞定它!

首先我們來看一下咱們的支持向量機(jī)是要打算干一個(gè)什么大事情!其實(shí)我第一次聽到這個(gè)名字的時(shí)候最想搞清楚的就是它為啥起了個(gè)這么個(gè)怪名字(看完你就懂啦)!對(duì)于一個(gè)分類任務(wù)而言,最主要的目標(biāo)就是能分得開,但是對(duì)于上圖當(dāng)中的兩類數(shù)據(jù)點(diǎn)來說,我可以找到三條線把它們都完全分得開,其實(shí)可以找到無數(shù)條的!那么問題也隨之而來了,到底選誰呀?第二點(diǎn),如果數(shù)據(jù)本身就很復(fù)雜,我們的這個(gè)線性分類還夠用嗎?第三點(diǎn),這么強(qiáng)大的一個(gè)算法,它的計(jì)算復(fù)雜度咋樣呀?這些就是我們現(xiàn)在面臨的問題,準(zhǔn)備逐一攻克吧!

這里放上兩張圖,看起來有啥區(qū)別呢?左邊的決策的區(qū)域感覺小一些,右邊的大一些!但是他們倆是不是都完成了一個(gè)任務(wù)呀,完全把數(shù)據(jù)點(diǎn)切分開了!這個(gè)事咱可以這么嘮,左右兩邊現(xiàn)在不是數(shù)據(jù)點(diǎn)了而是交戰(zhàn)雙方的雷區(qū),想想戰(zhàn)狼2最后是不是從兩個(gè)交戰(zhàn)區(qū)域沖出來了!


兩邊都是雷區(qū),我們現(xiàn)在要開辟出來一條隔離帶,既不能碰到任何一個(gè)雷,還得讓我們的大部分安全通過,那這條隔離帶你說左邊的好還是右邊的好呢?必然是右邊的吧,因?yàn)楦忠恍@樣我們的部分更安全,說白了我們要的決策邊界應(yīng)該泛化能力更強(qiáng)一些的!

既然說到雷了,最起碼的一個(gè)要求就是不能碰到它呀!那么我們來想,你要是碰到雷應(yīng)該先碰哪個(gè)呀?離你隔離帶最近的那個(gè)吧,那這里我們就得說說距離這個(gè)問題了,它決定了雷是你咱們隔離帶多遠(yuǎn)的!

假設(shè)我們的隔離帶就是這個(gè)平面,有一個(gè)雷X,那么現(xiàn)在咱們來算一下這個(gè)雷到我平面的距離有多遠(yuǎn)!直接算感覺好像有點(diǎn)難,咱們來轉(zhuǎn)換一下,這里假定平面上有兩個(gè)點(diǎn)X’和X”,如果我知道X到X’的距離,然后把這個(gè)距離投影到我的垂線方向,這樣不就間接的計(jì)算出雷X到平面的距離了嘛。平面的垂線方向又恰好是它的法向量,只需求出它的單位向量就可以啦!問題迎刃而解,這樣就有了一個(gè)雷到隔離帶的距離了!

接下來對(duì)我的數(shù)據(jù)集進(jìn)行如下定義,支持向量機(jī)是一個(gè)經(jīng)典的二分類問題,在這里我們認(rèn)為如果說一個(gè)點(diǎn)就是一個(gè)正例,那么對(duì)應(yīng)的標(biāo)簽值就是+1,如果一個(gè)點(diǎn)是負(fù)例,那么對(duì)應(yīng)的標(biāo)簽值就是-1。對(duì)應(yīng)于我的決策方程,就可以做這樣的定義啦,如果預(yù)測(cè)值Y(x)>0我就說它是一個(gè)正例,如果 Y(x)<0我就說它是一個(gè)負(fù)例。兩個(gè)式子看起來有點(diǎn)多,整合一下吧,既然>0的時(shí)候標(biāo)簽值為+1,<0的時(shí)候標(biāo)簽值為-1。那么它們的乘積就必然是恒大于0的啦!

下面咱們來看一下我們要優(yōu)化的目標(biāo)是啥呢?我現(xiàn)在是不是要找最好的一個(gè)隔離帶(也就是決策方程,說白了就是w和b)!這個(gè)隔離帶要能夠盡可能的安全,所以就要使得離它最近的那個(gè)雷(先會(huì)碰到最近的)越遠(yuǎn)越好呀!只要大家能理解這句話,支持向量機(jī)也就差不多有個(gè)意思了!在看點(diǎn)到?jīng)Q策邊界的距離,原始的式子中有個(gè)絕對(duì)值,現(xiàn)在我們展開是不是也可以呀,因?yàn)閥*y(x)恒正嘛!

來看我們要優(yōu)化的目標(biāo),這個(gè)一個(gè)求最小,完了又求最大,這個(gè)啥意思啊?想想咱們的隔離帶咋說的,是不是先求最近的雷,然后讓這個(gè)雷滾的越遠(yuǎn)越好呀!這就是我們最小和最大是啥意思!但是現(xiàn)在這個(gè)式子看起來有點(diǎn)復(fù)雜呀,能不能簡(jiǎn)化一下呀,直接我們認(rèn)為y(x)恒大于0,現(xiàn)在咱們把這個(gè)條件放的寬松一些,總可以通過放縮變換讓y(x)>=1嘛,這樣問題就簡(jiǎn)單了!既然要求y*y(x)的最小值,現(xiàn)在是不是最小值就是1呀,這樣這個(gè)式子不久能化簡(jiǎn)掉了嘛!

下面咱們來看,只剩下求解一個(gè)最大值啦!但是我們的常規(guī)套路是不是把一個(gè)最大值問題轉(zhuǎn)換成一個(gè)最小值問題呀,直接求它倒數(shù)的最小值不久完了嘛!那這個(gè)帶有約束條件的極值問題該怎么求呢?自然想到了一個(gè)神器:拉格朗日乘子法。這個(gè)概念如果沒接觸咱們就這么嘮,現(xiàn)在我的目標(biāo)是找到最合適的W和B但是這樣還帶約束的條件看起來比較難,所以我們想把這樣一個(gè)問題轉(zhuǎn)換成一個(gè)求解容易些的中間值問題,這個(gè)中間值能夠和W還有B扯上關(guān)系,這樣求出來了中間值就能找出來W和B了,差不多就是這個(gè)意思!

這個(gè)式子就是我們標(biāo)準(zhǔn)的拉格朗日乘子法嘛,感興趣可以翻翻咱們的高數(shù)書來回顧下,估計(jì)你們也不感興趣,那就認(rèn)為科學(xué)及推導(dǎo)出來的東西是對(duì)的就好啦!

這里我們利用了對(duì)偶條件,啥意思呢?看起來就是最大最小調(diào)換了一下,其實(shí)這是一個(gè)證明,可以參考下拉格朗日KKT條件,這個(gè)說起來就太惡心人了,感興趣看看KKT這三個(gè)科學(xué)家干了一件什么事吧!
接下來我就要先求解什么樣的w和b能夠使得當(dāng)前的L式子的值最小吧!這個(gè)我們自然想到了直接求偏導(dǎo)嘛!分別對(duì)w和b求偏導(dǎo),然后得到了上述式子。

將得到的解帶回到原式當(dāng)中,相當(dāng)于把w和b就約分掉了,那么我們現(xiàn)在要求解的就是什么樣的a值,能夠使得這個(gè)式子最大吧!

對(duì)要求的極大值式子同樣加上了相反數(shù)變換成了求極小值的問題,到這里已經(jīng)接近我們最終的答案啦!

來看一個(gè)小例子吧,這個(gè)只是舉例來說SVM怎么求解,真正的求解方式參考SMO算法吧!這里我們有三個(gè)數(shù)據(jù)點(diǎn),2個(gè)正例,1個(gè)負(fù)例,通過它們要得到最好的決策方程!在約束條件中,就要把之前所考慮的條件都帶上啦,拉格朗日乘子法也有自身的約束條件就是所有的a值必須都大于0.

對(duì)于這樣的式子,將我們的數(shù)據(jù)全部帶入就好了,注意一點(diǎn),這個(gè)x之間求的是內(nèi)積!

在求極值的過程中,我們直接對(duì)a1和a2求偏導(dǎo)得到了結(jié)果,但是發(fā)現(xiàn)結(jié)果卻不滿足我們的約束條件,這怎么辦呢?既然極值點(diǎn)不滿足,我們只能在邊界上來尋找了!

在邊界上我們求出來所有的a值,這樣是不是就完成啦求解的任務(wù)呀!因?yàn)槲覀冎繿和w之間的關(guān)系呀,再繼續(xù)求解就能夠算出來w和b啦,到此我們就求解出來了這個(gè)問題的解有了決策邊界!

回過頭來想一想,對(duì)于a值來說,是不是有些算出來是一個(gè)數(shù),有些算出來就是0呀,咱們的a2就是0呀,回到那3個(gè)點(diǎn)的圖中看一下,發(fā)現(xiàn)什么了?2號(hào)樣本點(diǎn)是不是非邊界上的點(diǎn)呀,那咱們來想它的a值等于0,那么最終的w在計(jì)算的時(shí)候是不是就跟它無關(guān)了呀,那么在這里我們得出了一個(gè)非常重要的結(jié)論,支持向量機(jī)是由邊界上的點(diǎn)所支撐起來的(因?yàn)檫吔缟系狞c(diǎn)的a值不為0,非邊界上的點(diǎn)的a值為0呀),那么我們就把邊界上的點(diǎn)叫做支持向量!現(xiàn)在知道支持向量機(jī)這個(gè)奇怪的名字咋來的了吧!

這里做了這樣一個(gè)實(shí)驗(yàn),保證邊界上的點(diǎn)不變,然后在數(shù)據(jù)集中增加數(shù)據(jù),發(fā)現(xiàn)了一個(gè)事,決策邊界沒有發(fā)生變化!左邊是60個(gè)數(shù)據(jù)的右邊是120個(gè)的,只要支持向量沒變,邊界就不會(huì)變,這就是支持向量機(jī),因?yàn)樵偌拥狞c(diǎn)a值都為0呀!

新問題又來啦!在這里我們發(fā)現(xiàn)了一個(gè)事,在構(gòu)建決策邊界的過程中,如果某一個(gè)點(diǎn)比較特(離群點(diǎn)),我們的邊界會(huì)為了滿足它而把隔離帶做的很小,這該咋辦呀?讓我們的決策邊界要求放低一些吧!

由于之前的要求太嚴(yán)格了,在這里我們指定了一個(gè)新的東西叫做松弛因子,在目標(biāo)函數(shù)中把它考慮進(jìn)來了,啥意思呢?來看一下吧,引入了參數(shù)C相當(dāng)于松弛因子讓咱們決策邊界放松的大??!如果C很大,那我們還想讓目標(biāo)函數(shù)很小,是不是松弛因子就得很小了吧!如果C很小呢?那么松弛因子稍微大一些也沒關(guān)系吧!就是這個(gè)意思!

又一個(gè)問題來啦,現(xiàn)在我的數(shù)據(jù)復(fù)雜起來了,在低維中很難進(jìn)行區(qū)分,這該怎么辦呢?一個(gè)最簡(jiǎn)單的想法就是把數(shù)據(jù)映射到高維空間,這樣特征信息就更多了,決策邊界就更容易建立出來了吧!

這里我們要做的就是找到一種變換的方法,將數(shù)據(jù)的特征進(jìn)行高維的映射,但是問題也來了,這樣的計(jì)算復(fù)雜度是不是也上來了呀!其實(shí)是這個(gè)樣子的SVM在數(shù)學(xué)上有這樣一個(gè)巧合,我們可以把高維特征的內(nèi)積在低維當(dāng)中直接計(jì)算好然后做映射也是一樣,恰好解決計(jì)算的問題!


這個(gè)就是線性的和經(jīng)過核函數(shù)特征變換后的結(jié)果,怎么樣,SVM確實(shí)蠻厲害的吧!這些就是咱們支持向量機(jī)的推導(dǎo)啦,感謝各位觀眾老爺們的收看!

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼,搜微信號(hào):CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }