99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁精彩閱讀支持向量機實例講解
支持向量機實例講解
2016-04-20
收藏

支持向量機實例講解

簡介

掌握機器學(xué)習(xí)算法不再是天方夜譚的事情。大多數(shù)初學(xué)者都是從回歸模型學(xué)起。雖然回歸模型簡單易學(xué)易上手,但是它能解決我們的需求嗎?當(dāng)然不行!因為除了回歸模型外我們還可以構(gòu)建許多模型。

我們可以把機器學(xué)習(xí)算法看成包含劍、鋒刃、弓箭和匕首等武器的兵器庫。你擁有各式各樣的工具,但是你應(yīng)該在恰當(dāng)?shù)臅r間點使用它們。比如,我們可以把回歸模型看做“劍”,它可以非常高效地處理切片數(shù)據(jù),但是它卻無法應(yīng)對高度復(fù)雜的數(shù)據(jù)。相反的是,“支持向量機模型”就像一把尖刀,它可以更好地對小數(shù)據(jù)集進行建模分析。

到目前為止,我希望你已經(jīng)掌握了隨機森林、樸素貝葉斯算法和集成建模方法。不然的話,我建議你應(yīng)該花一些時間來學(xué)習(xí)這些方法。本文中,我將會介紹另外一個重要的機器學(xué)習(xí)算法——支持向量機模型。


目錄

  1. 什么是支持向量機模型?
  2. 支持向量機模型運行原理
  3. 如何利用 Python 實現(xiàn) SVM?
  4. 如何調(diào)整 SVM 的參數(shù)?
  5. SVM 的優(yōu)缺點


什么是支持向量機模型?

支持向量機SVM)是一種有監(jiān)督學(xué)習(xí)的算法,它可以用來處理分類和回歸的問題。然而,實際應(yīng)用中,SVM 主要用來處理分類問題。在這個算法中,首先我們將所有點畫在一個 n 維空間中(其中 n 代表特征個數(shù))。然后我們通過尋找較好區(qū)分兩類樣本的超平面來對數(shù)據(jù)進行分類處理(如下圖所示)。

bY7DjSjk

支持向量是觀測值的坐標(biāo),支持向量機是隔離兩個類別的最佳邊界(超平面)。

你可以在這里看到關(guān)于支持向量的定義和一些實例。


支持向量機的運行原理

首先,我們已經(jīng)熟悉了如何利用超平面來區(qū)分兩個類別的數(shù)據(jù)。如今急需解決的問題是:“如何找出最佳的超平面?”不要擔(dān)心,它沒有你所想的那么困難!

讓我們來看幾個例子:

場景一:首先,我們有三個超平面(A、B 和 C)?,F(xiàn)在我們需要的是找出區(qū)分星星和圓圈的最佳超平面。

VWO1arDE

你需要記住一個識別最佳超平面的經(jīng)驗法則:“選擇能更好區(qū)分兩個類別的超平面。”在這個例子中,超平面“B”是最佳分割平面。

場景二:首先我們有三個超平面(A、B 和 C),它們都很好地區(qū)分兩個類別的數(shù)據(jù)。那么我們要如何選出最佳的超平面呢?

VTcEb1Xi

在這里,我們可以通過最大化超平面和其最近的各個類別中數(shù)據(jù)點的距離來尋找最佳超平面。這個距離我們稱之為邊際距離。

VATnpb4D

從上圖中你可以看到超平面 C 的邊際距離最大。因此,我們稱 C 為最佳超平面。選擇具有最大邊際距離的超平面的做法是穩(wěn)健的。如果我們選擇其他超平面,將存在較高的錯分率。

場景三:利用之前章節(jié)提到的規(guī)則來識別最佳超平面

rwX3n31I

或許你們會選擇具有較大邊際距離的超平面 B。但是你們錯了,SVM 選擇超平面時更看重分類的準(zhǔn)確度。在上圖中,超平面 B 存在一個錯分點而超平面 A 的分類則全部正確。因此,最佳超平面是 A。

場景四:由于存在異常值,我們無法通過一條直線將這兩類數(shù)據(jù)完全區(qū)分開來。

qwzYY6gw

正如我之前提到的,另一端的星星可以被視為異常值。SVM 可以忽略異常值并尋找具有最大邊際距離的超平面。因此,我們可以說 SVM 模型在處理異常值時具有魯棒性。

場景五:在這個場景中,我們無法通過線性超平面區(qū)分這兩類數(shù)據(jù),那么 SVM 是如何對這種數(shù)據(jù)進行分類的呢?

q9DvvAD9

SVM 模型可以非常容易地解決這個問題。通過引入新的變量信息,我們可以很容易地搞定這個問題。比如我們引入新的變量x7bTyduQ然后我們對 x 和 z 構(gòu)建散點圖

Ca1ja4xy

從上圖中我們可以看出:

由于x7bTyduQ1所以變量 z 恒大于零。

原始圖中,紅圈數(shù)據(jù)分布在原點附近,它們的 z 值比較??;而星星數(shù)據(jù)則遠(yuǎn)離原點區(qū)域,它們具有較大的 z 值。

SVM 模型中,我們可以很容易地找到分割兩類數(shù)據(jù)的線性超平面。但是另外一個急需解決的問題是:我們應(yīng)該手動增加變量信息從而獲得該線性超平面分割嗎?答案是否定的!SVM 模型有一個工具叫做 kernel trick。該函數(shù)可以將輸入的低維空間信息轉(zhuǎn)化為高維空間信息。在解決非線性分割問題時,我們經(jīng)常用到這個函數(shù)。簡單地說,該函數(shù)可以轉(zhuǎn)換一些極其復(fù)雜的數(shù)據(jù),然后根據(jù)自己所定義的標(biāo)簽或輸出結(jié)果尋找區(qū)分數(shù)據(jù)的超平面。

我們可以在原始圖中畫出最佳超平面:

OhkGmYeA

接下來,我們將學(xué)習(xí)如何將 SVM 模型應(yīng)用到實際的數(shù)據(jù)科學(xué)案例中。


如何利用 Python 實現(xiàn) SVM 模型?

在 Python 中,scikit-learn 是一個被廣泛使用的機器學(xué)習(xí)算法庫。我們可以通過 scikit-learn 庫來構(gòu)建 SVM 模型。

e2Km8pMV


如何調(diào)整 SVM 模型的參數(shù)?

有效地調(diào)節(jié)機器學(xué)習(xí)算法的參數(shù)可以提高模型的表現(xiàn)力。讓我們來看看 SVM 模型的可用參數(shù)列表:

ELaPAMuZ

接下來我將要討論 SVM 模型中一些比較重要的參數(shù):“kernel”,“gamma”和“C”。

kernel:我們之前已經(jīng)討論過這個問題。Kernel參數(shù)中具有多個可選項:“l(fā)inear”,“rbf”和“poly”等(默認(rèn)值是“rbf”)。其中 “rbf”和“poly”通常用于擬合非線性超平面。下面是一個例子:我們利用線性核估計-對鳶尾花數(shù)據(jù)進行分類。

例子:線性核估計

TDPWjJwmk6TvPTHD

例子:rbf 核估計

我們可以通過下面的代碼調(diào)用 rbf 核估計,并觀察其擬合結(jié)果。

JJw90sPV

當(dāng)變量個數(shù)比較大時(大于1000),我建議你最好使用線性核估計,因為在高維空間中數(shù)據(jù)大多是線性可分的。當(dāng)然你也可以利用 rbf 核估計,不過你必須使用交叉驗證調(diào)整參數(shù)從而避免過度擬合。


“gamma”:“rbf”,“poly”和“sigmoid”的核估計系數(shù)。gamma的取值越大,越容易出現(xiàn)過度擬合的問題。

例子:比較不同gamma取值下模型的擬合結(jié)果

0Mw2nlZN

C:誤差項的懲罰參數(shù)。我們可以通過調(diào)節(jié)該參數(shù)達(dá)到平衡分割邊界的平滑程度和分類準(zhǔn)確率的目的。

aGvsZtIk

我們應(yīng)該經(jīng)常關(guān)注交叉驗證結(jié)果從而有效地利用這些參數(shù)的組合避免過度擬合情況的問題。


SVM 模型的優(yōu)缺點

優(yōu)點:

  1. 它的分類效果非常好。
  2. 它可以有效地處理高維空間數(shù)據(jù)。
  3. 它可以有效地處理變量個數(shù)大于樣本個數(shù)的數(shù)據(jù)。
  4. 它只利用一部分子集來訓(xùn)練模型,所以 SVM 模型不需要太大的內(nèi)存。

  5. 缺點:
  1. 它無法很好地處理大規(guī)模數(shù)據(jù)集,因為此時它需要較長的訓(xùn)練時間。
  2. 同時它也無法處理包含太多噪聲的數(shù)據(jù)集。
  3. SVM 模型并沒有直接提供概率估計值,而是利用比較耗時的五倍交叉驗證估計量。



結(jié)語

在本文中,我們詳細(xì)地介紹了機器學(xué)習(xí)算法——支持向量機模型。我介紹了它的工作原理,Python 的實現(xiàn)途徑,使模型更有效參數(shù)調(diào)整技巧以及它的優(yōu)缺點。我建議你使用 SVM 模型并通過調(diào)整參數(shù)值分析該模型的解釋力。同時我還想了解你們使用 SVM 的經(jīng)驗,你在建模過程有通過調(diào)整參數(shù)來規(guī)避過度擬合問題和減少建模訓(xùn)練的時間嗎?


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個參數(shù)驗證碼對象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }