支持向量機(jī)實(shí)例講解

簡介

掌握機(jī)器學(xué)習(xí)算法不再是天方夜譚的事情。大多數(shù)初學(xué)者都是從回歸模型學(xué)起。雖然回歸模型簡單易學(xué)易上手，但是它能解決我們的需求嗎？當(dāng)然不行！因?yàn)槌嘶貧w模型外我們還可以構(gòu)建許多模型。

我們可以把機(jī)器學(xué)習(xí)算法看成包含劍、鋒刃、弓箭和匕首等武器的兵器庫。你擁有各式各樣的工具，但是你應(yīng)該在恰當(dāng)?shù)臅r(shí)間點(diǎn)使用它們。比如，我們可以把回歸模型看做“劍”，它可以非常高效地處理切片數(shù)據(jù)，但是它卻無法應(yīng)對(duì)高度復(fù)雜的數(shù)據(jù)。相反的是，“支持向量機(jī)模型”就像一把尖刀，它可以更好地對(duì)小數(shù)據(jù)集進(jìn)行建模分析。

到目前為止，我希望你已經(jīng)掌握了隨機(jī)森林、樸素貝葉斯算法和集成建模方法。不然的話，我建議你應(yīng)該花一些時(shí)間來學(xué)習(xí)這些方法。本文中，我將會(huì)介紹另外一個(gè)重要的機(jī)器學(xué)習(xí)算法——支持向量機(jī)模型。

目錄

1. 什么是支持向量機(jī)模型？
2. 支持向量機(jī)模型運(yùn)行原理
3. 如何利用 Python 實(shí)現(xiàn) SVM？
4. 如何調(diào)整 SVM 的參數(shù)？
5. SVM 的優(yōu)缺點(diǎn)

什么是支持向量機(jī)模型？

支持向量機(jī)（SVM）是一種有監(jiān)督學(xué)習(xí)的算法，它可以用來處理分類和回歸的問題。然而，實(shí)際應(yīng)用中，SVM 主要用來處理分類問題。在這個(gè)算法中，首先我們將所有點(diǎn)畫在一個(gè) n 維空間中（其中 n 代表特征個(gè)數(shù)）。然后我們通過尋找較好區(qū)分兩類樣本的超平面來對(duì)數(shù)據(jù)進(jìn)行分類處理（如下圖所示）。

支持向量是觀測(cè)值的坐標(biāo)，支持向量機(jī)是隔離兩個(gè)類別的最佳邊界（超平面）。

你可以在這里看到關(guān)于支持向量的定義和一些實(shí)例。

支持向量機(jī)的運(yùn)行原理

首先，我們已經(jīng)熟悉了如何利用超平面來區(qū)分兩個(gè)類別的數(shù)據(jù)。如今急需解決的問題是：“如何找出最佳的超平面？”不要擔(dān)心，它沒有你所想的那么困難！

讓我們來看幾個(gè)例子：

場(chǎng)景一：首先，我們有三個(gè)超平面（A、B 和 C）?，F(xiàn)在我們需要的是找出區(qū)分星星和圓圈的最佳超平面。

你需要記住一個(gè)識(shí)別最佳超平面的經(jīng)驗(yàn)法則：“選擇能更好區(qū)分兩個(gè)類別的超平面?！痹谶@個(gè)例子中，超平面“B”是最佳分割平面。

場(chǎng)景二：首先我們有三個(gè)超平面（A、B 和 C），它們都很好地區(qū)分兩個(gè)類別的數(shù)據(jù)。那么我們要如何選出最佳的超平面呢？

在這里，我們可以通過最大化超平面和其最近的各個(gè)類別中數(shù)據(jù)點(diǎn)的距離來尋找最佳超平面。這個(gè)距離我們稱之為邊際距離。

從上圖中你可以看到超平面 C 的邊際距離最大。因此，我們稱 C 為最佳超平面。選擇具有最大邊際距離的超平面的做法是穩(wěn)健的。如果我們選擇其他超平面，將存在較高的錯(cuò)分率。

場(chǎng)景三：利用之前章節(jié)提到的規(guī)則來識(shí)別最佳超平面

或許你們會(huì)選擇具有較大邊際距離的超平面 B。但是你們錯(cuò)了，SVM 選擇超平面時(shí)更看重分類的準(zhǔn)確度。在上圖中，超平面 B 存在一個(gè)錯(cuò)分點(diǎn)而超平面 A 的分類則全部正確。因此，最佳超平面是 A。

場(chǎng)景四：由于存在異常值，我們無法通過一條直線將這兩類數(shù)據(jù)完全區(qū)分開來。

正如我之前提到的，另一端的星星可以被視為異常值。SVM 可以忽略異常值并尋找具有最大邊際距離的超平面。因此，我們可以說 SVM 模型在處理異常值時(shí)具有魯棒性。

場(chǎng)景五：在這個(gè)場(chǎng)景中，我們無法通過線性超平面區(qū)分這兩類數(shù)據(jù)，那么 SVM 是如何對(duì)這種數(shù)據(jù)進(jìn)行分類的呢？

SVM 模型可以非常容易地解決這個(gè)問題。通過引入新的變量信息，我們可以很容易地搞定這個(gè)問題。比如我們引入新的變量然后我們對(duì) x 和 z 構(gòu)建散點(diǎn)圖：

從上圖中我們可以看出：

由于所以變量 z 恒大于零。

原始圖中，紅圈數(shù)據(jù)分布在原點(diǎn)附近，它們的 z 值比較?。欢切菙?shù)據(jù)則遠(yuǎn)離原點(diǎn)區(qū)域，它們具有較大的 z 值。

在 SVM 模型中，我們可以很容易地找到分割兩類數(shù)據(jù)的線性超平面。但是另外一個(gè)急需解決的問題是：我們應(yīng)該手動(dòng)增加變量信息從而獲得該線性超平面分割嗎？答案是否定的！SVM 模型有一個(gè)工具叫做 kernel trick。該函數(shù)可以將輸入的低維空間信息轉(zhuǎn)化為高維空間信息。在解決非線性分割問題時(shí)，我們經(jīng)常用到這個(gè)函數(shù)。簡單地說，該函數(shù)可以轉(zhuǎn)換一些極其復(fù)雜的數(shù)據(jù)，然后根據(jù)自己所定義的標(biāo)簽或輸出結(jié)果尋找區(qū)分數(shù)據(jù)的超平面。

我們可以在原始圖中畫出最佳超平面：

接下來，我們將學(xué)習(xí)如何將 SVM 模型應(yīng)用到實(shí)際的數(shù)據(jù)科學(xué)案例中。

如何利用 Python 實(shí)現(xiàn) SVM 模型？

在 Python 中，scikit-learn 是一個(gè)被廣泛使用的機(jī)器學(xué)習(xí)算法庫。我們可以通過 scikit-learn 庫來構(gòu)建 SVM 模型。

如何調(diào)整 SVM 模型的參數(shù)？

有效地調(diào)節(jié)機(jī)器學(xué)習(xí)算法的參數(shù)可以提高模型的表現(xiàn)力。讓我們來看看 SVM 模型的可用參數(shù)列表：

接下來我將要討論 SVM 模型中一些比較重要的參數(shù)：“kernel”，“gamma”和“C”。

kernel：我們之前已經(jīng)討論過這個(gè)問題。Kernel參數(shù)中具有多個(gè)可選項(xiàng)：“l(fā)inear”，“rbf”和“poly”等（默認(rèn)值是“rbf”）。其中 “rbf”和“poly”通常用于擬合非線性超平面。下面是一個(gè)例子：我們利用線性核估計(jì)-對(duì)鳶尾花數(shù)據(jù)進(jìn)行分類。

例子：線性核估計(jì)

例子：rbf 核估計(jì)

我們可以通過下面的代碼調(diào)用 rbf 核估計(jì)，并觀察其擬合結(jié)果。

當(dāng)變量個(gè)數(shù)比較大時(shí)（大于1000），我建議你最好使用線性核估計(jì)，因?yàn)樵诟呔S空間中數(shù)據(jù)大多是線性可分的。當(dāng)然你也可以利用 rbf 核估計(jì)，不過你必須使用交叉驗(yàn)證調(diào)整參數(shù)從而避免過度擬合。

“gamma”：“rbf”，“poly”和“sigmoid”的核估計(jì)系數(shù)。gamma的取值越大，越容易出現(xiàn)過度擬合的問題。

例子：比較不同gamma取值下模型的擬合結(jié)果

C：誤差項(xiàng)的懲罰參數(shù)。我們可以通過調(diào)節(jié)該參數(shù)達(dá)到平衡分割邊界的平滑程度和分類準(zhǔn)確率的目的。

我們應(yīng)該經(jīng)常關(guān)注交叉驗(yàn)證結(jié)果從而有效地利用這些參數(shù)的組合避免過度擬合情況的問題。

SVM 模型的優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：

1. 它的分類效果非常好。
2. 它可以有效地處理高維空間數(shù)據(jù)。
3. 它可以有效地處理變量個(gè)數(shù)大于樣本個(gè)數(shù)的數(shù)據(jù)。
4. 它只利用一部分子集來訓(xùn)練模型，所以 SVM 模型不需要太大的內(nèi)存。
5. 
   
6. 缺點(diǎn)：

1. 它無法很好地處理大規(guī)模數(shù)據(jù)集，因?yàn)榇藭r(shí)它需要較長的訓(xùn)練時(shí)間。
2. 同時(shí)它也無法處理包含太多噪聲的數(shù)據(jù)集。
3. SVM 模型并沒有直接提供概率估計(jì)值，而是利用比較耗時(shí)的五倍交叉驗(yàn)證估計(jì)量。

結(jié)語

在本文中，我們?cè)敿?xì)地介紹了機(jī)器學(xué)習(xí)算法——支持向量機(jī)模型。我介紹了它的工作原理，Python 的實(shí)現(xiàn)途徑，使模型更有效參數(shù)調(diào)整技巧以及它的優(yōu)缺點(diǎn)。我建議你使用 SVM 模型并通過調(diào)整參數(shù)值分析該模型的解釋力。同時(shí)我還想了解你們使用 SVM 的經(jīng)驗(yàn)，你在建模過程有通過調(diào)整參數(shù)來規(guī)避過度擬合問題和減少建模訓(xùn)練的時(shí)間嗎？