支持向量機實例講解

簡介

掌握機器學(xué)習(xí)算法不再是天方夜譚的事情。大多數(shù)初學(xué)者都是從回歸模型學(xué)起。雖然回歸模型簡單易學(xué)易上手，但是它能解決我們的需求嗎？當(dāng)然不行！因為除了回歸模型外我們還可以構(gòu)建許多模型。

我們可以把機器學(xué)習(xí)算法看成包含劍、鋒刃、弓箭和匕首等武器的兵器庫。你擁有各式各樣的工具，但是你應(yīng)該在恰當(dāng)?shù)臅r間點使用它們。比如，我們可以把回歸模型看做“劍”，它可以非常高效地處理切片數(shù)據(jù)，但是它卻無法應(yīng)對高度復(fù)雜的數(shù)據(jù)。相反的是，“支持向量機模型”就像一把尖刀，它可以更好地對小數(shù)據(jù)集進行建模分析。

到目前為止，我希望你已經(jīng)掌握了隨機森林、樸素貝葉斯算法和集成建模方法。不然的話，我建議你應(yīng)該花一些時間來學(xué)習(xí)這些方法。本文中，我將會介紹另外一個重要的機器學(xué)習(xí)算法——支持向量機模型。

目錄

1. 什么是支持向量機模型？
2. 支持向量機模型運行原理
3. 如何利用 Python 實現(xiàn) SVM？
4. 如何調(diào)整 SVM 的參數(shù)？
5. SVM 的優(yōu)缺點

什么是支持向量機模型？

支持向量機（SVM）是一種有監(jiān)督學(xué)習(xí)的算法，它可以用來處理分類和回歸的問題。然而，實際應(yīng)用中，SVM 主要用來處理分類問題。在這個算法中，首先我們將所有點畫在一個 n 維空間中（其中 n 代表特征個數(shù)）。然后我們通過尋找較好區(qū)分兩類樣本的超平面來對數(shù)據(jù)進行分類處理（如下圖所示）。

支持向量是觀測值的坐標(biāo)，支持向量機是隔離兩個類別的最佳邊界（超平面）。

你可以在這里看到關(guān)于支持向量的定義和一些實例。

支持向量機的運行原理

首先，我們已經(jīng)熟悉了如何利用超平面來區(qū)分兩個類別的數(shù)據(jù)。如今急需解決的問題是：“如何找出最佳的超平面？”不要擔(dān)心，它沒有你所想的那么困難！

讓我們來看幾個例子：

場景一：首先，我們有三個超平面（A、B 和 C）?，F(xiàn)在我們需要的是找出區(qū)分星星和圓圈的最佳超平面。

你需要記住一個識別最佳超平面的經(jīng)驗法則：“選擇能更好區(qū)分兩個類別的超平面。”在這個例子中，超平面“B”是最佳分割平面。

場景二：首先我們有三個超平面（A、B 和 C），它們都很好地區(qū)分兩個類別的數(shù)據(jù)。那么我們要如何選出最佳的超平面呢？

在這里，我們可以通過最大化超平面和其最近的各個類別中數(shù)據(jù)點的距離來尋找最佳超平面。這個距離我們稱之為邊際距離。

從上圖中你可以看到超平面 C 的邊際距離最大。因此，我們稱 C 為最佳超平面。選擇具有最大邊際距離的超平面的做法是穩(wěn)健的。如果我們選擇其他超平面，將存在較高的錯分率。

場景三：利用之前章節(jié)提到的規(guī)則來識別最佳超平面

或許你們會選擇具有較大邊際距離的超平面 B。但是你們錯了，SVM 選擇超平面時更看重分類的準(zhǔn)確度。在上圖中，超平面 B 存在一個錯分點而超平面 A 的分類則全部正確。因此，最佳超平面是 A。

場景四：由于存在異常值，我們無法通過一條直線將這兩類數(shù)據(jù)完全區(qū)分開來。

正如我之前提到的，另一端的星星可以被視為異常值。SVM 可以忽略異常值并尋找具有最大邊際距離的超平面。因此，我們可以說 SVM 模型在處理異常值時具有魯棒性。

場景五：在這個場景中，我們無法通過線性超平面區(qū)分這兩類數(shù)據(jù)，那么 SVM 是如何對這種數(shù)據(jù)進行分類的呢？

SVM 模型可以非常容易地解決這個問題。通過引入新的變量信息，我們可以很容易地搞定這個問題。比如我們引入新的變量然后我們對 x 和 z 構(gòu)建散點圖：

從上圖中我們可以看出：

由于所以變量 z 恒大于零。

原始圖中，紅圈數(shù)據(jù)分布在原點附近，它們的 z 值比較??；而星星數(shù)據(jù)則遠(yuǎn)離原點區(qū)域，它們具有較大的 z 值。

在 SVM 模型中，我們可以很容易地找到分割兩類數(shù)據(jù)的線性超平面。但是另外一個急需解決的問題是：我們應(yīng)該手動增加變量信息從而獲得該線性超平面分割嗎？答案是否定的！SVM 模型有一個工具叫做 kernel trick。該函數(shù)可以將輸入的低維空間信息轉(zhuǎn)化為高維空間信息。在解決非線性分割問題時，我們經(jīng)常用到這個函數(shù)。簡單地說，該函數(shù)可以轉(zhuǎn)換一些極其復(fù)雜的數(shù)據(jù)，然后根據(jù)自己所定義的標(biāo)簽或輸出結(jié)果尋找區(qū)分數(shù)據(jù)的超平面。

我們可以在原始圖中畫出最佳超平面：

接下來，我們將學(xué)習(xí)如何將 SVM 模型應(yīng)用到實際的數(shù)據(jù)科學(xué)案例中。

如何利用 Python 實現(xiàn) SVM 模型？

在 Python 中，scikit-learn 是一個被廣泛使用的機器學(xué)習(xí)算法庫。我們可以通過 scikit-learn 庫來構(gòu)建 SVM 模型。

如何調(diào)整 SVM 模型的參數(shù)？

有效地調(diào)節(jié)機器學(xué)習(xí)算法的參數(shù)可以提高模型的表現(xiàn)力。讓我們來看看 SVM 模型的可用參數(shù)列表：

接下來我將要討論 SVM 模型中一些比較重要的參數(shù)：“kernel”，“gamma”和“C”。

kernel：我們之前已經(jīng)討論過這個問題。Kernel參數(shù)中具有多個可選項：“l(fā)inear”，“rbf”和“poly”等（默認(rèn)值是“rbf”）。其中 “rbf”和“poly”通常用于擬合非線性超平面。下面是一個例子：我們利用線性核估計-對鳶尾花數(shù)據(jù)進行分類。

例子：線性核估計

例子：rbf 核估計

我們可以通過下面的代碼調(diào)用 rbf 核估計，并觀察其擬合結(jié)果。

當(dāng)變量個數(shù)比較大時（大于1000），我建議你最好使用線性核估計，因為在高維空間中數(shù)據(jù)大多是線性可分的。當(dāng)然你也可以利用 rbf 核估計，不過你必須使用交叉驗證調(diào)整參數(shù)從而避免過度擬合。

“gamma”：“rbf”，“poly”和“sigmoid”的核估計系數(shù)。gamma的取值越大，越容易出現(xiàn)過度擬合的問題。

例子：比較不同gamma取值下模型的擬合結(jié)果

C：誤差項的懲罰參數(shù)。我們可以通過調(diào)節(jié)該參數(shù)達(dá)到平衡分割邊界的平滑程度和分類準(zhǔn)確率的目的。

我們應(yīng)該經(jīng)常關(guān)注交叉驗證結(jié)果從而有效地利用這些參數(shù)的組合避免過度擬合情況的問題。

SVM 模型的優(yōu)缺點

優(yōu)點：

1. 它的分類效果非常好。
2. 它可以有效地處理高維空間數(shù)據(jù)。
3. 它可以有效地處理變量個數(shù)大于樣本個數(shù)的數(shù)據(jù)。
4. 它只利用一部分子集來訓(xùn)練模型，所以 SVM 模型不需要太大的內(nèi)存。
5. 
   
6. 缺點：

1. 它無法很好地處理大規(guī)模數(shù)據(jù)集，因為此時它需要較長的訓(xùn)練時間。
2. 同時它也無法處理包含太多噪聲的數(shù)據(jù)集。
3. SVM 模型并沒有直接提供概率估計值，而是利用比較耗時的五倍交叉驗證估計量。

結(jié)語

在本文中，我們詳細(xì)地介紹了機器學(xué)習(xí)算法——支持向量機模型。我介紹了它的工作原理，Python 的實現(xiàn)途徑，使模型更有效參數(shù)調(diào)整技巧以及它的優(yōu)缺點。我建議你使用 SVM 模型并通過調(diào)整參數(shù)值分析該模型的解釋力。同時我還想了解你們使用 SVM 的經(jīng)驗，你在建模過程有通過調(diào)整參數(shù)來規(guī)避過度擬合問題和減少建模訓(xùn)練的時間嗎？