機(jī)器學(xué)習(xí)之支持向量機(jī)(SVM)

支持向量機(jī)算法在深度學(xué)習(xí)沒(méi)有火起來(lái)的2012年前，在機(jī)器學(xué)習(xí)算法中可謂是霸主地位，其思想是在二分類或者多分類任務(wù)中，將類別分開的超平面可能有很多種，那么哪一種的分類效果是最好的呢？這里引入了支撐向量的概念，我們總可以在幾個(gè)類別的分界面處找到類別的一些樣本點(diǎn)，以這些樣本點(diǎn)的中垂線為平面的這個(gè)分界面可以使得類別中的點(diǎn)都離分界面足夠遠(yuǎn)，那么這個(gè)平面就是最理想的分割超平面。

注意：SVM顧名思義，該算法只用到了一些支撐樣本將兩類或者多類樣本分開的~~

SVM分為線性可分SVM,線性SVM和非線性SVM，后兩者用到了核函數(shù)。

一、SVM中的數(shù)學(xué)：

1.凸優(yōu)化

2.核函數(shù)

3.拉格朗日乘子法

二、SVM公式推導(dǎo)

基本定義(以二分類為例)：

分割平面：是特征空間轉(zhuǎn)換函數(shù)，簡(jiǎn)單地，

目標(biāo)值屬于{-1,1}，通過(guò)sign(y(x))將樣本分類為1或者-1

1.線性可分SVM(樣本本身線性可分)

1.1 目標(biāo)函數(shù)：遍歷所有的x，對(duì)離分割面最近的x中，找到一組w，b，使得離該線最近的x到該直線的距離最大

變形達(dá)到：

整理在得到最終的目標(biāo)函數(shù)：

1.2 求解目標(biāo)函數(shù)，引入拉格朗日乘子法和KKT條件：

上式分別對(duì)w，b求導(dǎo)為0，并代入原式中，變形為求解alpha的約束最優(yōu)化問(wèn)題：

最終得到的w，b以及超平面分別是：

2.線性支持SVM(樣本本身線性不可分)

2.1 引入松弛因子，目標(biāo)函數(shù)和約束條件變?yōu)椋?

給定松弛因子，相當(dāng)于引入了正則項(xiàng)，C->無(wú)窮大，相當(dāng)于沒(méi)有懲罰，所有樣本眼分對(duì)，不容忍錯(cuò)誤，容易o(hù)verfitting，C->0,則過(guò)渡帶寬，容忍有錯(cuò)誤，model范化能力好，能防止overfitting

2.2 求解目標(biāo)函數(shù)，仍用拉格朗日乘子法，，最終的目標(biāo)函數(shù)為：

求解最優(yōu)的alpha，并求得w和b.

3.非線性SVM，引入核函數(shù)

3.1 思想：不可分的樣本，通過(guò)核函數(shù)映射到新的高維特征空間，使得樣本變得可分，常見(jiàn)的核函數(shù)有多項(xiàng)式，高斯和sigmoid核函數(shù)，公式如下：

一般地，在不知道更多信息的時(shí)候使用高斯核函數(shù)是最穩(wěn)妥的，高斯函數(shù)（RBF,徑向基函數(shù)）是一個(gè)映射到無(wú)窮維的函數(shù)。

引入的代表了核函數(shù)映射到高維空間的胖瘦，其值大，則胖乎乎，其值小，則瘦兮兮~~

三、代碼實(shí)現(xiàn)SVM

import numpy as np
from sklearn.svm import SVR
from sklearn.grid_search import GridSearchCV    # 0.17 grid_search
import matplotlib.pyplot as plt
 
 
if __name__ == "__main__":
    N = 50
    np.random.seed(0)
    x = np.sort(np.random.uniform(0, 6, N), axis=0)
    y = 2*np.cos(x) + 0.1*np.random.randn(N)
    x = x.reshape(-1, 1)
 
    model = SVR(kernel='rbf')
    c = np.logspace(-2, 2, 10)
    gamma= np.logspace(-2, 2, 10)
    svr = GridSearchCV(model, param_grid={'C': c, 'gamma': gamma}, cv=5)
    svr.fit(x, y)
    print 'C和gamma的最優(yōu)參數(shù)：\n', svr.best_params_
 
    x_test = np.linspace(x.min(), x.max(), 100).reshape(-1, 1)
    y_predict = svr.predict(x_test)
 
    sp = svr.best_estimator_.support_
    plt.figure(facecolor='w')
    plt.scatter(x[sp], y[sp], c='b', marker='o', label='Support Vectors')
    plt.plot(x_test, y_predict, 'r--',label='RBF Kernel')
    plt.plot(x, y, 'g-')
    plt.legend(loc='best')
    plt.title('SVR with grid_search C & gamma')
    plt.xlabel('X')
    plt.ylabel('Y')
    plt.grid(True)
    plt.tight_layout()
    plt.show()

運(yùn)行代碼可以網(wǎng)格搜索到最優(yōu)的Chegamma并得到SVM的結(jié)果可視化如下：

總結(jié)一下：

1.SVM中有兩個(gè)超參數(shù)需要調(diào)參，一個(gè)是C，一個(gè)是，在不知道這兩者怎么搭配最終的分類效果好，使用高斯函數(shù)(RBF)是最好的，可以用grid_search來(lái)找最優(yōu)的一組值超參數(shù)，而不是隨便 調(diào)參

2. 某一種模型調(diào)參的能力是有限的，不會(huì)對(duì)分類結(jié)果有質(zhì)的飛躍，當(dāng)怎么調(diào)都調(diào)不好的話，就應(yīng)該考慮換一種模型了

3. 調(diào)參不是主要的，特征選擇和數(shù)據(jù)的清洗對(duì)模型的結(jié)果影響更重要