支持向量機(jī)（SVM）理論總結(jié)系列.線性可分（附帶R程序案例：用體重和心臟重量來(lái)預(yù)測(cè)一只貓的性別）

1.名詞解釋
支持向量機(jī)中的機(jī)：在機(jī)器學(xué)習(xí)領(lǐng)域，常把一些算法看做一個(gè)機(jī)器，如分類機(jī)（也叫作分類器）
2.問(wèn)題描述
空間中有很多已知類別的點(diǎn)，現(xiàn)在想用一個(gè)面分開他們，并能對(duì)未知類別的點(diǎn)很好的識(shí)別類別。
3.算法思想
由問(wèn)題描述可知，現(xiàn)在算法要解決兩個(gè)問(wèn)題：
    找到一個(gè)平面，可以很好的區(qū)分不同類別的點(diǎn)，即使分類器的訓(xùn)練誤差小，線性可分時(shí)要求訓(xùn)練誤差為0。
    很好的識(shí)別未知類別樣本的類別，即多大程度上信任該分類器在未知樣本上分類的效果。
令滿足以上兩點(diǎn)的超平面方程為：

圖1 畫圖展示

4.公式推導(dǎo)
這里接著上一步，公式推導(dǎo)如何求w和b,下圖2所示。
圖2 公式推導(dǎo)

5.程序?qū)崿F(xiàn)（案例）
案例介紹：用體重和心臟重量來(lái)預(yù)測(cè)一只貓的性別。 
#數(shù)據(jù)集來(lái)自MASS包的cats數(shù)據(jù)集
#下面的程序?qū)?shí)現(xiàn)用體重和心臟重量來(lái)預(yù)測(cè)一只貓的性別
library(e1071)
data(cats,package="MASS")
summary(cats)
inputData=data.frame(cats[, c (2,3)], Sex= as.factor(cats$Sex))
train=inputData[1:108,]#訓(xùn)練集
test=inputData[109:144,]#測(cè)試集
#初步建模
x=train[,-3]
y=train[,3]
#核函數(shù)選擇高斯核函數(shù)
model1=svm(x,y,kernel='radial',gamma=if(is.vector(x)) 1 else1/ncol(x))
#計(jì)算訓(xùn)練誤差，結(jié)果顯示有14個(gè)樣本類別錯(cuò)誤
z=test[,-3]
zy=test[,3]
zy=as.integer(zy)
pred1=predict(model1,x)
table(pred1,y)
#優(yōu)化模型
attach(train)#將數(shù)據(jù)集train按列單獨(dú)確認(rèn)為向量
type=c("C-classification","nu-classification","one-classification")
kernel=c("linear","polynomial","radial","sigmoid")
pred2=array(0,dim=c(108,3,4))
accuracy=matrix(0,3,4)
yy=as.integer(y)
for(i in 1:3)
{
for(j in 1:4)
{
pred2[,i,j]=predict(svm(x,y,type=type[i],kernel=kernel[j]),x)
if(i>2) accuracy[i,j]=sum(pred2[,i,j]!=1)
else accuracy[i,j]=sum(pred2[,i,j]!=yy)
}
}
#12種組合算法在訓(xùn)練集上的誤差
wrong=matrix(0,3,4)
for(i in 1:3)
{
for(j in 1:4)
{
wrong[i,j]=mean(yy != pred2[,i,j])#錯(cuò)誤率占比
}
}
#選擇訓(xùn)練集上誤差最小的三種組合，計(jì)算在測(cè)試集上的誤差，三種組合在訓(xùn)練集上的錯(cuò)誤率分別為0.241,0.259,0.278；三種組合分別是nu-classification+radial、C-classification+linear組合和C-classification+radial組合。
pred3=array(0,dim=c(108,3,4))
for(i in 1:3)
{
for(j in 1:4)
{
pred3[,i,j]=predict(svm(x,y,type=type[i],kernel=kernel[j]),z)
if(i>2) accuracy[i,j]=sum(pred3[,i,j]!=1)
else accuracy[i,j]=sum(pred3[,i,j]!=yy)
}
}
mean(zy != pred3[,2,3])
mean(zy != pred3[,1,1])
mean(zy != pred3[,1,3])
#計(jì)算結(jié)果分別為0.417,0,0數(shù)據(jù)分析師培訓(xùn)
#在測(cè)試集上錯(cuò)誤率為0的兩種算法分別是C-classification+linear組合和C-classification+radial組合。