支持向量機（SVM）理論總結系列.線性可分（附帶R程序案例：用體重和心臟重量來預測一只貓的性別）

1.名詞解釋
支持向量機中的機：在機器學習領域，常把一些算法看做一個機器，如分類機（也叫作分類器）
2.問題描述
空間中有很多已知類別的點，現(xiàn)在想用一個面分開他們，并能對未知類別的點很好的識別類別。
3.算法思想
由問題描述可知，現(xiàn)在算法要解決兩個問題：
    找到一個平面，可以很好的區(qū)分不同類別的點，即使分類器的訓練誤差小，線性可分時要求訓練誤差為0。
    很好的識別未知類別樣本的類別，即多大程度上信任該分類器在未知樣本上分類的效果。
令滿足以上兩點的超平面方程為：

圖1 畫圖展示

4.公式推導
這里接著上一步，公式推導如何求w和b,下圖2所示。
圖2 公式推導

5.程序實現(xiàn)（案例）
案例介紹：用體重和心臟重量來預測一只貓的性別。 
#數(shù)據(jù)集來自MASS包的cats數(shù)據(jù)集
#下面的程序將實現(xiàn)用體重和心臟重量來預測一只貓的性別
library(e1071)
data(cats,package="MASS")
summary(cats)
inputData=data.frame(cats[, c (2,3)], Sex= as.factor(cats$Sex))
train=inputData[1:108,]#訓練集
test=inputData[109:144,]#測試集
#初步建模
x=train[,-3]
y=train[,3]
#核函數(shù)選擇高斯核函數(shù)
model1=svm(x,y,kernel='radial',gamma=if(is.vector(x)) 1 else1/ncol(x))
#計算訓練誤差，結果顯示有14個樣本類別錯誤
z=test[,-3]
zy=test[,3]
zy=as.integer(zy)
pred1=predict(model1,x)
table(pred1,y)
#優(yōu)化模型
attach(train)#將數(shù)據(jù)集train按列單獨確認為向量
type=c("C-classification","nu-classification","one-classification")
kernel=c("linear","polynomial","radial","sigmoid")
pred2=array(0,dim=c(108,3,4))
accuracy=matrix(0,3,4)
yy=as.integer(y)
for(i in 1:3)
{
for(j in 1:4)
{
pred2[,i,j]=predict(svm(x,y,type=type[i],kernel=kernel[j]),x)
if(i>2) accuracy[i,j]=sum(pred2[,i,j]!=1)
else accuracy[i,j]=sum(pred2[,i,j]!=yy)
}
}
#12種組合算法在訓練集上的誤差
wrong=matrix(0,3,4)
for(i in 1:3)
{
for(j in 1:4)
{
wrong[i,j]=mean(yy != pred2[,i,j])#錯誤率占比
}
}
#選擇訓練集上誤差最小的三種組合，計算在測試集上的誤差，三種組合在訓練集上的錯誤率分別為0.241,0.259,0.278；三種組合分別是nu-classification+radial、C-classification+linear組合和C-classification+radial組合。
pred3=array(0,dim=c(108,3,4))
for(i in 1:3)
{
for(j in 1:4)
{
pred3[,i,j]=predict(svm(x,y,type=type[i],kernel=kernel[j]),z)
if(i>2) accuracy[i,j]=sum(pred3[,i,j]!=1)
else accuracy[i,j]=sum(pred3[,i,j]!=yy)
}
}
mean(zy != pred3[,2,3])
mean(zy != pred3[,1,1])
mean(zy != pred3[,1,3])
#計算結果分別為0.417,0,0數(shù)據(jù)分析師培訓
#在測試集上錯誤率為0的兩種算法分別是C-classification+linear組合和C-classification+radial組合。