在MATLAB中進(jìn)行基于SVM的數(shù)據(jù)分析

MATLAB除了可以被用來(lái)進(jìn)行信號(hào)處理之外，還可以用來(lái)完成一些數(shù)據(jù)挖掘任務(wù)。而說(shuō)到數(shù)據(jù)挖掘，你腦海里一定會(huì)閃現(xiàn)過(guò)許多熟悉的算法，例如決策樹(shù)、樸素貝葉斯、邏輯回歸，以及支持向量機(jī)（SVM）等等。下面我們就以SVM為例來(lái)看看利用MATLAB進(jìn)行數(shù)據(jù)挖掘是一種怎樣的體驗(yàn)。

MATLAB中用來(lái)進(jìn)行基于SVM的數(shù)據(jù)挖掘的核心函數(shù)是 svmclassify() 和 svmtrain()。從函數(shù)名就能很容易地看出來(lái)，后者是用來(lái)進(jìn)行模型訓(xùn)練的，而前者則是用后者訓(xùn)練出來(lái)的模型來(lái)對(duì)數(shù)據(jù)進(jìn)行分類(lèi)。首先我們來(lái)看看線性可分的情況，后續(xù)我們還會(huì)討論更復(fù)雜的線性不可分的例子。

這里所使用的數(shù)據(jù)是費(fèi)希爾的鳶尾花數(shù)據(jù)，我們首先導(dǎo)入數(shù)據(jù)（數(shù)據(jù)一共有150行，取前2/3作為訓(xùn)練數(shù)據(jù)，對(duì)應(yīng)的類(lèi)別是setosa和versicolor）
[plain] view plain copy
>> load fisheriris  
>> xdata = meas(1:100,3:4);  
>> group = species(1:100);  

函數(shù) svmtrain()的調(diào)用格式如下：
SVMStruct = svmtrain(Training,Group,Name,Value)
其中Training是feature向量，Group表示分屬之類(lèi)別。Name和Value是可選參數(shù)（也就是可以不寫(xiě)），而且必須成對(duì)使用，其中Name表示參數(shù)名，而Value則對(duì)應(yīng)相應(yīng)的參數(shù)取值。由于Name-Value的可取參數(shù)對(duì)非常之多，我們這里不一一列舉（有需要的讀者可以參閱MATLAB的幫助文檔以了解更多），僅僅給出兩個(gè)例子：比如，如果把Name置為'showplot'，就可以通過(guò)緊跟其后的Value取值來(lái)控制是否將訓(xùn)練模型繪制成圖，默認(rèn)是'False'，表示不會(huì)圖。另外一個(gè)有用的參數(shù)是'kernel_function'，如果你對(duì)SVM算法比較了解的話應(yīng)該知道，核函數(shù)主要是通過(guò)空間轉(zhuǎn)換來(lái)將原本線性不可分的數(shù)據(jù)，轉(zhuǎn)換到另外一個(gè)線性可分的空間上，后續(xù)我們還會(huì)給出具體例子。
下面的代碼就可以訓(xùn)練得到一個(gè)分類(lèi)模型：
[plain] view plain copy
>> svmStruct = svmtrain(xdata,group,'ShowPlot',true);  

上述代碼的執(zhí)行結(jié)果如下圖所示（注意因?yàn)槲覀優(yōu)閰?shù)'showplot'賦值為T(mén)rue，所以系統(tǒng)會(huì)繪制出圖）：

下面我們用svmclassify() 來(lái)測(cè)試一下模型的分類(lèi)能力：
[plain] view plain copy
<span style="font-size:18px;">>> testdata = [4 1.5;1.8 0.38];  
>> species = svmclassify(svmStruct,testdata,'ShowPlot',true)  
 
species =   
 
    'versicolor'  
    'setosa'</span>  

如果覺(jué)得文字表述的結(jié)果不夠形象，還可以用圖形來(lái)表示：
[plain] view plain copy
<span style="font-size:18px;">>> hold on;  
>> plot(testdata(:,1),testdata(:,2),'ro','MarkerSize',12);  
>> hold off</span>  

上述代碼的執(zhí)行結(jié)果如圖所示（其中被圓周圈起來(lái)的就是我們引入的測(cè)試數(shù)據(jù)）：

如果數(shù)據(jù)是線性不可分的，SVM是否能夠應(yīng)對(duì)呢？來(lái)看下面的例子，首先，我們生成兩組數(shù)據(jù)data1和data2
[plain] view plain copy
>> rng(1); % For reproducibility  
r = sqrt(rand(100,1)); % Radius  
t = 2*pi*rand(100,1);  % Angle  
data1 = [r.*cos(t), r.*sin(t)]; % Points  
>> r2 = sqrt(3*rand(100,1)+1); % Radius  
t2 = 2*pi*rand(100,1);      % Angle  
data2 = [r2.*cos(t2), r2.*sin(t2)]; % points  

data1和data2是線性不可分的。用圖形來(lái)表示或許更加一目了然，所以我們來(lái)繪圖：
[plain] view plain copy
>> figure;  
plot(data1(:,1),data1(:,2),'r.','MarkerSize',15)  
hold on  
plot(data2(:,1),data2(:,2),'b.','MarkerSize',15)  
ezpolar(@(x)1);ezpolar(@(x)2);  
axis equal  
hold off  

上述代碼的執(zhí)行結(jié)果如下：

然后我們把兩組數(shù)據(jù)組織到一起，并加上分類(lèi)標(biāo)簽‘+1’和‘-1’。
[plain] view plain copy
>> data3 = [data1;data2];  
theclass = ones(200,1);  
theclass(1:100) = -1;  

然后分別用高斯核函數(shù)與多項(xiàng)式核函數(shù)來(lái)進(jìn)行空間轉(zhuǎn)換，并在此基礎(chǔ)上進(jìn)行基于SVM的分類(lèi)：
[plain] view plain copy
>> svmModel = svmtrain(data3, theclass, 'kernel_function','rbf','ShowPlot',true);  
>> svmModel = svmtrain(data3, theclass, 'kernel_function','polynomial','ShowPlot',true);  
 
下圖基于高斯核函數(shù)的SVM分類(lèi)結(jié)果：

下圖基于多項(xiàng)式核函數(shù)的SVM分類(lèi)結(jié)果：

可見(jiàn)原本不可分的數(shù)據(jù)，現(xiàn)在已經(jīng)被成功分類(lèi)了。