在MATLAB中進(jìn)行基于SVM的數(shù)據(jù)分析

MATLAB除了可以被用來進(jìn)行信號處理之外，還可以用來完成一些數(shù)據(jù)挖掘任務(wù)。而說到數(shù)據(jù)挖掘，你腦海里一定會閃現(xiàn)過許多熟悉的算法，例如決策樹、樸素貝葉斯、邏輯回歸，以及支持向量機(jī)（SVM）等等。下面我們就以SVM為例來看看利用MATLAB進(jìn)行數(shù)據(jù)挖掘是一種怎樣的體驗。

MATLAB中用來進(jìn)行基于SVM的數(shù)據(jù)挖掘的核心函數(shù)是 svmclassify() 和 svmtrain()。從函數(shù)名就能很容易地看出來，后者是用來進(jìn)行模型訓(xùn)練的，而前者則是用后者訓(xùn)練出來的模型來對數(shù)據(jù)進(jìn)行分類。首先我們來看看線性可分的情況，后續(xù)我們還會討論更復(fù)雜的線性不可分的例子。

這里所使用的數(shù)據(jù)是費(fèi)希爾的鳶尾花數(shù)據(jù)，我們首先導(dǎo)入數(shù)據(jù)（數(shù)據(jù)一共有150行，取前2/3作為訓(xùn)練數(shù)據(jù)，對應(yīng)的類別是setosa和versicolor）
[plain] view plain copy
>> load fisheriris  
>> xdata = meas(1:100,3:4);  
>> group = species(1:100);  

函數(shù) svmtrain()的調(diào)用格式如下：
SVMStruct = svmtrain(Training,Group,Name,Value)
其中Training是feature向量，Group表示分屬之類別。Name和Value是可選參數(shù)（也就是可以不寫），而且必須成對使用，其中Name表示參數(shù)名，而Value則對應(yīng)相應(yīng)的參數(shù)取值。由于Name-Value的可取參數(shù)對非常之多，我們這里不一一列舉（有需要的讀者可以參閱MATLAB的幫助文檔以了解更多），僅僅給出兩個例子：比如，如果把Name置為'showplot'，就可以通過緊跟其后的Value取值來控制是否將訓(xùn)練模型繪制成圖，默認(rèn)是'False'，表示不會圖。另外一個有用的參數(shù)是'kernel_function'，如果你對SVM算法比較了解的話應(yīng)該知道，核函數(shù)主要是通過空間轉(zhuǎn)換來將原本線性不可分的數(shù)據(jù)，轉(zhuǎn)換到另外一個線性可分的空間上，后續(xù)我們還會給出具體例子。
下面的代碼就可以訓(xùn)練得到一個分類模型：
[plain] view plain copy
>> svmStruct = svmtrain(xdata,group,'ShowPlot',true);  

上述代碼的執(zhí)行結(jié)果如下圖所示（注意因為我們?yōu)閰?shù)'showplot'賦值為True，所以系統(tǒng)會繪制出圖）：

下面我們用svmclassify() 來測試一下模型的分類能力：
[plain] view plain copy
<span style="font-size:18px;">>> testdata = [4 1.5;1.8 0.38];  
>> species = svmclassify(svmStruct,testdata,'ShowPlot',true)  
 
species =   
 
    'versicolor'  
    'setosa'</span>  

如果覺得文字表述的結(jié)果不夠形象，還可以用圖形來表示：
[plain] view plain copy
<span style="font-size:18px;">>> hold on;  
>> plot(testdata(:,1),testdata(:,2),'ro','MarkerSize',12);  
>> hold off</span>  

上述代碼的執(zhí)行結(jié)果如圖所示（其中被圓周圈起來的就是我們引入的測試數(shù)據(jù)）：

如果數(shù)據(jù)是線性不可分的，SVM是否能夠應(yīng)對呢？來看下面的例子，首先，我們生成兩組數(shù)據(jù)data1和data2
[plain] view plain copy
>> rng(1); % For reproducibility  
r = sqrt(rand(100,1)); % Radius  
t = 2*pi*rand(100,1);  % Angle  
data1 = [r.*cos(t), r.*sin(t)]; % Points  
>> r2 = sqrt(3*rand(100,1)+1); % Radius  
t2 = 2*pi*rand(100,1);      % Angle  
data2 = [r2.*cos(t2), r2.*sin(t2)]; % points  

data1和data2是線性不可分的。用圖形來表示或許更加一目了然，所以我們來繪圖：
[plain] view plain copy
>> figure;  
plot(data1(:,1),data1(:,2),'r.','MarkerSize',15)  
hold on  
plot(data2(:,1),data2(:,2),'b.','MarkerSize',15)  
ezpolar(@(x)1);ezpolar(@(x)2);  
axis equal  
hold off  

上述代碼的執(zhí)行結(jié)果如下：

然后我們把兩組數(shù)據(jù)組織到一起，并加上分類標(biāo)簽‘+1’和‘-1’。
[plain] view plain copy
>> data3 = [data1;data2];  
theclass = ones(200,1);  
theclass(1:100) = -1;  

然后分別用高斯核函數(shù)與多項式核函數(shù)來進(jìn)行空間轉(zhuǎn)換，并在此基礎(chǔ)上進(jìn)行基于SVM的分類：
[plain] view plain copy
>> svmModel = svmtrain(data3, theclass, 'kernel_function','rbf','ShowPlot',true);  
>> svmModel = svmtrain(data3, theclass, 'kernel_function','polynomial','ShowPlot',true);  
 
下圖基于高斯核函數(shù)的SVM分類結(jié)果：

下圖基于多項式核函數(shù)的SVM分類結(jié)果：

可見原本不可分的數(shù)據(jù)，現(xiàn)在已經(jīng)被成功分類了。