機(jī)器學(xué)習(xí)實(shí)戰(zhàn)之樸素貝葉斯

一、概述
樸素貝葉斯分類(lèi)算法是基于概率論中的貝葉斯公式得到的，也是比較常用的一種算法，而樸素代表的是屬性之間的獨(dú)立性，這樣聯(lián)合概率可以轉(zhuǎn)換成各概率分量的乘積。
二、算法思想
其實(shí)這個(gè)算法的思想就是貝葉斯公式，如果不是很了解也沒(méi)什么關(guān)系，只要看點(diǎn)例子就明白了，但由于這里只想給大家提供一些實(shí)用代碼，因此就不仔細(xì)說(shuō)例子了，《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》中的那個(gè)灰石頭的例子就不錯(cuò)，另外，如果還感覺(jué)不是很清楚，推薦看一下《數(shù)據(jù)挖掘導(dǎo)論》中貝葉斯分類(lèi)器部分。

三、實(shí)例算法
不說(shuō)廢話了，現(xiàn)在開(kāi)始介紹樸素貝葉斯的matlab代碼編寫(xiě)，這里我們的目標(biāo)是利用樸素貝葉斯進(jìn)行文檔分類(lèi)，即確定該文檔是侮辱類(lèi)還是非侮辱類(lèi)，分別以1和0表示。
1. 創(chuàng)建測(cè)試數(shù)據(jù)
%% 建立測(cè)試數(shù)據(jù)
postingList = [{‘my dog has flea problems help please’};
               {‘maybe not take him to dog park stupid’};
               {‘my dalmation is so cute I love him’};
               {‘stop posting stupid worthless garbage’};
               {‘mr licks ate my steak how to stop him’};
               {‘quit buying worthless dog food stupid’}];
classVec = [0, 1, 0, 1, 0, 1];
意義應(yīng)該還是比較明確的，就是說(shuō)2,4,6是帶有侮辱性語(yǔ)句的文檔
2. 創(chuàng)建無(wú)重復(fù)單詞的列表
%% 創(chuàng)建無(wú)重復(fù)單詞的列表
[m, n] = size(postingList);
VocabList = [];
 
for  i = 1: m
    tempstr = postingList{i};
    str_split = regexp(tempstr, ‘W*s+’, ‘split’);
    VocabList = [VocabList, str_split];
end
 
VocabList_unique = unique(VocabList);
可以看一下單詞列表
>> VocabList_unique
 
VocabList_unique =
 
  Columns 1 through 8
 
    ‘I’    ‘a(chǎn)te’    ‘buying’    ‘cute’    ‘dalmation’    ‘dog’    ‘flea’    ‘food’
 
  Columns 9 through 16
 
    ‘garbage’    ‘has’    ‘help’    ‘him’    ‘how’    ‘is’    ‘licks’   ‘love’
 
  Columns 17 through 24
 
    ‘maybe’    ‘mr’    ‘my’    ‘not’    ‘park’    ‘please’    ‘posting’   ‘problems’
 
  Columns 25 through 32
 
    ‘quit’    ‘so’    ‘steak’    ‘stop’    ‘stupid’    ‘take’    ‘to’   ‘worthless’
 
 
3. 創(chuàng)建列表向量
由于單詞不好進(jìn)行表述，我們需要根據(jù)單詞列表創(chuàng)建一個(gè)向量表示列表中的單詞是否出現(xiàn)，出現(xiàn)用1表示，未出現(xiàn)用0表示。
setOfWords2Vec.m文件如下
function wordsVec = setOfWords2Vec(vocabList, inputSet)
 
vocabList = unique(vocabList);
inputSet = unique(inputSet);
 
Listnum = length(vocabList);
inputnum = length(inputSet);
 
wordsVec = zeros(1, Listnum);
for  i = 1: inputnum
    for j = 1: Listnum
        if (strcmp(vocabList{j}, inputSet{i}))
            wordsVec(j) = 1;
        end        
    end
end
列表向量測(cè)試代碼如下
%% 創(chuàng)建列表向量測(cè)試
tempstr = postingList{1};
str_split = regexp(tempstr, ‘W*s+’, ‘split’);
 
wordsVec = setOfWords2Vec(VocabList_unique, str_split);
測(cè)試結(jié)果如下
wordsVec =
 
  Columns 1 through 14
 
     0     0     0     0     0     1     1     0     0    1     1     0     0     0
 
  Columns 15 through 28
 
     0     0     0     0     1     0     0     1     0    1     0     0     0     0
 
  Columns 29 through 32
 
     0     0     0     0
上面的意思是測(cè)試postingList第一句’my dog has flea problems help please’
在單詞表中的描述，對(duì)照上面的單詞列表可以看到結(jié)果是正確的，比如wordsVec中的第六第七項(xiàng)為1，在單詞表中表示的是dog 和 flea，這連個(gè)此時(shí)在上面那句話中出現(xiàn)的。
 
4. 貝葉斯分類(lèi)函數(shù)編寫(xiě)
trainNB0.m文件
function [p0Vect, p1Vect, pAbusive] = trainNB0(trainMatrix, trainCategory)
 
[m, n] = size(trainMatrix);
pAbusive = sum(trainCategory) / m;
 
p1words = trainMatrix(find(trainCategory), :);
p0words = trainMatrix(find(1 – trainCategory), :);
 
p0wordscount = sum(p0words, 1) + 1; % 加1是為了防止出現(xiàn)0概率
p1wordscount = sum(p1words, 1) + 1;
 
p0Vect = log(p0wordscount ./ sum(p0wordscount));
p1Vect = log(p1wordscount ./ sum(p1wordscount));
 
這段代碼還是要說(shuō)明一下的
（1）注釋位置那句對(duì)每個(gè)單詞的出現(xiàn)初始化為1，就是說(shuō)就算單詞沒(méi)出現(xiàn)，也將其計(jì)算為1，這是防止出現(xiàn)0概率，導(dǎo)致乘積為0。當(dāng)然避免這個(gè)的方法有很多，每本書(shū)都不太一樣，這里的+1采用的是Laplace平滑方法。
（2）最后算概率加了個(gè)log是減少其動(dòng)態(tài)范圍。
這兩個(gè)都是為了實(shí)際應(yīng)用對(duì)代碼進(jìn)行的修改，也就是說(shuō)，就基本原理而言，不需要+1和增加log。
 
下面，我們對(duì)這個(gè)代碼進(jìn)行測(cè)試
%% 測(cè)試trainNB0
trainMatrix = [];
for  i = 1: m
    tempstr = postingList{i};
    str_split = regexp(tempstr, ‘W*s+’, ‘split’);
    wordsVec = setOfWords2Vec(VocabList_unique, str_split);
    trainMatrix = [trainMatrix;wordsVec];
end
 
[p0V, p1V, pAb] = trainNB0(trainMatrix, classVec);
 
p0V代表0分類(lèi)下，每個(gè)單詞的出現(xiàn)概率，也就是先驗(yàn)概率（由于用了log，所以是負(fù)數(shù)，并且由于+1，故沒(méi)有無(wú)窮大項(xiàng)目）
p0V =
 
  Columns 1 through 8
 
   -3.3322   -3.3322   -4.0254   -3.3322   -3.3322   -3.3322   -3.3322   -4.0254
 
  Columns 9 through 16
 
   -4.0254   -3.3322   -3.3322   -2.9267   -3.3322   -3.3322   -3.3322   -3.3322
 
  Columns 17 through 24
 
   -4.0254   -3.3322   -2.6391   -4.0254   -4.0254   -3.3322   -4.0254   -3.3322
 
  Columns 25 through 32
 
   -4.0254   -3.3322   -3.3322   -3.3322   -4.0254   -4.0254   -3.3322   -4.0254
p1V意義類(lèi)似
p1V =
 
  Columns 1 through 8
 
   -3.9318   -3.9318   -3.2387   -3.9318   -3.9318   -2.8332   -3.9318   -3.2387
 
  Columns 9 through 16
 
   -3.2387   -3.9318   -3.9318   -3.2387   -3.9318   -3.9318   -3.9318   -3.9318
 
  Columns 17 through 24
 
   -3.2387   -3.9318   -3.9318   -3.2387   -3.2387   -3.9318   -3.2387   -3.9318
 
  Columns 25 through 32
 
   -3.2387   -3.9318   -3.9318   -3.2387   -2.5455   -3.2387   -3.2387   -2.8332
pAb代表的是分類(lèi)為1的文件占所有文件的比例
pAb = 0.5
這個(gè)很明顯，因?yàn)闇y(cè)試數(shù)據(jù)中有三個(gè)分類(lèi)為1，并且一個(gè)有6項(xiàng)。
 
5. 分類(lèi)測(cè)試
訓(xùn)練部分的代碼已經(jīng)寫(xiě)完了，下面我們的分類(lèi)器就可以使用了，利用貝葉斯公式計(jì)算p(c | w)并比較大小可以確定分類(lèi)c。
對(duì)于本例來(lái)說(shuō)
p(w|0) = 待分類(lèi)語(yǔ)句中每個(gè)單詞在0類(lèi)出現(xiàn)的概率的乘積
p(w|1) = 待分類(lèi)語(yǔ)句中每個(gè)單詞在1類(lèi)出現(xiàn)的概率的乘積
 
p(0|w) = p(w|0)*p(0) / p(w)
p(1|w) = p(w|1)*p(1) / p(w)
 
如果p(0|w) > p(1|w)分類(lèi)就是0，反之就是1
 
代碼如下
classifyNB.m
function classRes = classifyNB(vec2Classify, p0Vec, p1Vec, pClass1)
p1 = sum(vec2Classify .* p1Vec) + log(pClass1);
p0 = sum(vec2Classify .* p0Vec) + log(1 – pClass1);
if  p1 > p0
    classRes = 1;
else
    classRes = 0;
end
說(shuō)明：
由于前面的概率是以log形式表示的，所以乘積就變成了加法，還有就是p(w)不影響比較結(jié)果，因此未予計(jì)算。
測(cè)試代碼如下
%% 進(jìn)行分類(lèi)測(cè)試
testEntry = ‘love my dalmation’;
str_split = regexp(testEntry, ‘W*s+’, ‘split’);
wordsVec1 = setOfWords2Vec(VocabList_unique, str_split);
classRes1 = classifyNB(wordsVec1, p0V, p1V, pAb);
 
testEntry = ‘stupid garbage’;
str_split = regexp(testEntry, ‘W*s+’, ‘split’);
wordsVec2 = setOfWords2Vec(VocabList_unique, str_split);
classRes2 = classifyNB(wordsVec2, p0V, p1V, pAb);
結(jié)果就是
classRes1 = 0
classRes2 = 1
也就是說(shuō)，分類(lèi)確定第二句帶有侮辱性，其實(shí)從其中的stupid就可以看出
四、算法應(yīng)用
前面就說(shuō)過(guò)，這個(gè)算法應(yīng)用很廣，《實(shí)戰(zhàn)》中給出了兩個(gè)實(shí)例，一個(gè)是垃圾郵件分類(lèi)，這個(gè)和我們這里做的文本分類(lèi)非常類(lèi)似，另外一個(gè)就是從個(gè)人廣告中獲取區(qū)域傾向。都是平時(shí)我們經(jīng)常使用的功能，如果有興趣可以自己編著試一下，很多還是挺有意思的。