樸素貝葉斯模型:文本分類+垃圾郵件分類

學(xué)習(xí)了那么多機(jī)器學(xué)習(xí)模型，一切都是為了實(shí)踐，動(dòng)手自己寫寫這些模型的實(shí)現(xiàn)對(duì)自己很有幫助的，堅(jiān)持，共勉。本文主要致力于總結(jié)貝葉斯實(shí)戰(zhàn)中程序代碼的實(shí)現(xiàn)（python）及樸素貝葉斯模型原理的總結(jié)。python的numpy包簡(jiǎn)化了很多計(jì)算，另外本人推薦使用pandas做數(shù)據(jù)統(tǒng)計(jì)。

一 引言

讓你猜測(cè)一個(gè)身高2.16的人的職業(yè)，你一般會(huì)猜測(cè)他是籃球運(yùn)動(dòng)員。這個(gè)原理就是樸素貝葉斯原理，因?yàn)榛@球運(yùn)動(dòng)員大多身高很高，所以這個(gè)人具有籃球運(yùn)動(dòng)員的條件，則猜測(cè)他是籃球運(yùn)動(dòng)員。

同理，另一個(gè)升高1.58的人，你應(yīng)該不會(huì)猜他是籃球運(yùn)動(dòng)員。

二 理論

條件貝葉斯公式：p(Ci | x,y)=p(x,y | Ci)*p(Ci) / p(x,y)

計(jì)算每個(gè)類別的概率，若p(C1 | x,y) > p(~C1 | x,y), 則類別屬于類C1，否則不屬于類C1。

程序中在模型訓(xùn)練的時(shí)候，只需要先在訓(xùn)練樣本中計(jì)算好先驗(yàn)概率 p(Ci) 和 條件概率 p(x,y | Ci) 即可，因?yàn)閜(x,y)不隨Ci變化，不影響p(Ci | x,y)的最好大小。

注：條件貝葉斯是保證條件之間獨(dú)立的（文檔分類中是假設(shè)一個(gè)詞匯出現(xiàn)與其他詞匯是否出現(xiàn)無(wú)關(guān)，然而同一主題的詞匯一起出現(xiàn)的概率很高，存在關(guān)聯(lián)），所以這個(gè)假設(shè)過于簡(jiǎn)單；盡管如此，然而事實(shí)表明，樸素貝葉斯的效果還很好。

三 實(shí)戰(zhàn)1 -文本分類（應(yīng)用過濾惡意留言等）

下面是二分類問題，文檔只能屬于0和1兩個(gè)類別，

1 載入數(shù)據(jù)集：6條文本及它們各自的類別，這6條文本作為訓(xùn)練集。

    from numpy import *  
      
    def loadDataSet():  
        postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],  
                     ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],  
                     ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],  
                     ['stop', 'posting', 'stupid', 'worthless', 'garbage'],  
                     ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],  
                     ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]  
        classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not  
        return postingList,classVec  

2 創(chuàng)建詞匯表：利用集合結(jié)構(gòu)內(nèi)元素的唯一性，創(chuàng)建一個(gè)包含所有詞匯的詞表。
[python] view plain copy

    def createVocabList(dataSet):  
        vocabSet = set([])  #create empty set  
        for document in dataSet:  
            vocabSet = vocabSet | set(document) #union of the two sets  
        return list(vocabSet)  

3 把輸入文本根據(jù)詞表轉(zhuǎn)化為計(jì)算機(jī)可處理的01向量形式：
　　eq，測(cè)試文本1： ['love', 'my', 'dalmation']

　　　　詞匯表：['cute', 'love', 'help', 'garbage', 'quit', 'I', 'problems', 'is', 'park', 'stop', 'flea', 'dalmation', 'licks', 'food', 'not', 'him', 'buying', 'posting', 'has', 'worthless', 'ate', 'to', 'maybe', 'please', 'dog', 'how', 'stupid', 'so', 'take', 'mr', 'steak', 'my']

　　　　向量化結(jié)果：[0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1]

[python] view plain copy

    def setOfWords2Vec(vocabList, inputSet):  
        returnVec = [0]*len(vocabList)  
        for word in inputSet:  
            if word in vocabList:  
                returnVec[vocabList.index(word)] = 1  
            else: print "the word: %s is not in my Vocabulary!" % word  
        return returnVec  

4訓(xùn)練模型：在訓(xùn)練樣本中計(jì)算先驗(yàn)概率 p(Ci) 和 條件概率 p(x,y | Ci)，本實(shí)例有0和1兩個(gè)類別，所以返回p(x,y | 0)，p(x,y | 1)和p(Ci)。
　　此處有兩個(gè)改進(jìn)的地方：
　　　　（1）若有的類別沒有出現(xiàn)，其概率就是0，會(huì)十分影響分類器的性能。所以采取各類別默認(rèn)1次累加，總類別（兩類）次數(shù)2，這樣不影響相對(duì)大小。
　　　　（2）若很小是數(shù)字相乘，則結(jié)果會(huì)更小，再四舍五入存在誤差，而且會(huì)造成下溢出。采取取log，乘法變?yōu)榧臃ǎ⑶蚁鄬?duì)大小趨勢(shì)不變。
[python] view plain copy

    def trainNB0(trainMatrix,trainCategory):  
        numTrainDocs = len(trainMatrix)  
        numWords = len(trainMatrix[0])  
        pAbusive = sum(trainCategory)/float(numTrainDocs)  
        p0Num = ones(numWords); p1Num = ones(numWords)      #change to ones()   
        p0Denom = 2.0; p1Denom = 2.0                        #change to 2.0  
        for i in range(numTrainDocs):  
            if trainCategory[i] == 1:          
                p1Num += trainMatrix[i]  
                p1Denom += sum(trainMatrix[i])  
            else:  
                p0Num += trainMatrix[i]  
                p0Denom += sum(trainMatrix[i])  
        p1Vect = log(p1Num/p1Denom)          #change to log()  
        p0Vect = log(p0Num/p0Denom)          #change to log()  
      
        return p0Vect,p1Vect,pAbusive  

5 分類：根據(jù)計(jì)算后，哪個(gè)類別的概率大，則屬于哪個(gè)類別。
[python] view plain copy

    def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):  
        p1 = sum(vec2Classify * p1Vec) + log(pClass1)    #element-wise mult  
        p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)  
        if p1 > p0:  
            return 1  
        else:   
            return 0  

6 測(cè)試函數(shù)：
　　　加載數(shù)據(jù)集+提煉詞表；
　　　　訓(xùn)練模型：根據(jù)六條訓(xùn)練集計(jì)算先驗(yàn)概率和條件概率；
　　　　測(cè)試模型：對(duì)訓(xùn)練兩條測(cè)試文本進(jìn)行分類。
[python] view plain copy

    def testingNB():  
        listOPosts,listClasses = loadDataSet()  
        myVocabList = createVocabList(listOPosts)  
        trainMat=[]  
        for postinDoc in listOPosts:  
            trainMat.append(setOfWords2Vec(myVocabList, postinDoc))  
        p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))  
        testEntry = ['love', 'my', 'dalmation']  
        thisDoc = array(setOfWords2Vec(myVocabList, testEntry))  
        print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)  
        testEntry = ['stupid', 'garbage']  
        thisDoc = array(setOfWords2Vec(myVocabList, testEntry))  
        print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)  

缺點(diǎn)：詞表只能記錄詞匯是否出現(xiàn)，不能體現(xiàn)這個(gè)詞匯出現(xiàn)的次數(shù)。改進(jìn)方法：采用詞袋模型，見下面垃圾郵件分類實(shí)戰(zhàn)。

四 實(shí)戰(zhàn)2-垃圾郵件分類
　　1 對(duì)郵件的文本劃分成詞匯，長(zhǎng)度小于2的默認(rèn)為不是詞匯，過濾掉即可。返回一串小寫的拆分后的郵件信息。
[python] view plain copy

    def textParse(bigString):    #input is big string, #output is word list  
        import re  
        listOfTokens = re.split(r'\W*', bigString)  
        return [tok.lower() for tok in listOfTokens if len(tok) > 2]   

2 文檔詞袋模型：使用數(shù)組代替集合數(shù)據(jù)結(jié)構(gòu)，可以保存詞匯頻率信息。
[python] view plain copy

    def bagOfWords2VecMN(vocabList, inputSet):  
        returnVec = [0]*len(vocabList)  
        for word in inputSet:  
            if word in vocabList:  
                returnVec[vocabList.index(word)] += 1  
        return returnVec  

3 輸入為25封正常郵件和25封垃圾郵件。50封郵件中隨機(jī)選取10封作為測(cè)試樣本，剩余40封作為訓(xùn)練樣本。
　　　訓(xùn)練模型：40封訓(xùn)練樣本，訓(xùn)練出先驗(yàn)概率和條件概率；
　　　測(cè)試模型：遍歷10個(gè)測(cè)試樣本，計(jì)算垃圾郵件分類的正確率。
[python] view plain copy

    def spamTest():  
        docList=[]; classList = []; fullText =[]  
        for i in range(1,26):  
            wordList = textParse(open('email/spam/%d.txt' % i).read())  
            # print wordList  
            docList.append(wordList)  
            fullText.extend(wordList)  
            classList.append(1)  
            wordList = textParse(open('email/ham/%d.txt' % i).read())  
            docList.append(wordList)  
            fullText.extend(wordList)  
            classList.append(0)  
        vocabList = createVocabList(docList)#create vocabulary  
        trainingSet = range(50); testSet=[]           #create test set  
        for i in range(10):  
            randIndex = int(random.uniform(0,len(trainingSet)))  
            testSet.append(trainingSet[randIndex])  
            del(trainingSet[randIndex])    
        trainMat=[]; trainClasses = []  
        for docIndex in trainingSet:#train the classifier (get probs) trainNB0  
            trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex]))  
            trainClasses.append(classList[docIndex])  
        p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses))  
        errorCount = 0  
        for docIndex in testSet:        #classify the remaining items  
            wordVector = bagOfWords2VecMN(vocabList, docList[docIndex])  
            if classifyNB(array(wordVector),p0V,p1V,pSpam) != classList[docIndex]:  
                errorCount += 1  
                print "classification error",docList[docIndex]  
        print 'the error rate is: ',float(errorCount)/len(testSet)  
        #return vocabList,fullText  

五 小結(jié)
　　上面我處理的樣本的屬性值都是分類型的，然而數(shù)值型的樸素貝葉斯能處理嗎？
　　1 樸素貝葉斯處理數(shù)值型數(shù)據(jù)的方法：
　?。?） 區(qū)間離散化，設(shè)閾值，分段。
　?。?） 高斯化：求出概率密度函數(shù)，假設(shè)變量服從正態(tài)分布，根據(jù)已有變量統(tǒng)計(jì)均值和方差，
　　　　得出概率密度函數(shù)，這樣就解決了計(jì)算連續(xù)值作為分類的條件概率值。
　　2 除0問題：
　　　　Laplace校準(zhǔn) 所有計(jì)算均加一，總類別數(shù)目加n；
　　3 下溢出：很小的值相乘，四舍五入誤差
　　　　采用log 乘法變相加；
　　4移除停用詞：也可以提高文本分類的性能