99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁(yè)精彩閱讀樸素貝葉斯模型:文本分類+垃圾郵件分類
樸素貝葉斯模型:文本分類+垃圾郵件分類
2017-12-10
收藏

樸素貝葉斯模型:文本分類+垃圾郵件分類

學(xué)習(xí)了那么多機(jī)器學(xué)習(xí)模型,一切都是為了實(shí)踐,動(dòng)手自己寫寫這些模型的實(shí)現(xiàn)對(duì)自己很有幫助的,堅(jiān)持,共勉。本文主要致力于總結(jié)貝葉斯實(shí)戰(zhàn)中程序代碼的實(shí)現(xiàn)(python)及樸素貝葉斯模型原理的總結(jié)。pythonnumpy包簡(jiǎn)化了很多計(jì)算,另外本人推薦使用pandas做數(shù)據(jù)統(tǒng)計(jì)。

一 引言

讓你猜測(cè)一個(gè)身高2.16的人的職業(yè),你一般會(huì)猜測(cè)他是籃球運(yùn)動(dòng)員。這個(gè)原理就是樸素貝葉斯原理,因?yàn)榛@球運(yùn)動(dòng)員大多身高很高,所以這個(gè)人具有籃球運(yùn)動(dòng)員的條件,則猜測(cè)他是籃球運(yùn)動(dòng)員。

同理,另一個(gè)升高1.58的人,你應(yīng)該不會(huì)猜他是籃球運(yùn)動(dòng)員。

二 理論

條件貝葉斯公式:p(Ci | x,y)=p(x,y | Ci)*p(Ci) / p(x,y)

計(jì)算每個(gè)類別的概率,若p(C1 | x,y) > p(~C1 | x,y), 則類別屬于類C1,否則不屬于類C1。

程序中在模型訓(xùn)練的時(shí)候,只需要先在訓(xùn)練樣本中計(jì)算好先驗(yàn)概率 p(Ci) 和 條件概率 p(x,y | Ci) 即可,因?yàn)閜(x,y)不隨Ci變化,不影響p(Ci | x,y)的最好大小。

注:條件貝葉斯是保證條件之間獨(dú)立的(文檔分類中是假設(shè)一個(gè)詞匯出現(xiàn)與其他詞匯是否出現(xiàn)無(wú)關(guān),然而同一主題的詞匯一起出現(xiàn)的概率很高,存在關(guān)聯(lián)),所以這個(gè)假設(shè)過于簡(jiǎn)單;盡管如此,然而事實(shí)表明,樸素貝葉斯的效果還很好。

三 實(shí)戰(zhàn)1 -文本分類(應(yīng)用過濾惡意留言等)

下面是二分類問題,文檔只能屬于0和1兩個(gè)類別,

1 載入數(shù)據(jù)集:6條文本及它們各自的類別,這6條文本作為訓(xùn)練集。

    from numpy import *  
      
    def loadDataSet():  
        postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],  
                     ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],  
                     ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],  
                     ['stop', 'posting', 'stupid', 'worthless', 'garbage'],  
                     ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],  
                     ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]  
        classVec = [0,1,0,1,0,1]    #1 is abusive, 0 not  
        return postingList,classVec  

2 創(chuàng)建詞匯表:利用集合結(jié)構(gòu)內(nèi)元素的唯一性,創(chuàng)建一個(gè)包含所有詞匯的詞表。
[python] view plain copy

    def createVocabList(dataSet):  
        vocabSet = set([])  #create empty set  
        for document in dataSet:  
            vocabSet = vocabSet | set(document) #union of the two sets  
        return list(vocabSet)  

3 把輸入文本根據(jù)詞表轉(zhuǎn)化為計(jì)算機(jī)可處理的01向量形式:
  eq,測(cè)試文本1: ['love', 'my', 'dalmation']

    詞匯表:['cute', 'love', 'help', 'garbage', 'quit', 'I', 'problems', 'is', 'park', 'stop', 'flea', 'dalmation', 'licks', 'food', 'not', 'him', 'buying', 'posting', 'has', 'worthless', 'ate', 'to', 'maybe', 'please', 'dog', 'how', 'stupid', 'so', 'take', 'mr', 'steak', 'my']

    向量化結(jié)果:[0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1]

[python] view plain copy

    def setOfWords2Vec(vocabList, inputSet):  
        returnVec = [0]*len(vocabList)  
        for word in inputSet:  
            if word in vocabList:  
                returnVec[vocabList.index(word)] = 1  
            else: print "the word: %s is not in my Vocabulary!" % word  
        return returnVec  

4訓(xùn)練模型:在訓(xùn)練樣本中計(jì)算先驗(yàn)概率 p(Ci) 和 條件概率 p(x,y | Ci),本實(shí)例有0和1兩個(gè)類別,所以返回p(x,y | 0),p(x,y | 1)和p(Ci)。
  此處有兩個(gè)改進(jìn)的地方:
    (1)若有的類別沒有出現(xiàn),其概率就是0,會(huì)十分影響分類器的性能。所以采取各類別默認(rèn)1次累加,總類別(兩類)次數(shù)2,這樣不影響相對(duì)大小。
    (2)若很小是數(shù)字相乘,則結(jié)果會(huì)更小,再四舍五入存在誤差,而且會(huì)造成下溢出。采取取log,乘法變?yōu)榧臃ǎ⑶蚁鄬?duì)大小趨勢(shì)不變。
[python] view plain copy

    def trainNB0(trainMatrix,trainCategory):  
        numTrainDocs = len(trainMatrix)  
        numWords = len(trainMatrix[0])  
        pAbusive = sum(trainCategory)/float(numTrainDocs)  
        p0Num = ones(numWords); p1Num = ones(numWords)      #change to ones()   
        p0Denom = 2.0; p1Denom = 2.0                        #change to 2.0  
        for i in range(numTrainDocs):  
            if trainCategory[i] == 1:          
                p1Num += trainMatrix[i]  
                p1Denom += sum(trainMatrix[i])  
            else:  
                p0Num += trainMatrix[i]  
                p0Denom += sum(trainMatrix[i])  
        p1Vect = log(p1Num/p1Denom)          #change to log()  
        p0Vect = log(p0Num/p0Denom)          #change to log()  
      
        return p0Vect,p1Vect,pAbusive  

5 分類:根據(jù)計(jì)算后,哪個(gè)類別的概率大,則屬于哪個(gè)類別。
[python] view plain copy

    def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):  
        p1 = sum(vec2Classify * p1Vec) + log(pClass1)    #element-wise mult  
        p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)  
        if p1 > p0:  
            return 1  
        else:   
            return 0  

6 測(cè)試函數(shù):
   加載數(shù)據(jù)集+提煉詞表;
    訓(xùn)練模型:根據(jù)六條訓(xùn)練集計(jì)算先驗(yàn)概率和條件概率;
    測(cè)試模型:對(duì)訓(xùn)練兩條測(cè)試文本進(jìn)行分類。
[python] view plain copy

    def testingNB():  
        listOPosts,listClasses = loadDataSet()  
        myVocabList = createVocabList(listOPosts)  
        trainMat=[]  
        for postinDoc in listOPosts:  
            trainMat.append(setOfWords2Vec(myVocabList, postinDoc))  
        p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))  
        testEntry = ['love', 'my', 'dalmation']  
        thisDoc = array(setOfWords2Vec(myVocabList, testEntry))  
        print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)  
        testEntry = ['stupid', 'garbage']  
        thisDoc = array(setOfWords2Vec(myVocabList, testEntry))  
        print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)  

缺點(diǎn):詞表只能記錄詞匯是否出現(xiàn),不能體現(xiàn)這個(gè)詞匯出現(xiàn)的次數(shù)。改進(jìn)方法:采用詞袋模型,見下面垃圾郵件分類實(shí)戰(zhàn)。

四 實(shí)戰(zhàn)2-垃圾郵件分類
  1 對(duì)郵件的文本劃分成詞匯,長(zhǎng)度小于2的默認(rèn)為不是詞匯,過濾掉即可。返回一串小寫的拆分后的郵件信息。
[python] view plain copy

    def textParse(bigString):    #input is big string, #output is word list  
        import re  
        listOfTokens = re.split(r'\W*', bigString)  
        return [tok.lower() for tok in listOfTokens if len(tok) > 2]   

2 文檔詞袋模型:使用數(shù)組代替集合數(shù)據(jù)結(jié)構(gòu),可以保存詞匯頻率信息。
[python] view plain copy

    def bagOfWords2VecMN(vocabList, inputSet):  
        returnVec = [0]*len(vocabList)  
        for word in inputSet:  
            if word in vocabList:  
                returnVec[vocabList.index(word)] += 1  
        return returnVec  

3 輸入為25封正常郵件和25封垃圾郵件。50封郵件中隨機(jī)選取10封作為測(cè)試樣本,剩余40封作為訓(xùn)練樣本。
   訓(xùn)練模型:40封訓(xùn)練樣本,訓(xùn)練出先驗(yàn)概率和條件概率;
   測(cè)試模型:遍歷10個(gè)測(cè)試樣本,計(jì)算垃圾郵件分類的正確率。
[python] view plain copy

    def spamTest():  
        docList=[]; classList = []; fullText =[]  
        for i in range(1,26):  
            wordList = textParse(open('email/spam/%d.txt' % i).read())  
            # print wordList  
            docList.append(wordList)  
            fullText.extend(wordList)  
            classList.append(1)  
            wordList = textParse(open('email/ham/%d.txt' % i).read())  
            docList.append(wordList)  
            fullText.extend(wordList)  
            classList.append(0)  
        vocabList = createVocabList(docList)#create vocabulary  
        trainingSet = range(50); testSet=[]           #create test set  
        for i in range(10):  
            randIndex = int(random.uniform(0,len(trainingSet)))  
            testSet.append(trainingSet[randIndex])  
            del(trainingSet[randIndex])    
        trainMat=[]; trainClasses = []  
        for docIndex in trainingSet:#train the classifier (get probs) trainNB0  
            trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex]))  
            trainClasses.append(classList[docIndex])  
        p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses))  
        errorCount = 0  
        for docIndex in testSet:        #classify the remaining items  
            wordVector = bagOfWords2VecMN(vocabList, docList[docIndex])  
            if classifyNB(array(wordVector),p0V,p1V,pSpam) != classList[docIndex]:  
                errorCount += 1  
                print "classification error",docList[docIndex]  
        print 'the error rate is: ',float(errorCount)/len(testSet)  
        #return vocabList,fullText  

五 小結(jié)
  上面我處理的樣本的屬性值都是分類型的,然而數(shù)值型的樸素貝葉斯能處理嗎?
  1 樸素貝葉斯處理數(shù)值型數(shù)據(jù)的方法:
 ?。?) 區(qū)間離散化,設(shè)閾值,分段。
 ?。?) 高斯化:求出概率密度函數(shù),假設(shè)變量服從正態(tài)分布,根據(jù)已有變量統(tǒng)計(jì)均值和方差,
    得出概率密度函數(shù),這樣就解決了計(jì)算連續(xù)值作為分類的條件概率值。
  2 除0問題:
    Laplace校準(zhǔn) 所有計(jì)算均加一,總類別數(shù)目加n;
  3 下溢出:很小的值相乘,四舍五入誤差
    采用log 乘法變相加;
  4移除停用詞:也可以提高文本分類的性能


數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼,搜微信號(hào):CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }