在文本分類，垃圾郵件過濾的場景中，我們經(jīng)常會用到的是樸素貝葉斯算法，今天小編就具體給大家介紹一下樸素貝葉斯算法

一、樸素貝葉斯算法簡介

1.樸素貝葉斯算法概念

樸素貝葉斯法是基于貝葉斯定理與特征條件獨立假設(shè)的分類方法。樸素貝葉斯分類器(Naive Bayes Classifier,或 NBC)發(fā)源于古典數(shù)學理論，有著堅實的數(shù)學基礎(chǔ)，以及穩(wěn)定的分類效率。

2.樸素貝葉斯算法優(yōu)缺點

優(yōu)點：

(1)樸素貝葉斯模型發(fā)源于古典數(shù)學理論，分類效率比較穩(wěn)定。

(2)對小規(guī)模的數(shù)據(jù)表現(xiàn)很好，能夠用于多分類任務(wù)的處理，適合增量式訓練，尤其是在數(shù)據(jù)量超出內(nèi)存的情況下，能夠一批批的去增量訓練。

(3)算法簡單，對缺失數(shù)據(jù)不太敏感。

缺點：

(1)理論上，樸素貝葉斯模型與其他分類方法相比具有最小的誤差率。但是實際上并非總是如此，這是因為樸素貝葉斯模型假設(shè)屬性之間是相互獨立的，而這個假設(shè)在實際應(yīng)用中往往并不成立的。雖然在屬性相關(guān)性較小時，樸素貝葉斯性能良好。但是，在屬性個數(shù)比較多或者屬性之間相關(guān)性較大時，分類效果并不好。

(2)需要知道先驗概率，并且先驗概率在很多時候多是取決于假設(shè)，假設(shè)的模型可以有多種，從而導致在某些時候會由于假設(shè)的先驗?zāi)Ｐ投沟妙A(yù)測效果不佳。

(3)因為是通過先驗和數(shù)據(jù)來決定后驗的概率來決定分類的，所以分類決策存在一定的錯誤率。

(4)對輸入數(shù)據(jù)的表達形式很敏感。

二、貝葉斯定理

既然，樸素貝葉斯法是基于貝葉斯定理與特征條件獨立假設(shè)的分類方法。那么接下來我們就來了解一下貝葉斯定理。

貝葉斯算法是英國數(shù)學家貝葉斯(約1701-1761)Thomas Bayes，生前提出為解決“逆概”問題而提出的。

條件概率就是事件 A 在另外一個事件 B 已經(jīng)發(fā)生條件下的發(fā)生概率。條件概率表示為P(A|B)，讀作“在 B 發(fā)生的條件下 A 發(fā)生的概率”。

聯(lián)合概率表示兩個事件共同發(fā)生(數(shù)學概念上的交集)的概率。A 與 B 的聯(lián)合概率表示為

推導：

從條件概率的定義推導出貝葉斯定理。

根據(jù)條件概率的定義，在事件 B 發(fā)生的條件下事件 A 發(fā)生的概率為：

同樣道理，在事件 A 發(fā)生的條件下事件 B 發(fā)生的概率為：

結(jié)合這兩個方程式，能夠得到：

這個引理有時稱作概率乘法規(guī)則。上式兩邊同除以 P(A)，若P(A)是非零的，就能得到貝葉斯定理:

三、python實現(xiàn)文本分類

# 文本分類器
import numpy as np


# 數(shù)據(jù)樣本
def loadDataSet():
    # dataset = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
    #     #            ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
    #     #            ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'hime'],
    #     #            ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
    #     #            ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
    #     #            ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    dataset = [['玩', '游', '戲', '吧'],
               ['玩', 'lol', '吧'],
               ['我', '要', '學', '習'],
               ['學', '習', '使', '我', '快', '了'],
               ['學', '習', '萬', '歲'],
               ['我', '要', '玩', '耍']]
    label = [1, 1, 0, 0, 0, 1]
    return dataset, label


# 獲取文檔中出現(xiàn)的不重復(fù)詞表
def createVocabList(dataset):
    vocaset = set([])  # 用集合結(jié)構(gòu)得到不重復(fù)詞表
    for document in dataset:
        vocaset = vocaset | set(document)  # 兩個集合的并集
    return list(vocaset)


def setword(listvocaset, inputSet):
    newVocaset = [0] * len(listvocaset)
    for data in inputSet:
        if data in listvocaset:
            newVocaset[listvocaset.index(data)] = 1  # 如果文檔中的單詞在列表中，則列表對應(yīng)索引元素變?yōu)?
    return newVocaset


def train(listnewVocaset, label):
    label = np.array(label)
    numDocument = len(listnewVocaset)  # 樣本總數(shù)
    numWord = len(listnewVocaset[0])  # 詞表的大小
    pInsult = np.sum(label) / float(numDocument)
    p0num = np.ones(numWord)  # 非侮辱詞匯
    p1num = np.ones(numWord)  # 侮辱詞匯
    p0Denom = 2.0  # 拉普拉斯平滑
    p1Denom = 2.0
    for i in range(numDocument):
        if label[i] == 1:
            p1num += listnewVocaset[i]
            p1Denom += 1
        else:
            p0num += listnewVocaset[i]
            p0Denom += 1
        # 取對數(shù)是為了防止因為小數(shù)連乘而造成向下溢出
        p0 = np.log(p0num / p0Denom)  # 屬于非侮辱性文檔的概率
        p1 = np.log(p1num / p1Denom)  # 屬于侮辱性文檔的概率
    return p0, p1, pInsult


# 分類函數(shù)
def classiyyNB(Inputdata, p0, p1, pInsult):
    # 因為取對數(shù)，因此連乘操作就變成了連續(xù)相加
    p0vec = np.sum(Inputdata * p0) + np.log(pInsult)
    p1vec = np.sum(Inputdata * p1) + np.log(1.0 - pInsult)
    if p0vec > p1vec:
        return 0
    else:
        return 1


def testingNB():
    dataset, label = loadDataSet()
    voast = createVocabList(dataset)
    listnewVocaset = []
    for listvocaset in dataset:
        listnewVocaset.append(setword(voast, listvocaset))
    p0, p1, pInsult = train(listnewVocaset, label)
    Inputdata = ['玩', '一', '玩']
    Inputdata = np.array(Inputdata)
    Inputdata = setword(voast, Inputdata)
    print("這句話對應(yīng)的分類是：")
    print(classiyyNB(Inputdata, p0, p1, pInsult))


testingNB()