
學(xué)習(xí)了那么多機(jī)器學(xué)習(xí)模型,一切都是為了實(shí)踐,動(dòng)手自己寫寫這些模型的實(shí)現(xiàn)對(duì)自己很有幫助的,堅(jiān)持,共勉。本文主要致力于總結(jié)貝葉斯實(shí)戰(zhàn)中程序代碼的實(shí)現(xiàn)(python)及樸素貝葉斯模型原理的總結(jié)。python的numpy包簡(jiǎn)化了很多計(jì)算,另外本人推薦使用pandas做數(shù)據(jù)統(tǒng)計(jì)。
一 引言
讓你猜測(cè)一個(gè)身高2.16的人的職業(yè),你一般會(huì)猜測(cè)他是籃球運(yùn)動(dòng)員。這個(gè)原理就是樸素貝葉斯原理,因?yàn)榛@球運(yùn)動(dòng)員大多身高很高,所以這個(gè)人具有籃球運(yùn)動(dòng)員的條件,則猜測(cè)他是籃球運(yùn)動(dòng)員。
同理,另一個(gè)升高1.58的人,你應(yīng)該不會(huì)猜他是籃球運(yùn)動(dòng)員。
二 理論
條件貝葉斯公式:p(Ci | x,y)=p(x,y | Ci)*p(Ci) / p(x,y)
計(jì)算每個(gè)類別的概率,若p(C1 | x,y) > p(~C1 | x,y), 則類別屬于類C1,否則不屬于類C1。
程序中在模型訓(xùn)練的時(shí)候,只需要先在訓(xùn)練樣本中計(jì)算好先驗(yàn)概率 p(Ci) 和 條件概率 p(x,y | Ci) 即可,因?yàn)閜(x,y)不隨Ci變化,不影響p(Ci | x,y)的最好大小。
注:條件貝葉斯是保證條件之間獨(dú)立的(文檔分類中是假設(shè)一個(gè)詞匯出現(xiàn)與其他詞匯是否出現(xiàn)無(wú)關(guān),然而同一主題的詞匯一起出現(xiàn)的概率很高,存在關(guān)聯(lián)),所以這個(gè)假設(shè)過于簡(jiǎn)單;盡管如此,然而事實(shí)表明,樸素貝葉斯的效果還很好。
三 實(shí)戰(zhàn)1 -文本分類(應(yīng)用過濾惡意留言等)
下面是二分類問題,文檔只能屬于0和1兩個(gè)類別,
1 載入數(shù)據(jù)集:6條文本及它們各自的類別,這6條文本作為訓(xùn)練集。
from numpy import *
def loadDataSet():
postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
['stop', 'posting', 'stupid', 'worthless', 'garbage'],
['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
classVec = [0,1,0,1,0,1] #1 is abusive, 0 not
return postingList,classVec
2 創(chuàng)建詞匯表:利用集合結(jié)構(gòu)內(nèi)元素的唯一性,創(chuàng)建一個(gè)包含所有詞匯的詞表。
[python] view plain copy
def createVocabList(dataSet):
vocabSet = set([]) #create empty set
for document in dataSet:
vocabSet = vocabSet | set(document) #union of the two sets
return list(vocabSet)
3 把輸入文本根據(jù)詞表轉(zhuǎn)化為計(jì)算機(jī)可處理的01向量形式:
eq,測(cè)試文本1: ['love', 'my', 'dalmation']
詞匯表:['cute', 'love', 'help', 'garbage', 'quit', 'I', 'problems', 'is', 'park', 'stop', 'flea', 'dalmation', 'licks', 'food', 'not', 'him', 'buying', 'posting', 'has', 'worthless', 'ate', 'to', 'maybe', 'please', 'dog', 'how', 'stupid', 'so', 'take', 'mr', 'steak', 'my']
向量化結(jié)果:[0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1]
[python] view plain copy
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0]*len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] = 1
else: print "the word: %s is not in my Vocabulary!" % word
return returnVec
4訓(xùn)練模型:在訓(xùn)練樣本中計(jì)算先驗(yàn)概率 p(Ci) 和 條件概率 p(x,y | Ci),本實(shí)例有0和1兩個(gè)類別,所以返回p(x,y | 0),p(x,y | 1)和p(Ci)。
此處有兩個(gè)改進(jìn)的地方:
(1)若有的類別沒有出現(xiàn),其概率就是0,會(huì)十分影響分類器的性能。所以采取各類別默認(rèn)1次累加,總類別(兩類)次數(shù)2,這樣不影響相對(duì)大小。
(2)若很小是數(shù)字相乘,則結(jié)果會(huì)更小,再四舍五入存在誤差,而且會(huì)造成下溢出。采取取log,乘法變?yōu)榧臃ǎ⑶蚁鄬?duì)大小趨勢(shì)不變。
[python] view plain copy
def trainNB0(trainMatrix,trainCategory):
numTrainDocs = len(trainMatrix)
numWords = len(trainMatrix[0])
pAbusive = sum(trainCategory)/float(numTrainDocs)
p0Num = ones(numWords); p1Num = ones(numWords) #change to ones()
p0Denom = 2.0; p1Denom = 2.0 #change to 2.0
for i in range(numTrainDocs):
if trainCategory[i] == 1:
p1Num += trainMatrix[i]
p1Denom += sum(trainMatrix[i])
else:
p0Num += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
p1Vect = log(p1Num/p1Denom) #change to log()
p0Vect = log(p0Num/p0Denom) #change to log()
return p0Vect,p1Vect,pAbusive
5 分類:根據(jù)計(jì)算后,哪個(gè)類別的概率大,則屬于哪個(gè)類別。
[python] view plain copy
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
p1 = sum(vec2Classify * p1Vec) + log(pClass1) #element-wise mult
p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
if p1 > p0:
return 1
else:
return 0
6 測(cè)試函數(shù):
加載數(shù)據(jù)集+提煉詞表;
訓(xùn)練模型:根據(jù)六條訓(xùn)練集計(jì)算先驗(yàn)概率和條件概率;
測(cè)試模型:對(duì)訓(xùn)練兩條測(cè)試文本進(jìn)行分類。
[python] view plain copy
def testingNB():
listOPosts,listClasses = loadDataSet()
myVocabList = createVocabList(listOPosts)
trainMat=[]
for postinDoc in listOPosts:
trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))
testEntry = ['love', 'my', 'dalmation']
thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)
testEntry = ['stupid', 'garbage']
thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)
缺點(diǎn):詞表只能記錄詞匯是否出現(xiàn),不能體現(xiàn)這個(gè)詞匯出現(xiàn)的次數(shù)。改進(jìn)方法:采用詞袋模型,見下面垃圾郵件分類實(shí)戰(zhàn)。
四 實(shí)戰(zhàn)2-垃圾郵件分類
1 對(duì)郵件的文本劃分成詞匯,長(zhǎng)度小于2的默認(rèn)為不是詞匯,過濾掉即可。返回一串小寫的拆分后的郵件信息。
[python] view plain copy
def textParse(bigString): #input is big string, #output is word list
import re
listOfTokens = re.split(r'\W*', bigString)
return [tok.lower() for tok in listOfTokens if len(tok) > 2]
2 文檔詞袋模型:使用數(shù)組代替集合數(shù)據(jù)結(jié)構(gòu),可以保存詞匯頻率信息。
[python] view plain copy
def bagOfWords2VecMN(vocabList, inputSet):
returnVec = [0]*len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] += 1
return returnVec
3 輸入為25封正常郵件和25封垃圾郵件。50封郵件中隨機(jī)選取10封作為測(cè)試樣本,剩余40封作為訓(xùn)練樣本。
訓(xùn)練模型:40封訓(xùn)練樣本,訓(xùn)練出先驗(yàn)概率和條件概率;
測(cè)試模型:遍歷10個(gè)測(cè)試樣本,計(jì)算垃圾郵件分類的正確率。
[python] view plain copy
def spamTest():
docList=[]; classList = []; fullText =[]
for i in range(1,26):
wordList = textParse(open('email/spam/%d.txt' % i).read())
# print wordList
docList.append(wordList)
fullText.extend(wordList)
classList.append(1)
wordList = textParse(open('email/ham/%d.txt' % i).read())
docList.append(wordList)
fullText.extend(wordList)
classList.append(0)
vocabList = createVocabList(docList)#create vocabulary
trainingSet = range(50); testSet=[] #create test set
for i in range(10):
randIndex = int(random.uniform(0,len(trainingSet)))
testSet.append(trainingSet[randIndex])
del(trainingSet[randIndex])
trainMat=[]; trainClasses = []
for docIndex in trainingSet:#train the classifier (get probs) trainNB0
trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex]))
trainClasses.append(classList[docIndex])
p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses))
errorCount = 0
for docIndex in testSet: #classify the remaining items
wordVector = bagOfWords2VecMN(vocabList, docList[docIndex])
if classifyNB(array(wordVector),p0V,p1V,pSpam) != classList[docIndex]:
errorCount += 1
print "classification error",docList[docIndex]
print 'the error rate is: ',float(errorCount)/len(testSet)
#return vocabList,fullText
五 小結(jié)
上面我處理的樣本的屬性值都是分類型的,然而數(shù)值型的樸素貝葉斯能處理嗎?
1 樸素貝葉斯處理數(shù)值型數(shù)據(jù)的方法:
?。?) 區(qū)間離散化,設(shè)閾值,分段。
?。?) 高斯化:求出概率密度函數(shù),假設(shè)變量服從正態(tài)分布,根據(jù)已有變量統(tǒng)計(jì)均值和方差,
得出概率密度函數(shù),這樣就解決了計(jì)算連續(xù)值作為分類的條件概率值。
2 除0問題:
Laplace校準(zhǔn) 所有計(jì)算均加一,總類別數(shù)目加n;
3 下溢出:很小的值相乘,四舍五入誤差
采用log 乘法變相加;
4移除停用詞:也可以提高文本分類的性能
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03