
樸素貝葉斯模型
樸素貝葉斯法是基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類(lèi)方法。對(duì)于給定的訓(xùn)練數(shù)據(jù)集,首先基于特征條件獨(dú)立假設(shè)學(xué)習(xí)輸入/輸出的聯(lián)合概率分布;然后基于此模型,對(duì)給定的輸入x,利用貝葉斯定理求出后驗(yàn)概率最大的輸出y。至于樸素貝葉斯模型的原理部分,這里就不講啦,有疑惑的朋友,我推薦看李航的《統(tǒng)計(jì)學(xué)習(xí)方法》中的第四章。我在這里主要談?wù)摰氖腔贘ava版的spark貝葉斯模型。
應(yīng)用場(chǎng)景
相對(duì)于LR,SVM這類(lèi)二元分類(lèi)模型,貝葉斯模型在多元分類(lèi)模型中顯得更有優(yōu)勢(shì)的。舉一個(gè)場(chǎng)景,我們希望能通過(guò)用戶(hù)搜索的關(guān)鍵詞來(lái)判斷用戶(hù)的興趣愛(ài)好。例如用戶(hù)搜索的關(guān)鍵詞是“萌寵 貓狗”,我們通過(guò)貝葉斯模型分析出用戶(hù)原來(lái)對(duì)動(dòng)物是感興趣的。
實(shí)現(xiàn)的過(guò)程
1.確定分類(lèi)類(lèi)別與訓(xùn)練樣本及其特征
假設(shè)確定有以下的類(lèi)別以及部分的特征詞:
健康養(yǎng)生:健康養(yǎng)生/預(yù)防疾病/健康養(yǎng)生專(zhuān)家/膳食營(yíng)養(yǎng)/休閑養(yǎng)生/健康資訊/休閑與養(yǎng)生
軍事歷史:軍事歷史/武器/坦克/軍委主席/人類(lèi)精神文明/特務(wù)/突擊隊(duì)/八路軍/四代機(jī)/
電影:電影/電影資料庫(kù)/愛(ài)情片/鷹眼/劉亦菲/葛優(yōu)/動(dòng)作/影片推薦/驚悚/日韓電影/港臺(tái)電影/
教育:教育/英語(yǔ)教師/華圖教育/作文/公務(wù)員培訓(xùn)/211/掛科/雅思/地理/申論/高校廣播/
旅游:旅游/旅行游記/游記/觀光/爸媽游/旅行愛(ài)好者/旅行是找尋自我/國(guó)內(nèi)游/
音樂(lè):/Kugou/鋼琴/音樂(lè)/網(wǎng)絡(luò)流行/古箏/Urban/音樂(lè)人/翻唱/酷狗/蝦米音樂(lè)/
攝影:攝影/時(shí)尚攝影/時(shí)裝攝影/Photography/攝影師/專(zhuān)題攝影/攝影/相冊(cè)/相機(jī)/索尼/尼康
萌寵:萌寵/萌寵物/可愛(ài)寵物/寵物用品/貓貓狗狗寵物控/貓控/食肉動(dòng)物/貓咪/喵星人/寵物用品商城/
實(shí)際中的項(xiàng)目有25個(gè)類(lèi)別,我將其置于不同的文件中,每個(gè)類(lèi)別大概有500個(gè)特征詞
2.獲取標(biāo)簽特征詞
List<String> vocabulary = new ArrayList<String>();
File dir = new File("/home/quincy1994/文檔/微脈圈/tags/類(lèi)別庫(kù)");
File[] files = dir.listFiles(); //獲取不同類(lèi)別的標(biāo)簽文件
StringBuilder sb = new StringBuilder();
for(File file : files){
BufferedReader br = new BufferedReader(new FileReader(file));
String line = null;
while((line = br.readLine()) != null){
sb.append(line + "`"); //按“`"分割不同類(lèi)別的標(biāo)簽
}
}
String[] tags = sb.toString().trim().split("`");
List<String> newTags = new ArrayList<String>();
for(String tag: tags){
if(tag.length() > 4){
newTags.add(tag); //去除空行標(biāo)簽
}
}
Object[] newtags = newTags.toArray();
List<Tuple2<Integer, String>> list = new ArrayList<Tuple2<Integer,String>>(); //記錄每類(lèi)中的標(biāo)簽
for(int i=0; i<newtags.length;i++){
Tuple2 <Integer, String> classWithTags = new Tuple2<Integer, String>(i, (String)newtags[i]);
System.out.println(classWithTags);
list.add(classWithTags);
String[] tokens = ((String)newtags[i]).split("/");
for(String tag: tokens){
vocabulary.add(tag);
}
}
3.獲取訓(xùn)練樣本
在獲得訓(xùn)練樣本的過(guò)程中,由于特征維度是上萬(wàn)維。如果為每個(gè)樣本都申請(qǐng)上萬(wàn)維的向量空間,會(huì)導(dǎo)致jvm內(nèi)存不足。為了解決這樣的問(wèn)題。我將訓(xùn)練樣本轉(zhuǎn)變?yōu)閘ibsvm文件,而mllib支持libsvm文件的操作。libsvm格式文件為:【label】(空格)【index1】:【value1】(空格)【index2】:【value2】…..
其中【label】是訓(xùn)練數(shù)據(jù)集的目標(biāo)值,對(duì)于分類(lèi),它是標(biāo)識(shí)某類(lèi)的整數(shù)(支持多個(gè)類(lèi));對(duì)于回歸,是任意的實(shí)數(shù)?!緄ndex】是以1開(kāi)始的整數(shù),可以是不連續(xù)的;【value】為實(shí)數(shù),也就是我們常說(shuō)的自變量。檢驗(yàn)數(shù)據(jù)文件中的label只用于計(jì)算準(zhǔn)確度或誤差,如果它是未知的,只需用一個(gè)數(shù)填寫(xiě)這一欄,也可以空看不填。具體的樣例如下:
+1 1:0.7 2:1 3:1 4:-0.32
-1 1:0.58 2:-1 3:0.33 4:-0.6
//獲取訓(xùn)練樣本
JavaPairRDD<Integer, String> trainRDD = sc.parallelizePairs(list); //將每類(lèi)的標(biāo)簽詞轉(zhuǎn)化為RDD
JavaPairRDD<Integer, String> trainSetRDD = trainRDD.mapValues(new ToTrainSet(vocabulary)); //將標(biāo)簽詞轉(zhuǎn)化為向量模型
List<Tuple2<Integer, String>> trainSet = trainSetRDD.collect();
writeTrainSet(trainSet); //寫(xiě)成libsvm文件格式,以方便訓(xùn)練
System.out.println("trainset is ok");
static class ToTrainSet implements Function<String, String>{
List<String> vocabulary = null; //標(biāo)簽特征庫(kù)
public ToTrainSet(List<String> vocabulary){
this.vocabulary = vocabulary;
}
public String call(String sentence) throws Exception {
// TODO Auto-generated method stub
int length = vocabulary.size(); //特征維度
String[] tags = sentence.split("/");
List<Integer> tagsindex = new ArrayList<Integer>();
for(int i =0; i<tags.length; i++){
tagsindex.add(vocabulary.indexOf(tags[i]));
}
String vector = ""; //將特征向量轉(zhuǎn)變?yōu)镾tring類(lèi),節(jié)省空間
for(int i = 0 ; i < length; i++){
if(tagsindex.contains(i)){
vector += String.valueOf(1) + " ";
}
else{
vector += String.valueOf(0) + " ";
}
}
return vector.trim();
}
}
public static void writeTrainSet( List<Tuple2<Integer, String>> list) throws Exception{
File file = new File("./trainset");
PrintWriter pr = new PrintWriter(new FileWriter(file));
for(Tuple2<Integer, String> one : list){ //將每個(gè)訓(xùn)練樣本以libsvm格式保存到trainset文件當(dāng)中
String label = String.valueOf(one._1); //訓(xùn)練樣本的類(lèi)別屬性
String vector = one._2(); //訓(xùn)練樣本的向量模型
String[] indexes = vector.split(" ");
pr.print(label + " ");
String value = "";
for(int i = 0; i<indexes.length;i++){
value += (i+1) + ":" + indexes[i] + " "; // i+1是因?yàn)閘ibsvm文件的index是從1開(kāi)始
}
pr.print(value.trim());
pr.println();
}
pr.close();
}
4.讀取訓(xùn)練集并訓(xùn)練模型
String path = "./trainset";
JavaRDD<LabeledPoint> trainData = MLUtils.loadLibSVMFile(sc.sc(), path).toJavaRDD();
model = NaiveBayes.train(trainData.rdd(), 1.0);
// model.save(sc.sc(), "./model");
System.out.println("model is ok");
5.預(yù)測(cè)新的測(cè)試集
String testStr = "萌寵 貓狗 ";
double[] testArray = sentenceToArrays(vocabulary, testStr);
writeTestSet(testArray);
String testPath = "./testset";
JavaRDD<LabeledPoint> testData = MLUtils.loadLibSVMFile(sc.sc(), testPath).toJavaRDD();
public static void writeTestSet(double[] testArray) throws Exception {
//和writeTrainSet一樣
File file = new File("./testset");
PrintWriter pr = new PrintWriter(new FileWriter(file));
pr.print("0" + " ");
String value = "";
for(int i=0; i<testArray.length; i++){
value += (i+1) + ":" + testArray[i] + " ";
}
pr.print(value.trim());
pr.close();
}
6.多元分類(lèi)預(yù)測(cè)
JavaRDD<double[]> resultData = testData.map(new GetProbabilities());
List<double[]> result = resultData.collect(); //保存的是每個(gè)測(cè)試樣本所屬于不同類(lèi)別的概率值
for(double[] one: result){
for(int i=0;i<one.length;i++){
System.out.println("class "+ i + ":" + one[i]);
}
}
最終的結(jié)果如下:
class 0:0.032182006265154946
class 1:0.0336352243495811
class 2:0.03491449856708539
class 3:0.033205199987016924
class 4:0.034989082254391006
class 5:0.0331936923801072
class 6:0.03519542406951625
class 7:0.14276183106876328(萌寵類(lèi)最高)
class 8:0.035138968378985495
class 9:0.0320506177571864
class 10:0.034970413943529836
class 11:0.033309038283581525
class 12:0.033930527800123976
class 13:0.03278336996884944
class 14:0.035473397978207644
class 15:0.034846339484132204
class 16:0.0355179245862518
class 17:0.03428401522003527
class 18:0.03556253508239065
class 19:0.03555615701038051
class 20:0.03377058314903299
class 21:0.035026463749860785
class 22:0.03428401522003527
class 23:0.03418761030403304
class 24:0.03456346204880003
class 25:0.0346676010929670
數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶(hù) ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱(chēng) BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢(xún)到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢(xún)結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢(xún)結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專(zhuān)注于從單 ...
2025-07-09year_month數(shù)據(jù)類(lèi)型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類(lèi)型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門(mén)控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書(shū)考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專(zhuān)業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開(kāi)啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03