
樸素貝葉斯模型
樸素貝葉斯法是基于貝葉斯定理與特征條件獨立假設(shè)的分類方法。對于給定的訓(xùn)練數(shù)據(jù)集,首先基于特征條件獨立假設(shè)學(xué)習(xí)輸入/輸出的聯(lián)合概率分布;然后基于此模型,對給定的輸入x,利用貝葉斯定理求出后驗概率最大的輸出y。至于樸素貝葉斯模型的原理部分,這里就不講啦,有疑惑的朋友,我推薦看李航的《統(tǒng)計學(xué)習(xí)方法》中的第四章。我在這里主要談?wù)摰氖腔贘ava版的spark貝葉斯模型。
應(yīng)用場景
相對于LR,SVM這類二元分類模型,貝葉斯模型在多元分類模型中顯得更有優(yōu)勢的。舉一個場景,我們希望能通過用戶搜索的關(guān)鍵詞來判斷用戶的興趣愛好。例如用戶搜索的關(guān)鍵詞是“萌寵 貓狗”,我們通過貝葉斯模型分析出用戶原來對動物是感興趣的。
實現(xiàn)的過程
1.確定分類類別與訓(xùn)練樣本及其特征
假設(shè)確定有以下的類別以及部分的特征詞:
健康養(yǎng)生:健康養(yǎng)生/預(yù)防疾病/健康養(yǎng)生專家/膳食營養(yǎng)/休閑養(yǎng)生/健康資訊/休閑與養(yǎng)生
軍事歷史:軍事歷史/武器/坦克/軍委主席/人類精神文明/特務(wù)/突擊隊/八路軍/四代機/
電影:電影/電影資料庫/愛情片/鷹眼/劉亦菲/葛優(yōu)/動作/影片推薦/驚悚/日韓電影/港臺電影/
教育:教育/英語教師/華圖教育/作文/公務(wù)員培訓(xùn)/211/掛科/雅思/地理/申論/高校廣播/
旅游:旅游/旅行游記/游記/觀光/爸媽游/旅行愛好者/旅行是找尋自我/國內(nèi)游/
音樂:/Kugou/鋼琴/音樂/網(wǎng)絡(luò)流行/古箏/Urban/音樂人/翻唱/酷狗/蝦米音樂/
攝影:攝影/時尚攝影/時裝攝影/Photography/攝影師/專題攝影/攝影/相冊/相機/索尼/尼康
萌寵:萌寵/萌寵物/可愛寵物/寵物用品/貓貓狗狗寵物控/貓控/食肉動物/貓咪/喵星人/寵物用品商城/
實際中的項目有25個類別,我將其置于不同的文件中,每個類別大概有500個特征詞
2.獲取標簽特征詞
List<String> vocabulary = new ArrayList<String>();
File dir = new File("/home/quincy1994/文檔/微脈圈/tags/類別庫");
File[] files = dir.listFiles(); //獲取不同類別的標簽文件
StringBuilder sb = new StringBuilder();
for(File file : files){
BufferedReader br = new BufferedReader(new FileReader(file));
String line = null;
while((line = br.readLine()) != null){
sb.append(line + "`"); //按“`"分割不同類別的標簽
}
}
String[] tags = sb.toString().trim().split("`");
List<String> newTags = new ArrayList<String>();
for(String tag: tags){
if(tag.length() > 4){
newTags.add(tag); //去除空行標簽
}
}
Object[] newtags = newTags.toArray();
List<Tuple2<Integer, String>> list = new ArrayList<Tuple2<Integer,String>>(); //記錄每類中的標簽
for(int i=0; i<newtags.length;i++){
Tuple2 <Integer, String> classWithTags = new Tuple2<Integer, String>(i, (String)newtags[i]);
System.out.println(classWithTags);
list.add(classWithTags);
String[] tokens = ((String)newtags[i]).split("/");
for(String tag: tokens){
vocabulary.add(tag);
}
}
3.獲取訓(xùn)練樣本
在獲得訓(xùn)練樣本的過程中,由于特征維度是上萬維。如果為每個樣本都申請上萬維的向量空間,會導(dǎo)致jvm內(nèi)存不足。為了解決這樣的問題。我將訓(xùn)練樣本轉(zhuǎn)變?yōu)閘ibsvm文件,而mllib支持libsvm文件的操作。libsvm格式文件為:【label】(空格)【index1】:【value1】(空格)【index2】:【value2】…..
其中【label】是訓(xùn)練數(shù)據(jù)集的目標值,對于分類,它是標識某類的整數(shù)(支持多個類);對于回歸,是任意的實數(shù)?!緄ndex】是以1開始的整數(shù),可以是不連續(xù)的;【value】為實數(shù),也就是我們常說的自變量。檢驗數(shù)據(jù)文件中的label只用于計算準確度或誤差,如果它是未知的,只需用一個數(shù)填寫這一欄,也可以空看不填。具體的樣例如下:
+1 1:0.7 2:1 3:1 4:-0.32
-1 1:0.58 2:-1 3:0.33 4:-0.6
//獲取訓(xùn)練樣本
JavaPairRDD<Integer, String> trainRDD = sc.parallelizePairs(list); //將每類的標簽詞轉(zhuǎn)化為RDD
JavaPairRDD<Integer, String> trainSetRDD = trainRDD.mapValues(new ToTrainSet(vocabulary)); //將標簽詞轉(zhuǎn)化為向量模型
List<Tuple2<Integer, String>> trainSet = trainSetRDD.collect();
writeTrainSet(trainSet); //寫成libsvm文件格式,以方便訓(xùn)練
System.out.println("trainset is ok");
static class ToTrainSet implements Function<String, String>{
List<String> vocabulary = null; //標簽特征庫
public ToTrainSet(List<String> vocabulary){
this.vocabulary = vocabulary;
}
public String call(String sentence) throws Exception {
// TODO Auto-generated method stub
int length = vocabulary.size(); //特征維度
String[] tags = sentence.split("/");
List<Integer> tagsindex = new ArrayList<Integer>();
for(int i =0; i<tags.length; i++){
tagsindex.add(vocabulary.indexOf(tags[i]));
}
String vector = ""; //將特征向量轉(zhuǎn)變?yōu)镾tring類,節(jié)省空間
for(int i = 0 ; i < length; i++){
if(tagsindex.contains(i)){
vector += String.valueOf(1) + " ";
}
else{
vector += String.valueOf(0) + " ";
}
}
return vector.trim();
}
}
public static void writeTrainSet( List<Tuple2<Integer, String>> list) throws Exception{
File file = new File("./trainset");
PrintWriter pr = new PrintWriter(new FileWriter(file));
for(Tuple2<Integer, String> one : list){ //將每個訓(xùn)練樣本以libsvm格式保存到trainset文件當中
String label = String.valueOf(one._1); //訓(xùn)練樣本的類別屬性
String vector = one._2(); //訓(xùn)練樣本的向量模型
String[] indexes = vector.split(" ");
pr.print(label + " ");
String value = "";
for(int i = 0; i<indexes.length;i++){
value += (i+1) + ":" + indexes[i] + " "; // i+1是因為libsvm文件的index是從1開始
}
pr.print(value.trim());
pr.println();
}
pr.close();
}
4.讀取訓(xùn)練集并訓(xùn)練模型
String path = "./trainset";
JavaRDD<LabeledPoint> trainData = MLUtils.loadLibSVMFile(sc.sc(), path).toJavaRDD();
model = NaiveBayes.train(trainData.rdd(), 1.0);
// model.save(sc.sc(), "./model");
System.out.println("model is ok");
5.預(yù)測新的測試集
String testStr = "萌寵 貓狗 ";
double[] testArray = sentenceToArrays(vocabulary, testStr);
writeTestSet(testArray);
String testPath = "./testset";
JavaRDD<LabeledPoint> testData = MLUtils.loadLibSVMFile(sc.sc(), testPath).toJavaRDD();
public static void writeTestSet(double[] testArray) throws Exception {
//和writeTrainSet一樣
File file = new File("./testset");
PrintWriter pr = new PrintWriter(new FileWriter(file));
pr.print("0" + " ");
String value = "";
for(int i=0; i<testArray.length; i++){
value += (i+1) + ":" + testArray[i] + " ";
}
pr.print(value.trim());
pr.close();
}
6.多元分類預(yù)測
JavaRDD<double[]> resultData = testData.map(new GetProbabilities());
List<double[]> result = resultData.collect(); //保存的是每個測試樣本所屬于不同類別的概率值
for(double[] one: result){
for(int i=0;i<one.length;i++){
System.out.println("class "+ i + ":" + one[i]);
}
}
最終的結(jié)果如下:
class 0:0.032182006265154946
class 1:0.0336352243495811
class 2:0.03491449856708539
class 3:0.033205199987016924
class 4:0.034989082254391006
class 5:0.0331936923801072
class 6:0.03519542406951625
class 7:0.14276183106876328(萌寵類最高)
class 8:0.035138968378985495
class 9:0.0320506177571864
class 10:0.034970413943529836
class 11:0.033309038283581525
class 12:0.033930527800123976
class 13:0.03278336996884944
class 14:0.035473397978207644
class 15:0.034846339484132204
class 16:0.0355179245862518
class 17:0.03428401522003527
class 18:0.03556253508239065
class 19:0.03555615701038051
class 20:0.03377058314903299
class 21:0.035026463749860785
class 22:0.03428401522003527
class 23:0.03418761030403304
class 24:0.03456346204880003
class 25:0.0346676010929670
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03