利用spark做文本分類（樸素貝葉斯模型）

樸素貝葉斯模型

樸素貝葉斯法是基于貝葉斯定理與特征條件獨立假設(shè)的分類方法。對于給定的訓(xùn)練數(shù)據(jù)集，首先基于特征條件獨立假設(shè)學(xué)習(xí)輸入/輸出的聯(lián)合概率分布；然后基于此模型，對給定的輸入x，利用貝葉斯定理求出后驗概率最大的輸出y。至于樸素貝葉斯模型的原理部分，這里就不講啦，有疑惑的朋友，我推薦看李航的《統(tǒng)計學(xué)習(xí)方法》中的第四章。我在這里主要談?wù)摰氖腔贘ava版的spark貝葉斯模型。
應(yīng)用場景
相對于LR，SVM這類二元分類模型，貝葉斯模型在多元分類模型中顯得更有優(yōu)勢的。舉一個場景，我們希望能通過用戶搜索的關(guān)鍵詞來判斷用戶的興趣愛好。例如用戶搜索的關(guān)鍵詞是“萌寵 貓狗”，我們通過貝葉斯模型分析出用戶原來對動物是感興趣的。
實現(xiàn)的過程
1.確定分類類別與訓(xùn)練樣本及其特征
假設(shè)確定有以下的類別以及部分的特征詞：
    健康養(yǎng)生：健康養(yǎng)生/預(yù)防疾病/健康養(yǎng)生專家/膳食營養(yǎng)/休閑養(yǎng)生/健康資訊/休閑與養(yǎng)生
    軍事歷史：軍事歷史/武器/坦克/軍委主席/人類精神文明/特務(wù)/突擊隊/八路軍/四代機/
    電影：電影/電影資料庫/愛情片/鷹眼/劉亦菲/葛優(yōu)/動作/影片推薦/驚悚/日韓電影/港臺電影/
    教育：教育/英語教師/華圖教育/作文/公務(wù)員培訓(xùn)/211/掛科/雅思/地理/申論/高校廣播/
    旅游：旅游/旅行游記/游記/觀光/爸媽游/旅行愛好者/旅行是找尋自我/國內(nèi)游/
    音樂:/Kugou/鋼琴/音樂/網(wǎng)絡(luò)流行/古箏/Urban/音樂人/翻唱/酷狗/蝦米音樂/
    攝影：攝影/時尚攝影/時裝攝影/Photography/攝影師/專題攝影/攝影/相冊/相機/索尼/尼康
    萌寵：萌寵/萌寵物/可愛寵物/寵物用品/貓貓狗狗寵物控/貓控/食肉動物/貓咪/喵星人/寵物用品商城/
實際中的項目有25個類別，我將其置于不同的文件中，每個類別大概有500個特征詞

2.獲取標簽特征詞
List<String> vocabulary = new ArrayList<String>();
        File dir = new File("/home/quincy1994/文檔/微脈圈/tags/類別庫");
        File[] files = dir.listFiles(); //獲取不同類別的標簽文件
        StringBuilder sb = new StringBuilder();
        for(File file : files){
            BufferedReader br = new BufferedReader(new FileReader(file));
            String line = null;
            while((line = br.readLine()) != null){
                sb.append(line + "`");  //按“`"分割不同類別的標簽
            }
        }
         String[] tags = sb.toString().trim().split("`");
         List<String> newTags = new ArrayList<String>();
         for(String tag: tags){
             if(tag.length() > 4){
                 newTags.add(tag);  //去除空行標簽
             }
         }
         Object[] newtags =  newTags.toArray();
         List<Tuple2<Integer, String>> list = new ArrayList<Tuple2<Integer,String>>(); //記錄每類中的標簽
         for(int i=0; i<newtags.length;i++){
             Tuple2 <Integer, String> classWithTags = new Tuple2<Integer, String>(i, (String)newtags[i]);
             System.out.println(classWithTags);
             list.add(classWithTags);
             String[] tokens = ((String)newtags[i]).split("/");
             for(String tag: tokens){
                 vocabulary.add(tag);
             }
         }
3.獲取訓(xùn)練樣本
在獲得訓(xùn)練樣本的過程中，由于特征維度是上萬維。如果為每個樣本都申請上萬維的向量空間，會導(dǎo)致jvm內(nèi)存不足。為了解決這樣的問題。我將訓(xùn)練樣本轉(zhuǎn)變?yōu)閘ibsvm文件，而mllib支持libsvm文件的操作。libsvm格式文件為：【label】(空格)【index1】:【value1】(空格)【index2】:【value2】…..
其中【label】是訓(xùn)練數(shù)據(jù)集的目標值，對于分類，它是標識某類的整數(shù)（支持多個類）；對于回歸，是任意的實數(shù)?！緄ndex】是以1開始的整數(shù)，可以是不連續(xù)的；【value】為實數(shù)，也就是我們常說的自變量。檢驗數(shù)據(jù)文件中的label只用于計算準確度或誤差，如果它是未知的，只需用一個數(shù)填寫這一欄，也可以空看不填。具體的樣例如下：

    +1 1:0.7 2:1 3:1 4:-0.32
    -1 1:0.58 2:-1 3:0.33 4:-0.6

 //獲取訓(xùn)練樣本
     JavaPairRDD<Integer, String> trainRDD = sc.parallelizePairs(list); //將每類的標簽詞轉(zhuǎn)化為RDD
     JavaPairRDD<Integer, String> trainSetRDD = trainRDD.mapValues(new ToTrainSet(vocabulary)); //將標簽詞轉(zhuǎn)化為向量模型
     List<Tuple2<Integer, String>> trainSet = trainSetRDD.collect();
     writeTrainSet(trainSet);  //寫成libsvm文件格式，以方便訓(xùn)練
     System.out.println("trainset is ok");

static class ToTrainSet implements Function<String, String>{
        List<String> vocabulary = null; //標簽特征庫
        public ToTrainSet(List<String> vocabulary){
            this.vocabulary = vocabulary;
        }
        public String call(String sentence) throws Exception {
            // TODO Auto-generated method stub
            int length = vocabulary.size();         //特征維度
            String[] tags = sentence.split("/");    
            List<Integer> tagsindex = new ArrayList<Integer>();
            for(int i =0; i<tags.length; i++){
                tagsindex.add(vocabulary.indexOf(tags[i]));
            }
            String vector = "";  //將特征向量轉(zhuǎn)變?yōu)镾tring類，節(jié)省空間
            for(int i = 0 ; i < length; i++){
                if(tagsindex.contains(i)){
                    vector += String.valueOf(1) + " ";
                }
                else{
                    vector += String.valueOf(0) + " ";
                }
            }
            return vector.trim();
        }
    }

    public static void  writeTrainSet( List<Tuple2<Integer, String>> list) throws Exception{
        File file = new File("./trainset");
        PrintWriter pr = new PrintWriter(new FileWriter(file));
        for(Tuple2<Integer, String> one : list){     //將每個訓(xùn)練樣本以libsvm格式保存到trainset文件當中
            String label = String.valueOf(one._1);   //訓(xùn)練樣本的類別屬性
            String vector = one._2();  //訓(xùn)練樣本的向量模型
            String[] indexes = vector.split(" ");
            pr.print(label + " ");
            String value = "";
            for(int i = 0; i<indexes.length;i++){
                value += (i+1) + ":" + indexes[i] + " ";   // i+1是因為libsvm文件的index是從1開始
            }
            pr.print(value.trim());
            pr.println();
        }
        pr.close();
    }
4.讀取訓(xùn)練集并訓(xùn)練模型

 String path = "./trainset";
     JavaRDD<LabeledPoint> trainData = MLUtils.loadLibSVMFile(sc.sc(), path).toJavaRDD();
     model = NaiveBayes.train(trainData.rdd(), 1.0);
//   model.save(sc.sc(), "./model");
     System.out.println("model is ok");

5.預(yù)測新的測試集

 String testStr = "萌寵 貓狗 ";
     double[] testArray = sentenceToArrays(vocabulary, testStr);
     writeTestSet(testArray);
     String testPath = "./testset";
     JavaRDD<LabeledPoint> testData = MLUtils.loadLibSVMFile(sc.sc(), testPath).toJavaRDD();

    public static void writeTestSet(double[] testArray) throws Exception {
        //和writeTrainSet一樣
        File file = new File("./testset");
        PrintWriter pr = new PrintWriter(new FileWriter(file));
        pr.print("0" + " ");
        String value = "";
        for(int i=0; i<testArray.length; i++){
            value += (i+1) + ":" + testArray[i] + " ";
        }
        pr.print(value.trim());
        pr.close();
    }

6.多元分類預(yù)測

JavaRDD<double[]> resultData = testData.map(new GetProbabilities());
     List<double[]> result = resultData.collect(); //保存的是每個測試樣本所屬于不同類別的概率值
     for(double[] one: result){
         for(int i=0;i<one.length;i++){
             System.out.println("class "+ i + ":" + one[i]);
         }
     }

最終的結(jié)果如下：

    class 0:0.032182006265154946
    class 1:0.0336352243495811
    class 2:0.03491449856708539
    class 3:0.033205199987016924
    class 4:0.034989082254391006
    class 5:0.0331936923801072
    class 6:0.03519542406951625
    class 7:0.14276183106876328（萌寵類最高）
    class 8:0.035138968378985495
    class 9:0.0320506177571864
    class 10:0.034970413943529836
    class 11:0.033309038283581525
    class 12:0.033930527800123976
    class 13:0.03278336996884944
    class 14:0.035473397978207644
    class 15:0.034846339484132204
    class 16:0.0355179245862518
    class 17:0.03428401522003527
    class 18:0.03556253508239065
    class 19:0.03555615701038051
    class 20:0.03377058314903299
    class 21:0.035026463749860785
    class 22:0.03428401522003527
    class 23:0.03418761030403304
    class 24:0.03456346204880003
    class 25:0.0346676010929670