利用spark做文本分類(lèi)（樸素貝葉斯模型）

樸素貝葉斯模型

樸素貝葉斯法是基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類(lèi)方法。對(duì)于給定的訓(xùn)練數(shù)據(jù)集，首先基于特征條件獨(dú)立假設(shè)學(xué)習(xí)輸入/輸出的聯(lián)合概率分布；然后基于此模型，對(duì)給定的輸入x，利用貝葉斯定理求出后驗(yàn)概率最大的輸出y。至于樸素貝葉斯模型的原理部分，這里就不講啦，有疑惑的朋友，我推薦看李航的《統(tǒng)計(jì)學(xué)習(xí)方法》中的第四章。我在這里主要談?wù)摰氖腔贘ava版的spark貝葉斯模型。
應(yīng)用場(chǎng)景
相對(duì)于LR，SVM這類(lèi)二元分類(lèi)模型，貝葉斯模型在多元分類(lèi)模型中顯得更有優(yōu)勢(shì)的。舉一個(gè)場(chǎng)景，我們希望能通過(guò)用戶(hù)搜索的關(guān)鍵詞來(lái)判斷用戶(hù)的興趣愛(ài)好。例如用戶(hù)搜索的關(guān)鍵詞是“萌寵 貓狗”，我們通過(guò)貝葉斯模型分析出用戶(hù)原來(lái)對(duì)動(dòng)物是感興趣的。
實(shí)現(xiàn)的過(guò)程
1.確定分類(lèi)類(lèi)別與訓(xùn)練樣本及其特征
假設(shè)確定有以下的類(lèi)別以及部分的特征詞：
    健康養(yǎng)生：健康養(yǎng)生/預(yù)防疾病/健康養(yǎng)生專(zhuān)家/膳食營(yíng)養(yǎng)/休閑養(yǎng)生/健康資訊/休閑與養(yǎng)生
    軍事歷史：軍事歷史/武器/坦克/軍委主席/人類(lèi)精神文明/特務(wù)/突擊隊(duì)/八路軍/四代機(jī)/
    電影：電影/電影資料庫(kù)/愛(ài)情片/鷹眼/劉亦菲/葛優(yōu)/動(dòng)作/影片推薦/驚悚/日韓電影/港臺(tái)電影/
    教育：教育/英語(yǔ)教師/華圖教育/作文/公務(wù)員培訓(xùn)/211/掛科/雅思/地理/申論/高校廣播/
    旅游：旅游/旅行游記/游記/觀光/爸媽游/旅行愛(ài)好者/旅行是找尋自我/國(guó)內(nèi)游/
    音樂(lè):/Kugou/鋼琴/音樂(lè)/網(wǎng)絡(luò)流行/古箏/Urban/音樂(lè)人/翻唱/酷狗/蝦米音樂(lè)/
    攝影：攝影/時(shí)尚攝影/時(shí)裝攝影/Photography/攝影師/專(zhuān)題攝影/攝影/相冊(cè)/相機(jī)/索尼/尼康
    萌寵：萌寵/萌寵物/可愛(ài)寵物/寵物用品/貓貓狗狗寵物控/貓控/食肉動(dòng)物/貓咪/喵星人/寵物用品商城/
實(shí)際中的項(xiàng)目有25個(gè)類(lèi)別，我將其置于不同的文件中，每個(gè)類(lèi)別大概有500個(gè)特征詞

2.獲取標(biāo)簽特征詞
List<String> vocabulary = new ArrayList<String>();
        File dir = new File("/home/quincy1994/文檔/微脈圈/tags/類(lèi)別庫(kù)");
        File[] files = dir.listFiles(); //獲取不同類(lèi)別的標(biāo)簽文件
        StringBuilder sb = new StringBuilder();
        for(File file : files){
            BufferedReader br = new BufferedReader(new FileReader(file));
            String line = null;
            while((line = br.readLine()) != null){
                sb.append(line + "`");  //按“`"分割不同類(lèi)別的標(biāo)簽
            }
        }
         String[] tags = sb.toString().trim().split("`");
         List<String> newTags = new ArrayList<String>();
         for(String tag: tags){
             if(tag.length() > 4){
                 newTags.add(tag);  //去除空行標(biāo)簽
             }
         }
         Object[] newtags =  newTags.toArray();
         List<Tuple2<Integer, String>> list = new ArrayList<Tuple2<Integer,String>>(); //記錄每類(lèi)中的標(biāo)簽
         for(int i=0; i<newtags.length;i++){
             Tuple2 <Integer, String> classWithTags = new Tuple2<Integer, String>(i, (String)newtags[i]);
             System.out.println(classWithTags);
             list.add(classWithTags);
             String[] tokens = ((String)newtags[i]).split("/");
             for(String tag: tokens){
                 vocabulary.add(tag);
             }
         }
3.獲取訓(xùn)練樣本
在獲得訓(xùn)練樣本的過(guò)程中，由于特征維度是上萬(wàn)維。如果為每個(gè)樣本都申請(qǐng)上萬(wàn)維的向量空間，會(huì)導(dǎo)致jvm內(nèi)存不足。為了解決這樣的問(wèn)題。我將訓(xùn)練樣本轉(zhuǎn)變?yōu)閘ibsvm文件，而mllib支持libsvm文件的操作。libsvm格式文件為：【label】(空格)【index1】:【value1】(空格)【index2】:【value2】…..
其中【label】是訓(xùn)練數(shù)據(jù)集的目標(biāo)值，對(duì)于分類(lèi)，它是標(biāo)識(shí)某類(lèi)的整數(shù)（支持多個(gè)類(lèi)）；對(duì)于回歸，是任意的實(shí)數(shù)?！緄ndex】是以1開(kāi)始的整數(shù)，可以是不連續(xù)的；【value】為實(shí)數(shù)，也就是我們常說(shuō)的自變量。檢驗(yàn)數(shù)據(jù)文件中的label只用于計(jì)算準(zhǔn)確度或誤差，如果它是未知的，只需用一個(gè)數(shù)填寫(xiě)這一欄，也可以空看不填。具體的樣例如下：

    +1 1:0.7 2:1 3:1 4:-0.32
    -1 1:0.58 2:-1 3:0.33 4:-0.6

 //獲取訓(xùn)練樣本
     JavaPairRDD<Integer, String> trainRDD = sc.parallelizePairs(list); //將每類(lèi)的標(biāo)簽詞轉(zhuǎn)化為RDD
     JavaPairRDD<Integer, String> trainSetRDD = trainRDD.mapValues(new ToTrainSet(vocabulary)); //將標(biāo)簽詞轉(zhuǎn)化為向量模型
     List<Tuple2<Integer, String>> trainSet = trainSetRDD.collect();
     writeTrainSet(trainSet);  //寫(xiě)成libsvm文件格式，以方便訓(xùn)練
     System.out.println("trainset is ok");

static class ToTrainSet implements Function<String, String>{
        List<String> vocabulary = null; //標(biāo)簽特征庫(kù)
        public ToTrainSet(List<String> vocabulary){
            this.vocabulary = vocabulary;
        }
        public String call(String sentence) throws Exception {
            // TODO Auto-generated method stub
            int length = vocabulary.size();         //特征維度
            String[] tags = sentence.split("/");    
            List<Integer> tagsindex = new ArrayList<Integer>();
            for(int i =0; i<tags.length; i++){
                tagsindex.add(vocabulary.indexOf(tags[i]));
            }
            String vector = "";  //將特征向量轉(zhuǎn)變?yōu)镾tring類(lèi)，節(jié)省空間
            for(int i = 0 ; i < length; i++){
                if(tagsindex.contains(i)){
                    vector += String.valueOf(1) + " ";
                }
                else{
                    vector += String.valueOf(0) + " ";
                }
            }
            return vector.trim();
        }
    }

    public static void  writeTrainSet( List<Tuple2<Integer, String>> list) throws Exception{
        File file = new File("./trainset");
        PrintWriter pr = new PrintWriter(new FileWriter(file));
        for(Tuple2<Integer, String> one : list){     //將每個(gè)訓(xùn)練樣本以libsvm格式保存到trainset文件當(dāng)中
            String label = String.valueOf(one._1);   //訓(xùn)練樣本的類(lèi)別屬性
            String vector = one._2();  //訓(xùn)練樣本的向量模型
            String[] indexes = vector.split(" ");
            pr.print(label + " ");
            String value = "";
            for(int i = 0; i<indexes.length;i++){
                value += (i+1) + ":" + indexes[i] + " ";   // i+1是因?yàn)閘ibsvm文件的index是從1開(kāi)始
            }
            pr.print(value.trim());
            pr.println();
        }
        pr.close();
    }
4.讀取訓(xùn)練集并訓(xùn)練模型

 String path = "./trainset";
     JavaRDD<LabeledPoint> trainData = MLUtils.loadLibSVMFile(sc.sc(), path).toJavaRDD();
     model = NaiveBayes.train(trainData.rdd(), 1.0);
//   model.save(sc.sc(), "./model");
     System.out.println("model is ok");

5.預(yù)測(cè)新的測(cè)試集

 String testStr = "萌寵 貓狗 ";
     double[] testArray = sentenceToArrays(vocabulary, testStr);
     writeTestSet(testArray);
     String testPath = "./testset";
     JavaRDD<LabeledPoint> testData = MLUtils.loadLibSVMFile(sc.sc(), testPath).toJavaRDD();

    public static void writeTestSet(double[] testArray) throws Exception {
        //和writeTrainSet一樣
        File file = new File("./testset");
        PrintWriter pr = new PrintWriter(new FileWriter(file));
        pr.print("0" + " ");
        String value = "";
        for(int i=0; i<testArray.length; i++){
            value += (i+1) + ":" + testArray[i] + " ";
        }
        pr.print(value.trim());
        pr.close();
    }

6.多元分類(lèi)預(yù)測(cè)

JavaRDD<double[]> resultData = testData.map(new GetProbabilities());
     List<double[]> result = resultData.collect(); //保存的是每個(gè)測(cè)試樣本所屬于不同類(lèi)別的概率值
     for(double[] one: result){
         for(int i=0;i<one.length;i++){
             System.out.println("class "+ i + ":" + one[i]);
         }
     }

最終的結(jié)果如下：

    class 0:0.032182006265154946
    class 1:0.0336352243495811
    class 2:0.03491449856708539
    class 3:0.033205199987016924
    class 4:0.034989082254391006
    class 5:0.0331936923801072
    class 6:0.03519542406951625
    class 7:0.14276183106876328（萌寵類(lèi)最高）
    class 8:0.035138968378985495
    class 9:0.0320506177571864
    class 10:0.034970413943529836
    class 11:0.033309038283581525
    class 12:0.033930527800123976
    class 13:0.03278336996884944
    class 14:0.035473397978207644
    class 15:0.034846339484132204
    class 16:0.0355179245862518
    class 17:0.03428401522003527
    class 18:0.03556253508239065
    class 19:0.03555615701038051
    class 20:0.03377058314903299
    class 21:0.035026463749860785
    class 22:0.03428401522003527
    class 23:0.03418761030403304
    class 24:0.03456346204880003
    class 25:0.0346676010929670