99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁精彩閱讀利用spark做文本分類(樸素貝葉斯模型)
利用spark做文本分類(樸素貝葉斯模型)
2017-12-10
收藏

利用spark文本分類樸素貝葉斯模型)

樸素貝葉斯模型

樸素貝葉斯法是基于貝葉斯定理與特征條件獨立假設(shè)的分類方法。對于給定的訓(xùn)練數(shù)據(jù)集,首先基于特征條件獨立假設(shè)學(xué)習(xí)輸入/輸出的聯(lián)合概率分布;然后基于此模型,對給定的輸入x,利用貝葉斯定理求出后驗概率最大的輸出y。至于樸素貝葉斯模型的原理部分,這里就不講啦,有疑惑的朋友,我推薦看李航的《統(tǒng)計學(xué)習(xí)方法》中的第四章。我在這里主要談?wù)摰氖腔贘ava版的spark貝葉斯模型。
應(yīng)用場景
相對于LR,SVM這類二元分類模型,貝葉斯模型在多元分類模型中顯得更有優(yōu)勢的。舉一個場景,我們希望能通過用戶搜索的關(guān)鍵詞來判斷用戶的興趣愛好。例如用戶搜索的關(guān)鍵詞是“萌寵 貓狗”,我們通過貝葉斯模型分析出用戶原來對動物是感興趣的。
實現(xiàn)的過程
1.確定分類類別與訓(xùn)練樣本及其特征
假設(shè)確定有以下的類別以及部分的特征詞:
    健康養(yǎng)生:健康養(yǎng)生/預(yù)防疾病/健康養(yǎng)生專家/膳食營養(yǎng)/休閑養(yǎng)生/健康資訊/休閑與養(yǎng)生
    軍事歷史:軍事歷史/武器/坦克/軍委主席/人類精神文明/特務(wù)/突擊隊/八路軍/四代機/
    電影:電影/電影資料庫/愛情片/鷹眼/劉亦菲/葛優(yōu)/動作/影片推薦/驚悚/日韓電影/港臺電影/
    教育:教育/英語教師/華圖教育/作文/公務(wù)員培訓(xùn)/211/掛科/雅思/地理/申論/高校廣播/
    旅游:旅游/旅行游記/游記/觀光/爸媽游/旅行愛好者/旅行是找尋自我/國內(nèi)游/
    音樂:/Kugou/鋼琴/音樂/網(wǎng)絡(luò)流行/古箏/Urban/音樂人/翻唱/酷狗/蝦米音樂/
    攝影:攝影/時尚攝影/時裝攝影/Photography/攝影師/專題攝影/攝影/相冊/相機/索尼/尼康
    萌寵:萌寵/萌寵物/可愛寵物/寵物用品/貓貓狗狗寵物控/貓控/食肉動物/貓咪/喵星人/寵物用品商城/
實際中的項目有25個類別,我將其置于不同的文件中,每個類別大概有500個特征

2.獲取標簽特征
List<String> vocabulary = new ArrayList<String>();
        File dir = new File("/home/quincy1994/文檔/微脈圈/tags/類別庫");
        File[] files = dir.listFiles(); //獲取不同類別的標簽文件
        StringBuilder sb = new StringBuilder();
        for(File file : files){
            BufferedReader br = new BufferedReader(new FileReader(file));
            String line = null;
            while((line = br.readLine()) != null){
                sb.append(line + "`");  //按“`"分割不同類別的標簽
            }
        }
         String[] tags = sb.toString().trim().split("`");
         List<String> newTags = new ArrayList<String>();
         for(String tag: tags){
             if(tag.length() > 4){
                 newTags.add(tag);  //去除空行標簽
             }
         }
         Object[] newtags =  newTags.toArray();
         List<Tuple2<Integer, String>> list = new ArrayList<Tuple2<Integer,String>>(); //記錄每類中的標簽
         for(int i=0; i<newtags.length;i++){
             Tuple2 <Integer, String> classWithTags = new Tuple2<Integer, String>(i, (String)newtags[i]);
             System.out.println(classWithTags);
             list.add(classWithTags);
             String[] tokens = ((String)newtags[i]).split("/");
             for(String tag: tokens){
                 vocabulary.add(tag);
             }
         }
3.獲取訓(xùn)練樣本
在獲得訓(xùn)練樣本的過程中,由于特征維度是上萬維。如果為每個樣本都申請上萬維的向量空間,會導(dǎo)致jvm內(nèi)存不足。為了解決這樣的問題。我將訓(xùn)練樣本轉(zhuǎn)變?yōu)閘ibsvm文件,而mllib支持libsvm文件的操作。libsvm格式文件為:【label】(空格)【index1】:【value1】(空格)【index2】:【value2】…..
其中【label】是訓(xùn)練數(shù)據(jù)集的目標值,對于分類,它是標識某類的整數(shù)(支持多個類);對于回歸,是任意的實數(shù)?!緄ndex】是以1開始的整數(shù),可以是不連續(xù)的;【value】為實數(shù),也就是我們常說的自變量。檢驗數(shù)據(jù)文件中的label只用于計算準確度或誤差,如果它是未知的,只需用一個數(shù)填寫這一欄,也可以空看不填。具體的樣例如下:

    +1 1:0.7 2:1 3:1 4:-0.32
    -1 1:0.58 2:-1 3:0.33 4:-0.6

 //獲取訓(xùn)練樣本
     JavaPairRDD<Integer, String> trainRDD = sc.parallelizePairs(list); //將每類的標簽詞轉(zhuǎn)化為RDD
     JavaPairRDD<Integer, String> trainSetRDD = trainRDD.mapValues(new ToTrainSet(vocabulary)); //將標簽詞轉(zhuǎn)化為向量模型
     List<Tuple2<Integer, String>> trainSet = trainSetRDD.collect();
     writeTrainSet(trainSet);  //寫成libsvm文件格式,以方便訓(xùn)練
     System.out.println("trainset is ok");

static class ToTrainSet implements Function<String, String>{
        List<String> vocabulary = null; //標簽特征
        public ToTrainSet(List<String> vocabulary){
            this.vocabulary = vocabulary;
        }
        public String call(String sentence) throws Exception {
            // TODO Auto-generated method stub
            int length = vocabulary.size();         //特征維度
            String[] tags = sentence.split("/");    
            List<Integer> tagsindex = new ArrayList<Integer>();
            for(int i =0; i<tags.length; i++){
                tagsindex.add(vocabulary.indexOf(tags[i]));
            }
            String vector = "";  //將特征向量轉(zhuǎn)變?yōu)镾tring類,節(jié)省空間
            for(int i = 0 ; i < length; i++){
                if(tagsindex.contains(i)){
                    vector += String.valueOf(1) + " ";
                }
                else{
                    vector += String.valueOf(0) + " ";
                }
            }
            return vector.trim();
        }
    }

    public static void  writeTrainSet( List<Tuple2<Integer, String>> list) throws Exception{
        File file = new File("./trainset");
        PrintWriter pr = new PrintWriter(new FileWriter(file));
        for(Tuple2<Integer, String> one : list){     //將每個訓(xùn)練樣本以libsvm格式保存到trainset文件當中
            String label = String.valueOf(one._1);   //訓(xùn)練樣本的類別屬性
            String vector = one._2();  //訓(xùn)練樣本的向量模型
            String[] indexes = vector.split(" ");
            pr.print(label + " ");
            String value = "";
            for(int i = 0; i<indexes.length;i++){
                value += (i+1) + ":" + indexes[i] + " ";   // i+1是因為libsvm文件的index是從1開始
            }
            pr.print(value.trim());
            pr.println();
        }
        pr.close();
    }
4.讀取訓(xùn)練集并訓(xùn)練模型

 String path = "./trainset";
     JavaRDD<LabeledPoint> trainData = MLUtils.loadLibSVMFile(sc.sc(), path).toJavaRDD();
     model = NaiveBayes.train(trainData.rdd(), 1.0);
//   model.save(sc.sc(), "./model");
     System.out.println("model is ok");

5.預(yù)測新的測試集

 String testStr = "萌寵 貓狗 ";
     double[] testArray = sentenceToArrays(vocabulary, testStr);
     writeTestSet(testArray);
     String testPath = "./testset";
     JavaRDD<LabeledPoint> testData = MLUtils.loadLibSVMFile(sc.sc(), testPath).toJavaRDD();

    public static void writeTestSet(double[] testArray) throws Exception {
        //和writeTrainSet一樣
        File file = new File("./testset");
        PrintWriter pr = new PrintWriter(new FileWriter(file));
        pr.print("0" + " ");
        String value = "";
        for(int i=0; i<testArray.length; i++){
            value += (i+1) + ":" + testArray[i] + " ";
        }
        pr.print(value.trim());
        pr.close();
    }

6.多元分類預(yù)測

JavaRDD<double[]> resultData = testData.map(new GetProbabilities());
     List<double[]> result = resultData.collect(); //保存的是每個測試樣本所屬于不同類別的概率值
     for(double[] one: result){
         for(int i=0;i<one.length;i++){
             System.out.println("class "+ i + ":" + one[i]);
         }
     }

最終的結(jié)果如下:

    class 0:0.032182006265154946
    class 1:0.0336352243495811
    class 2:0.03491449856708539
    class 3:0.033205199987016924
    class 4:0.034989082254391006
    class 5:0.0331936923801072
    class 6:0.03519542406951625
    class 7:0.14276183106876328(萌寵類最高)
    class 8:0.035138968378985495
    class 9:0.0320506177571864
    class 10:0.034970413943529836
    class 11:0.033309038283581525
    class 12:0.033930527800123976
    class 13:0.03278336996884944
    class 14:0.035473397978207644
    class 15:0.034846339484132204
    class 16:0.0355179245862518
    class 17:0.03428401522003527
    class 18:0.03556253508239065
    class 19:0.03555615701038051
    class 20:0.03377058314903299
    class 21:0.035026463749860785
    class 22:0.03428401522003527
    class 23:0.03418761030403304
    class 24:0.03456346204880003
    class 25:0.0346676010929670 

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個參數(shù)驗證碼對象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }