99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀使用R語言進(jìn)行中文分詞
使用R語言進(jìn)行中文分詞
2017-07-10
收藏

使用R語言進(jìn)行中文分詞

1.準(zhǔn)備包

①rJava包

② Rwordseg包

③Java環(huán)境

④搜狗詞庫（此為擴(kuò)展詞庫）

Rwordseg包依賴于rJava包。由于Rwordseg包并沒有托管在CRAN上面，而是在R-Forge上面，因此在在R軟件上面直接輸入install.packages("Rwordseg")會(huì)提示錯(cuò)誤。因此，我們需要在軟件菜單欄點(diǎn)擊 程序包

選擇軟件庫 在選擇R-Forge 即可，然后輸入install.packages("Rwordseg")應(yīng)該就OK了?；蛘咻斎胂旅娲a：

[plain]view plaincopy

install.packages("Rwordseg", repos = "http://R-Forge.R-project.org")  

一切準(zhǔn)備工作做好了我們就可以進(jìn)行分詞了。首先加載我們所需要的包。然后對(duì)“ 我非常喜歡《跟著菜鳥一起學(xué)R語言》這個(gè)微信公眾號(hào) ”這句話進(jìn)行分詞。

[plain]view plaincopy

library(Rwordseg) 

library(rJava) 

text<-"我非常喜歡《跟著菜鳥一起學(xué)R語言》這個(gè)微信公眾號(hào)" 

segmentCN(text)  

分詞結(jié)果為：

[1] "我"    "非常"  "喜歡"  "跟"    "著"    "菜"    "鳥"    "一起"  "學(xué)"    "R語言"     "這個(gè)"  "微信"  "公眾"  "號(hào)"   

我們可以發(fā)現(xiàn)這個(gè)分詞有問題，比如說 “菜鳥”和“公眾號(hào)”是一個(gè)詞，但這里卻分開了。我們?cè)撛趺刺幚砟?？Rwordseg包里面提供了一個(gè)insertWords函數(shù)，具體如下

[plain]view plaincopy

insertWords(strwords,  

    analyzer = get("Analyzer", envir = .RwordsegEnv),  

    strtype = rep("userDefine", length(strwords)),  

    numfreq = rep(1000, length(strwords)), save = FALSE) 
     這就是insertWords函數(shù)，其中save參數(shù)是指 是否把這個(gè)詞保存到詞典里面。

[plain]view plaincopy

insertWords(c("菜鳥","公眾號(hào)"),save=TRUE)   

     這樣的話，菜鳥 和 公眾號(hào) 就成兩個(gè)詞了。再次運(yùn)行

[plain]view plaincopy

text<-"我非常喜歡《跟著菜鳥一起學(xué)R語言》這個(gè)微信公眾號(hào)" 

segmentCN(text)  

 結(jié)果為

[1] "我"     "非常"   "喜歡"   "跟"     "著"     "菜鳥"   "一起"   "學(xué)"     "R語言"  "這個(gè)"   "微信"   "公眾號(hào)"

但是如果我們不需要“菜鳥”這個(gè)分詞了怎么辦，這個(gè)時(shí)候我們就可以使用deleteWords（）函數(shù)來從詞典中刪除這個(gè)分詞。

[plain]view plaincopy

deleteWords(c("菜鳥","公眾號(hào)"),save=TRUE)  

    這次我們?cè)诳纯唇Y(jié)果。

[1] "我"    "非常"  "喜歡"  "跟"    "著"    "菜"    "鳥"    "一起"  "學(xué)"    "R語言" "這個(gè)"  "微信"  "公眾"  "號(hào)"  

接下來我們使用一下搜狗的擴(kuò)展詞庫，由于電影跟新速度較快，我這里下載了搜狗的熱門電影大全詞庫，如何加載使用搜狗詞庫，點(diǎn)擊可以查看我的另一篇博客。

[plain]view plaincopy

installDict("熱門電影大全.scel","movie")   

59391 words were loaded! ... New dictionary 'movie' was installed!

我把下載的詞庫放在了當(dāng)前的工作目錄下面了，所以直接輸入詞典名，沒有添加地址。加載了該詞典。如果出現(xiàn)上面的句子則表示這個(gè)詞典加載成功了，我們命名為movie。

現(xiàn)在我們來測(cè)試一下面這個(gè)句子： 你喜歡看最后的巫師獵人嗎

[plain]view plaincopy

text2<-"你喜歡看最后的巫師獵人嗎" 

segmentCN(text2)  

 "你"             "喜歡"           "看"             "最后的巫師獵人" "嗎" 

可以看到“最后的巫師獵人”是一個(gè)詞，如何我們把movie這個(gè)詞典刪除點(diǎn)會(huì)怎么樣呢？

[plain]view plaincopy

uninstallDict("movie") 

text2<-"你喜歡看最后的巫師獵人嗎" 

segmentCN(text2)  

[1] "你"   "喜歡" "看"   "最后" "的"   "巫師" "獵人" "嗎" 

其實(shí)加載搜狗詞典的話我們就不用自己定義詞典，就比如前面我們往詞典里面插入“菜鳥”和“微信公眾號(hào)”一樣。這樣可以很方便的分詞，也省去了自己新建詞典的時(shí)間。

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }