R語(yǔ)言之文本挖掘--分詞

當(dāng)前對(duì)文本挖掘的需求越來(lái)越多，而基于文本挖掘又可以實(shí)現(xiàn)輿情監(jiān)控、文本分類、關(guān)聯(lián)分析和趨勢(shì)預(yù)測(cè)等。

本文主要使用李艦發(fā)布的中文分詞包Rwordseg。該包引用了@ansj開發(fā)的ansj中文分詞工具，基于中科院的ictclas中文分詞算法，無(wú)論是分詞準(zhǔn)確度、自定義詞典的方便程度還是運(yùn)行的效率都大大地超過(guò)了rmmseg4j。該包使用rJava調(diào)用Java分詞工具Ansj，因此需要進(jìn)行rJava的設(shè)置才可以使用。

文中使用到Rwordseg包和tmcn包，這兩個(gè)包目前不在R的鏡像中，可以通過(guò)如下兩種方式獲得這兩個(gè)包。

1、通過(guò)R語(yǔ)言本身獲得，詳細(xì)步驟見下圖：

2、直接到R-Forge官網(wǎng)下載并安裝，下載地址如下：

https://r-forge.r-project.org/R/?group_id=1054

https://r-forge.r-project.org/R/?group_id=1571

應(yīng)用：

本文分析的對(duì)象為一篇新聞，來(lái)源于環(huán)球網(wǎng)的《習(xí)近平出席中美企業(yè)家座談會(huì)》這篇文章，看看習(xí)大大這次訪美都有哪些動(dòng)向？

本文主要對(duì)這篇文章做如下兩個(gè)工作：分詞和繪制文字云。

#讀取數(shù)據(jù)

news <- readLines('news.txt', encoding = 'UTF-8')

由于Rwordseg包中的segmentCN函數(shù)對(duì)某些詞無(wú)法準(zhǔn)確分詞，需要自定義字典、指定人名識(shí)別及指定停止詞。

#首先將臺(tái)灣大學(xué)定義的字典導(dǎo)入到系統(tǒng)中，該字典中含有正面及負(fù)面的簡(jiǎn)體詞和繁體詞共22173個(gè)。

data(NTUSD)

positive_simple <- NTUSD[[1]]

negtive_simple <- NTUSD[[2]]

positive_tradition <- NTUSD[[3]]

negtive_tradition <- NTUSD[[4]]

insertWords(positive_simple)

insertWords(negtive_simple)

insertWords(positive_tradition)

insertWords(negtive_tradition)

#其次將自定義的詞導(dǎo)入系統(tǒng)

dir <- c('中美','兩國(guó)','阿里巴巴','改革開放','騰訊','微軟',

'雙匯','亞馬遜','星巴克','企業(yè)家','發(fā)展中','中國(guó)夢(mèng)')

insertWords(dir)

#再者還需要指定人名識(shí)別

發(fā)現(xiàn)默認(rèn)情況下，segmentCN函數(shù)并沒有識(shí)別人名。

將人名識(shí)別設(shè)為TURE后，發(fā)現(xiàn)能夠?qū)⒚譁?zhǔn)確分割出來(lái)。

#最后為分詞函數(shù)segmentCN指定停止詞，這樣就不會(huì)把這些詞識(shí)別為有效詞

stopwords <- c('大','上','高','好','中','新','更','夢(mèng)')

stopword <- stopwordsCN(stopwords = stopwords, useStopDic = TRUE)

當(dāng)然這些準(zhǔn)備工作是在探索文本內(nèi)容的基礎(chǔ)上完成的，這里只是想說(shuō)明一下本文的思路。

使用segmentCN函數(shù)看一下分詞效果：

詞頻分析

繪制文字云

從圖中發(fā)現(xiàn)，本次習(xí)總書記訪問(wèn)美國(guó)，仍然強(qiáng)調(diào)的是中美之間的經(jīng)濟(jì)發(fā)展問(wèn)題。

由于工作需要，自己剛開始研究文本挖掘，本文只是做了個(gè)文本的分詞，關(guān)于文本挖掘還有許多知識(shí)需要學(xué)習(xí)，例如文本的聚類、關(guān)聯(lián)規(guī)則、預(yù)測(cè)等。接下來(lái)的日子里將和文本挖掘扯上很大的關(guān)系啦。。。。

最后總結(jié)一下本文所涉及到的R包和函數(shù)：

tm包

insertWords()

tmcn包

getWordFreq()

Rwordseg包

getOption（）

segment.options（）

stopwordsCN（）

segmentCN（）

wordcloud包

wordcloud（）