R語(yǔ)言進(jìn)行中文分詞和聚類

由于時(shí)間較緊，且人手不夠，不能采用分類方法，主要是沒有時(shí)間人工分類一部分生成訓(xùn)練集……所以只能用聚類方法，聚類最簡(jiǎn)單的方法無(wú)外乎：K-means與層次聚類。

嘗試過使用K-means方法，但結(jié)果并不好，所以最終采用的是層次聚類，也幸虧結(jié)果還不錯(cuò)……⊙﹏⊙

分詞（Rwordseg包）：

安裝：

P.S.

由于我是64位機(jī)，但是配置的rj包只能在32bit的R上使用，而且Rwordseg包貌似不支持最新版本的R（3.01），所以請(qǐng)?jiān)?2bit的R.exe中運(yùn)行如下語(yǔ)句安裝0.0-4版本：

貌似直接在Rstudio中運(yùn)行會(huì)安裝失敗，而且直接在Rstudio中點(diǎn)擊install安裝，安裝的是0.0-5版本，我就一直失敗……

使用：

1. 分詞時(shí)盡量關(guān)閉人名識(shí)別

否則會(huì)將“中秋國(guó)慶”，分為“中”“秋國(guó)慶“

2. 可以使用insertWords()函數(shù)添加臨時(shí)的詞匯

3. 對(duì)文檔向量進(jìn)行分詞時(shí)，強(qiáng)烈建議用for循環(huán)對(duì)每一個(gè)元素執(zhí)行segmentCN，而不要對(duì)整個(gè)向量執(zhí)行！??！因?yàn)槲业疤鄣陌l(fā)現(xiàn)對(duì)整個(gè)向量執(zhí)行時(shí)，還是會(huì)出現(xiàn)識(shí)別人名的現(xiàn)象……

4. 運(yùn)行完后請(qǐng)detach()包，removeWords()函數(shù)與tm包中的同名函數(shù)沖突。

微博分詞的一些建議：

1. 微博內(nèi)容中經(jīng)常含有url，分詞后會(huì)將url拆散當(dāng)做英文單詞處理，所以我們需要用正則表達(dá)式，將url去掉：

2. 微博中含有#標(biāo)簽#，可以盡量保證標(biāo)簽的分詞準(zhǔn)確，可以先提取標(biāo)簽，然后用insertWords()人工添加一部分詞匯：

文本挖掘（tm包）：

語(yǔ)料庫(kù)：

分詞之后生成一個(gè)列表變量，用列表變量構(gòu)建語(yǔ)料庫(kù)。

由于tm包中的停用詞（）都是英文（可以輸入stopwords()查看），所以大家可以去網(wǎng)上查找中文的停用詞（一般700多個(gè)的就夠了，還有1208個(gè)詞版本的），用removeWords函數(shù)去除語(yǔ)料庫(kù)中的停用詞：

TDM：

生成語(yǔ)料庫(kù)之后，生成詞項(xiàng)-文檔矩陣（Term Document Matrix，TDM），顧名思義，TDM是一個(gè)矩陣，矩陣的列對(duì)應(yīng)語(yǔ)料庫(kù)中所有的文檔，矩陣的行對(duì)應(yīng)所有文檔中抽取的詞項(xiàng)，該矩陣中，一個(gè)[i,j]位置的元素代表詞項(xiàng)i在文檔j中出現(xiàn)的次數(shù)。

由于tm包是對(duì)英文文檔就行統(tǒng)計(jì)挖掘的，所以生成TDM時(shí)會(huì)對(duì)英文文檔進(jìn)行分詞（即使用標(biāo)點(diǎn)和空格分詞），之前Rwordseg包做的就是將中文語(yǔ)句拆分成一個(gè)個(gè)詞，并用空格間隔。

創(chuàng)建TDM的語(yǔ)句為：

變量control是一個(gè)選項(xiàng)列表，控制如何抽取文檔，removePunctuation表示去除標(biāo)點(diǎn)，minDocFreq=5表示只有在文檔中至少出現(xiàn)5次的詞才會(huì)出現(xiàn)在TDM的行中。

tm包默認(rèn)TDM中只保留至少3個(gè)字的詞（對(duì)英文來(lái)說(shuō)比較合適，中文就不適用了吧……），wordLengths = c(1, Inf)表示字的長(zhǎng)度至少?gòu)?開始。

默認(rèn)的加權(quán)方式是TF，即詞頻，這里采用Tf-Idf，該方法用于評(píng)估一字詞對(duì)于一個(gè)文件集或一個(gè)語(yǔ)料庫(kù)中的其中一份文件的重要程度：

1. 在一份給定的文件里，詞頻 (term frequency, TF) 指的是某一個(gè)給定的詞語(yǔ)在該文件中出現(xiàn)的次數(shù)。這個(gè)數(shù)字通常會(huì)被歸一化，以防止它偏向長(zhǎng)的文件。

2. 逆向文件頻率 (inverse document frequency, IDF) 是一個(gè)詞語(yǔ)普遍重要性的度量。某一特定詞語(yǔ)的IDF，可以由總文件數(shù)目除以包含該詞語(yǔ)之文件的數(shù)目，再將得到的商取對(duì)數(shù)得到。

3. 某一特定文件內(nèi)的高詞語(yǔ)頻率，以及該詞語(yǔ)在整個(gè)文件集合中的低文件頻率，可以產(chǎn)生出高權(quán)重的TF-IDF。因此，TF-IDF傾向于保留文檔中較為特別的詞語(yǔ)，過濾常用詞。

由于TDM大多都是稀疏的，需要用removeSparseTerms()函數(shù)進(jìn)行降維，值需要不斷的測(cè)試，我一般會(huì)使詞項(xiàng)減少到原有的一半。

層次聚類：

層次聚類的核心實(shí)際在距離陣的計(jì)算，一般聚類時(shí)會(huì)使用歐氏距離、閔氏距離等，但在大型數(shù)據(jù)條件下會(huì)優(yōu)先選擇 cosine 距離，及 dissmilarity 函數(shù)：

（P.S.要使用cosine方法，需要先安裝proxy包。）

層次聚類的方法也有很多，這里選用mcquitty，大家還是多試試，本文給出的選擇不一定適合你~

注意：由于R對(duì)向量的大小有限制，所以在計(jì)算距離時(shí)，請(qǐng)優(yōu)先使用64bit，3.0版本的R~

但如果出現(xiàn)如下報(bào)錯(cuò)信息：

"Error in vector(typeof(x$v), nr * nc): vector size cannot be NA

In addition: Warning message:

In nr * nc : NAs produced by integeroverflow"

恭喜你！這個(gè)問題64位版本的R也解決不了，因?yàn)榫仃嚦隽薘允許的最大限制~我也是遇到同樣的問題，所以沒辦法，只能將原始數(shù)據(jù)進(jìn)行拆分，不過我的情況是多個(gè)微博賬戶，但彼此之間的微博分類差不太多，所以可以進(jìn)行拆分。強(qiáng)烈推薦大家有問題去stackoverflow查找！

（我看到有國(guó)外友人說(shuō)可以用int64包嘗試一下，因?yàn)閠dm其實(shí)也是個(gè)list，但我沒試成功……）

1. #好了，下面貼上全部代碼：  
2.   
3. ################################################################  
4.   
5. # 讀取數(shù)據(jù)  
6. col=c(rep("character",6),"NULL",NA,NA,"character",rep("NULL",4))  
7. data=read.csv(file="text.csv",header=T,sep=",",colClasses=col)   
8. # 將文本存儲(chǔ)到一個(gè)向量中  
9. doc=c(NULL)  
10. for(i in 1:dim(data)[1]){  
11.   doc=c(doc,data$Text[i])  
12. }  
13.   
14. #################################################################  
15.   
16. # 去除微博中含有的url  
17. doc=gsub(pattern="http:[a-zA-Z\\/\\.0-9]+","",doc)  
18.   
19. # 無(wú)意義微博處理  
20. empty_N=c(2032,2912,7518,8939,14172,14422,26786,30126,34501,35239,48029,48426,48949,49100,49365,49386,49430,50034,56818,56824,56828,57859)  
21. doc[empty_N]="NA"  
22.   
23. #################################################################  
24.   
25. # 添加詞匯  
26.   
27. library("Rwordseg")  
28. textwords=c("...")  
29. insertWords(textwords)  
30. # removeWords(tagwords)  
31.   
32. doc_CN=list()  
33. for(j in 1:length(doc)){  
34.   doc_CN[[j]]=c(segmentCN(doc[j],recognition=F))  
35. }  
36.   
37. detach("package:Rwordseg", unload=TRUE)  
38.   
39. #################################################################  
40. # 構(gòu)建語(yǔ)料庫(kù)(Corpus對(duì)象)  
41. library("tm")  
42. doc.corpus=Corpus(VectorSource(doc_CN))  
43.   
44. ###########停用詞###########  
45. data_stw=read.table(file="中文停用詞庫(kù).txt",colClasses="character")  
46. stopwords_CN=c(NULL)  
47. for(i in 1:dim(data_stw)[1]){  
48.   stopwords_CN=c(stopwords_CN,data_stw[i,1])  
49. }  
50. doc.corpus=tm_map(doc.corpus,removeWords,stopwords_CN) # 刪除停用詞  
51. ############################  
52.   
53. # 創(chuàng)建詞項(xiàng)-文檔矩陣(TDM)  
54. control=list(removePunctuation=T,minDocFreq=5,wordLengths = c(1, Inf),weighting = weightTfIdf)  
55. doc.tdm=TermDocumentMatrix(doc.corpus,control)  
56.   
57. length(doc.tdm$dimnames$Terms)  
58. tdm_removed=removeSparseTerms(doc.tdm, 0.9998) # 1-去除了低于 99.98% 的稀疏條目項(xiàng)  
59. length(tdm_removed$dimnames$Terms)  
60.   
61. #################################################################  
62.   
63. # 層次聚類：  
64. dist_tdm_removed <- dissimilarity(tdm_removed, method = 'cosine')  
65. hc <- hclust(dist_tdm_removed, method = 'mcquitty')  
66. cutNum = 20  
67. ct = cutree(hc,k=cutNum)  
68. sink(file="result.txt")  
69. for(i in 1:cutNum){  
70.   print(paste("第",i,"類： ",sum(ct==i),"個(gè)"));  
71.   print("----------------");  
72.   print(attr(ct[ct==i],"names"));  
73. #   print(doc[as.integer(names(ct[ct==i]))])  
74.   print("----------------")  
75. }  
76. sink()  
77.   
78.   
79. #輸出結(jié)果  
80. output=data.frame(clas=NULL,tag=NULL,text=NULL)  
81. for(i in 1:cutNum){  
82.   in_tag=tag[as.integer(names(ct[ct==i]))]  
83.   in_text=doc[as.integer(names(ct[ct==i]))]  
84.   cut_output=data.frame(clas=rep(i,length(in_tag)),tag=in_tag,text=in_text)  
85.   output=rbind(output,cut_output)  
86. }  
87. write.table(output,file="classification.csv",sep=",",row.names=F)