R文本挖掘之tm包

tm包是R文本挖掘方面不可不知也不可不用的一個package。它提供了文本挖掘中的綜合處理功能。如：數(shù)據(jù)載入，語料庫處理，數(shù)據(jù)預(yù)處理，元數(shù)據(jù)管理以及建立“文檔-詞條”矩陣。
下面，即從tm包提供的各項(xiàng)功能函數(shù)的探索出發(fā)，一起開始我們的文本挖掘奇幻之旅。

首先，運(yùn)行下面的幾行代碼，即可看到介紹tm包的小品文：Introduction to the tm Package:Text Mining in R（https://cran.r-project.org/web/packages/tm/vignettes/tm.pdf）.
install.packages("tm")

library(tm)

vignette("tm")

tm包重要函數(shù)初探


數(shù)據(jù)載入及語料庫創(chuàng)建


載入數(shù)據(jù)的格式要求

tm包支持多種格式的數(shù)據(jù)。用getreaders()函數(shù)可以獲得tm包支持的數(shù)據(jù)文件格式。

library(tm)

## Loading required package: NLP

getReaders()

##  [1] "readDOC"                 "readPDF"                
##  [3] "readPlain"               "readRCV1"               
##  [5] "readRCV1asPlain"         "readReut21578XML"       
##  [7] "readReut21578XMLasPlain" "readTabular"            
##  [9] "readTagged"              "readXML"

載入數(shù)據(jù)的方式


tm包中主要管理文件的數(shù)據(jù)結(jié)構(gòu)稱為語料庫（Corpus），它表示一系列文檔的集合。

語料庫又分為動態(tài)語料庫（Volatile Corpus）和靜態(tài)語料庫（Permanent Corpus）。

動態(tài)語料庫將作為R對象保存在內(nèi)存中，可以使用VCorpus()或者Corpus()生成。

而動態(tài)語料庫則作為R外部文件保存，可以使用PCorpus()函數(shù)生成。

先來看一下VCorpus()函數(shù)的使用。

VCorpus(x, readerControl = list(reader = reader(x), language = "en"))

as.VCorpus(x)

第一個參數(shù)x即文本數(shù)據(jù)來源。對于as.VCorpus()中的x，指定的是一個R對象；對于VCorpus()，可以使用以下幾種方式載入x。

    DirSource():從本地文件目錄夾導(dǎo)入

    VectorSource():輸入文本構(gòu)成的向量

    DataframeSource():輸入文本構(gòu)成的data frame

對于第二個參數(shù)readerControl,即指定文件類型的對應(yīng)的讀入方式。默認(rèn)使用tm支持的（即getReaders()中羅列的）一系列函數(shù)。language即文件的語言類型。似乎不能支持中文。這個問題稍后解釋如何解決。

這里，使用tm包自帶的一個數(shù)據(jù)集進(jìn)行語料庫創(chuàng)建的測試。

    DirSource()方式：

txt<-system.file("texts","txt",package = 'tm')

(docs<-Corpus(DirSource(txt,encoding = "UTF-8")))

## <<VCorpus>>
## Metadata:  corpus specific: 0, document level (indexed): 0
## Content:  documents: 5

    VectorSource()方式：

docs<-c("this is a text","And we create a vector.")

VCorpus(VectorSource(docs))

## <<VCorpus>>
## Metadata:  corpus specific: 0, document level (indexed): 0
## Content:  documents: 2

下面，導(dǎo)入一個數(shù)據(jù)集『冰與火之歌』全五部（沒錯，我就是來劇透的～～），作為后面練習(xí)的例子。

IceAndSongs<-VCorpus(DirSource(directory = "D:/my_R_workfile/RPROJECT/textming/data/IceAndSongs",encoding = "UTF-8"))

數(shù)據(jù)導(dǎo)出

將語料庫導(dǎo)出至本地硬盤上，可以使用writeCorpus()函數(shù).

writeCorpus(IceAndSongs,path = "D:/my_R_workfile/RPROJECT/textming/data/Corpus")

語料庫的查看及提取

可以使用print()和summary()查看語料庫的部分信息。而完整信息的提取則需要使用inspect()函數(shù)。

inspect(IceAndSongs[1:2])

## <<VCorpus>>
## Metadata:  corpus specific: 0, document level (indexed): 0
## Content:  documents: 2
##
## [[1]]
## <<PlainTextDocument>>
## Metadata:  7
## Content:  chars: 1745859
##
## [[2]]
## <<PlainTextDocument>>
## Metadata:  7
## Content:  chars: 2018112

文件太大，而沒有打印出來。我們可以使用writeLines()函數(shù)進(jìn)行完全打印查看。

writeLines(as.character(IceAndSongs[[1]]))

對于單個文檔的提取，可以類型列表取元素子集一樣使用 [[ 操作。

identical(IceAndSongs[[1]],IceAndSongs[["冰與火之歌1.txt"]])

## [1] TRUE

數(shù)據(jù)轉(zhuǎn)換

創(chuàng)建好語料庫之后，一般還需要做進(jìn)一步的處理，如：消除空格（Whitespace）,大小寫轉(zhuǎn)換，去除停止詞，詞干化等。

所有的這些處理都可以使用tm_map()函數(shù)，通過map的方式將轉(zhuǎn)化函數(shù)應(yīng)用到每一個文檔語料上。

消除空格

IceAndSongs<-tm_map(IceAndSongs,stripWhitespace)

去除數(shù)字

IceAndSongs<-tm_map(IceAndSongs,removeNumbers)

去除標(biāo)點(diǎn)符號

IceAndSongs<-tm_map(IceAndSongs,removePunctuation)

大小寫轉(zhuǎn)換

IceAndSongs<-tm_map(IceAndSongs,tolower)

消除停止詞

tm包中自帶了停止詞集。

IceAndSongs<-tm_map(IceAndSongs,removeWords,stopwords("english"))

當(dāng)然，也可以指定你自己設(shè)定的停止詞集,將stopwords("english")替換成你自己的停止詞集對象即可。


詞干化


詞干化，即詞干提取。指的是去除詞綴得到詞根的過程─—得到單詞最一般的寫法。

如以單復(fù)數(shù)等多種形式存在的詞，或多種時態(tài)形式存在的同一個詞，它們代表的其實(shí)是同一個意思。因此需要通過詞干化將它們的形式進(jìn)行統(tǒng)一。

tm_map(IceAndSongs,stemDocument)

## <<VCorpus>>
## Metadata:  corpus specific: 0, document level (indexed): 0
## Content:  documents: 5

去除特殊字符

for(i in seq(IceAndSongs)){
  IceAndSongs[[i]]<-gsub("/"," ",IceAndSongs[[i]])
  IceAndSongs[[i]]<-gsub("@"," ",IceAndSongs[[i]])
  IceAndSongs[[i]]<-gsub("-"," ",IceAndSongs[[i]])
}

過濾

過濾功能能夠選擇出符合我們需要的文檔。

idx<-meta(IceAndSongs,"id") == "冰與火之歌1.txt"

IceAndSongs[idx]

也可以進(jìn)行全文搜索匹配。如含有”winter is coming”的文檔。

tm_filter(IceAndSongs,FUN = function(x){ any(grep("winter is coming",content(x)))})

元數(shù)據(jù)管理

元數(shù)據(jù)指的是對文檔進(jìn)行標(biāo)簽化的附加信息。可以通過meta()函數(shù)進(jìn)行元數(shù)據(jù)管理。

DublinCore()函數(shù)提供了一套介于Simple Dublin Core元數(shù)據(jù)和tm元數(shù)據(jù)之間的映射機(jī)制，用于獲得或設(shè)置文檔的元數(shù)據(jù)信息。

DublinCore(IceAndSongs[[1]],tag = "creator") <- "R.R.Martin"

DublinCore(IceAndSongs[[1]])

meta(IceAndSongs[[1]])

以上操作示例主要是針對文檔級別的元數(shù)據(jù)管理。而元數(shù)據(jù)標(biāo)簽其實(shí)對應(yīng)了兩個級別：

    整個語料庫級別：文檔的集合

    單個文檔級別

而文檔級別的標(biāo)簽，可以用于文檔分類(classification)。

下面演示一下語料庫級別的元數(shù)據(jù)管理。

meta(IceAndSongs,tag = "test",type = "corpus")<-"test meta"

meta(IceAndSongs,type = "corpus")

創(chuàng)建詞條-文檔矩陣

詞條-文檔矩陣是一個非常重要的對象，它是后續(xù)建立文本分類，文本聚類等模型的基礎(chǔ)。

詞條-文檔矩陣指的是詞條作為行，文檔標(biāo)簽作為列的稀疏矩陣。當(dāng)然，也可以建立“文檔-詞條矩陣”。對應(yīng)的兩個操作函數(shù)為：TermDocumentMatrix()和DocumentTermMatrix().

dtm<-DocumentTermMatrix(IceAndSongs)

inspect(dtm[1:5,100:105])

默認(rèn)情況下，矩陣的元素是詞的頻率。而我們還有一個重要參數(shù)可以設(shè)置。可以將矩陣的元素轉(zhuǎn)化為TF-IDF值。

dtm_2<-DocumentTermMatrix(IceAndSongs,
                        control = list(removePunctuation = TRUE,stopwords = FALSE,weighting =
              function(x)weightTfIdf(x,normalize = TRUE)))

inspect(dtm[1:5,10:15])
對文檔詞條矩陣操作
tm包提供的文檔-詞條矩陣操作有：詞頻過濾；詞語之間的相關(guān)性計算；去除稀疏詞等。
findFreqTerms(dtm,10)
findAssocs(dtm,"winter",0.5)
inspect(removeSparseTerms(dtm,0.4))
字典
字典是一個字符集。它可以作為一個控制參數(shù)傳入DocumentTermMatrix(),從而選擇我們需要的詞條建立文檔-詞條矩陣。
inspect(DocumentTermMatrix(IceAndSongs,
                           list(dictionary = c("winter","power","ice"))))