
R文本挖掘之tm包
tm包是R文本挖掘方面不可不知也不可不用的一個package。它提供了文本挖掘中的綜合處理功能。如:數(shù)據(jù)載入,語料庫處理,數(shù)據(jù)預(yù)處理,元數(shù)據(jù)管理以及建立“文檔-詞條”矩陣。
下面,即從tm包提供的各項功能函數(shù)的探索出發(fā),一起開始我們的文本挖掘奇幻之旅。
首先,運(yùn)行下面的幾行代碼,即可看到介紹tm包的小品文:Introduction to the tm Package:Text Mining in R(https://cran.r-project.org/web/packages/tm/vignettes/tm.pdf).
install.packages("tm")
library(tm)
vignette("tm")
tm包重要函數(shù)初探
數(shù)據(jù)載入及語料庫創(chuàng)建
載入數(shù)據(jù)的格式要求
tm包支持多種格式的數(shù)據(jù)。用getreaders()函數(shù)可以獲得tm包支持的數(shù)據(jù)文件格式。
library(tm)
## Loading required package: NLP
getReaders()
## [1] "readDOC" "readPDF"
## [3] "readPlain" "readRCV1"
## [5] "readRCV1asPlain" "readReut21578XML"
## [7] "readReut21578XMLasPlain" "readTabular"
## [9] "readTagged" "readXML"
載入數(shù)據(jù)的方式
tm包中主要管理文件的數(shù)據(jù)結(jié)構(gòu)稱為語料庫(Corpus),它表示一系列文檔的集合。
語料庫又分為動態(tài)語料庫(Volatile Corpus)和靜態(tài)語料庫(Permanent Corpus)。
動態(tài)語料庫將作為R對象保存在內(nèi)存中,可以使用VCorpus()或者Corpus()生成。
而動態(tài)語料庫則作為R外部文件保存,可以使用PCorpus()函數(shù)生成。
先來看一下VCorpus()函數(shù)的使用。
VCorpus(x, readerControl = list(reader = reader(x), language = "en"))
as.VCorpus(x)
第一個參數(shù)x即文本數(shù)據(jù)來源。對于as.VCorpus()中的x,指定的是一個R對象;對于VCorpus(),可以使用以下幾種方式載入x。
DirSource():從本地文件目錄夾導(dǎo)入
VectorSource():輸入文本構(gòu)成的向量
DataframeSource():輸入文本構(gòu)成的data frame
對于第二個參數(shù)readerControl,即指定文件類型的對應(yīng)的讀入方式。默認(rèn)使用tm支持的(即getReaders()中羅列的)一系列函數(shù)。language即文件的語言類型。似乎不能支持中文。這個問題稍后解釋如何解決。
這里,使用tm包自帶的一個數(shù)據(jù)集進(jìn)行語料庫創(chuàng)建的測試。
DirSource()方式:
txt<-system.file("texts","txt",package = 'tm')
(docs<-Corpus(DirSource(txt,encoding = "UTF-8")))
## <<VCorpus>>
## Metadata: corpus specific: 0, document level (indexed): 0
## Content: documents: 5
VectorSource()方式:
docs<-c("this is a text","And we create a vector.")
VCorpus(VectorSource(docs))
## <<VCorpus>>
## Metadata: corpus specific: 0, document level (indexed): 0
## Content: documents: 2
下面,導(dǎo)入一個數(shù)據(jù)集『冰與火之歌』全五部(沒錯,我就是來劇透的~~),作為后面練習(xí)的例子。
IceAndSongs<-VCorpus(DirSource(directory = "D:/my_R_workfile/RPROJECT/textming/data/IceAndSongs",encoding = "UTF-8"))
數(shù)據(jù)導(dǎo)出
將語料庫導(dǎo)出至本地硬盤上,可以使用writeCorpus()函數(shù).
writeCorpus(IceAndSongs,path = "D:/my_R_workfile/RPROJECT/textming/data/Corpus")
語料庫的查看及提取
可以使用print()和summary()查看語料庫的部分信息。而完整信息的提取則需要使用inspect()函數(shù)。
inspect(IceAndSongs[1:2])
## <<VCorpus>>
## Metadata: corpus specific: 0, document level (indexed): 0
## Content: documents: 2
##
## [[1]]
## <<PlainTextDocument>>
## Metadata: 7
## Content: chars: 1745859
##
## [[2]]
## <<PlainTextDocument>>
## Metadata: 7
## Content: chars: 2018112
文件太大,而沒有打印出來。我們可以使用writeLines()函數(shù)進(jìn)行完全打印查看。
writeLines(as.character(IceAndSongs[[1]]))
對于單個文檔的提取,可以類型列表取元素子集一樣使用 [[ 操作。
identical(IceAndSongs[[1]],IceAndSongs[["冰與火之歌1.txt"]])
## [1] TRUE
數(shù)據(jù)轉(zhuǎn)換
創(chuàng)建好語料庫之后,一般還需要做進(jìn)一步的處理,如:消除空格(Whitespace),大小寫轉(zhuǎn)換,去除停止詞,詞干化等。
所有的這些處理都可以使用tm_map()函數(shù),通過map的方式將轉(zhuǎn)化函數(shù)應(yīng)用到每一個文檔語料上。
消除空格
IceAndSongs<-tm_map(IceAndSongs,stripWhitespace)
去除數(shù)字
IceAndSongs<-tm_map(IceAndSongs,removeNumbers)
去除標(biāo)點(diǎn)符號
IceAndSongs<-tm_map(IceAndSongs,removePunctuation)
大小寫轉(zhuǎn)換
IceAndSongs<-tm_map(IceAndSongs,tolower)
消除停止詞
tm包中自帶了停止詞集。
IceAndSongs<-tm_map(IceAndSongs,removeWords,stopwords("english"))
當(dāng)然,也可以指定你自己設(shè)定的停止詞集,將stopwords("english")替換成你自己的停止詞集對象即可。
詞干化
詞干化,即詞干提取。指的是去除詞綴得到詞根的過程─—得到單詞最一般的寫法。
如以單復(fù)數(shù)等多種形式存在的詞,或多種時態(tài)形式存在的同一個詞,它們代表的其實是同一個意思。因此需要通過詞干化將它們的形式進(jìn)行統(tǒng)一。
tm_map(IceAndSongs,stemDocument)
## <<VCorpus>>
## Metadata: corpus specific: 0, document level (indexed): 0
## Content: documents: 5
去除特殊字符
for(i in seq(IceAndSongs)){
IceAndSongs[[i]]<-gsub("/"," ",IceAndSongs[[i]])
IceAndSongs[[i]]<-gsub("@"," ",IceAndSongs[[i]])
IceAndSongs[[i]]<-gsub("-"," ",IceAndSongs[[i]])
}
過濾
過濾功能能夠選擇出符合我們需要的文檔。
idx<-meta(IceAndSongs,"id") == "冰與火之歌1.txt"
IceAndSongs[idx]
也可以進(jìn)行全文搜索匹配。如含有”winter is coming”的文檔。
tm_filter(IceAndSongs,FUN = function(x){ any(grep("winter is coming",content(x)))})
元數(shù)據(jù)管理
元數(shù)據(jù)指的是對文檔進(jìn)行標(biāo)簽化的附加信息??梢酝ㄟ^meta()函數(shù)進(jìn)行元數(shù)據(jù)管理。
DublinCore()函數(shù)提供了一套介于Simple Dublin Core元數(shù)據(jù)和tm元數(shù)據(jù)之間的映射機(jī)制,用于獲得或設(shè)置文檔的元數(shù)據(jù)信息。
DublinCore(IceAndSongs[[1]],tag = "creator") <- "R.R.Martin"
DublinCore(IceAndSongs[[1]])
meta(IceAndSongs[[1]])
以上操作示例主要是針對文檔級別的元數(shù)據(jù)管理。而元數(shù)據(jù)標(biāo)簽其實對應(yīng)了兩個級別:
整個語料庫級別:文檔的集合
單個文檔級別
而文檔級別的標(biāo)簽,可以用于文檔分類(classification)。
下面演示一下語料庫級別的元數(shù)據(jù)管理。
meta(IceAndSongs,tag = "test",type = "corpus")<-"test meta"
meta(IceAndSongs,type = "corpus")
創(chuàng)建詞條-文檔矩陣
詞條-文檔矩陣是一個非常重要的對象,它是后續(xù)建立文本分類,文本聚類等模型的基礎(chǔ)。
詞條-文檔矩陣指的是詞條作為行,文檔標(biāo)簽作為列的稀疏矩陣。當(dāng)然,也可以建立“文檔-詞條矩陣”。對應(yīng)的兩個操作函數(shù)為:TermDocumentMatrix()和DocumentTermMatrix().
dtm<-DocumentTermMatrix(IceAndSongs)
inspect(dtm[1:5,100:105])
默認(rèn)情況下,矩陣的元素是詞的頻率。而我們還有一個重要參數(shù)可以設(shè)置??梢詫⒕仃嚨脑剞D(zhuǎn)化為TF-IDF值。
dtm_2<-DocumentTermMatrix(IceAndSongs,
control = list(removePunctuation = TRUE,stopwords = FALSE,weighting =
function(x)weightTfIdf(x,normalize = TRUE)))
inspect(dtm[1:5,10:15])
對文檔詞條矩陣操作
tm包提供的文檔-詞條矩陣操作有:詞頻過濾;詞語之間的相關(guān)性計算;去除稀疏詞等。
findFreqTerms(dtm,10)
findAssocs(dtm,"winter",0.5)
inspect(removeSparseTerms(dtm,0.4))
字典
字典是一個字符集。它可以作為一個控制參數(shù)傳入DocumentTermMatrix(),從而選擇我們需要的詞條建立文檔-詞條矩陣。
inspect(DocumentTermMatrix(IceAndSongs,
list(dictionary = c("winter","power","ice"))))
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03