[plain]view plaincopyprint?

######批量讀入文本 

read.txt <- function(x) {   des <- readLines(x)                   #每行讀取 

return(paste(des, collapse = ""))     #沒(méi)有return則返回最后一個(gè)函數(shù)對(duì)象 

} 

review <- lapply(completepath, read.txt) 

#如果程序警告，這里可能是部分文件最后一行沒(méi)有換行導(dǎo)致，不用擔(dān)心。  

[plain]view plaincopyprint?

[1] ""                                                                                                                                                             

[2] "剛買(mǎi)的這款電腦，在自提點(diǎn)打開(kāi)的，就發(fā)現(xiàn)鍵盤(pán)已經(jīng)壞了，有個(gè)按鍵都快掉了，自提點(diǎn)不管，讓去聯(lián)系退換貨部門(mén)，退換貨部門(mén)說(shuō)鍵盤(pán)壞了不管退換，讓去惠普自己更換新鍵盤(pán)。" 

[3] ""                                                                                                                                                             

[4] "在京東剛買(mǎi)的東西出現(xiàn)問(wèn)題就要四處跑去修理，他們把責(zé)任推的一干二凈，現(xiàn)在除非你出具惠普的質(zhì)檢報(bào)告，他們才給受理。"                                               

[5] ""     

return(paste)函數(shù)將每一行粘貼在一起，最后返回完整的文本內(nèi)容；

[plain]view plaincopyprint?

docname <- list.files(reviewpath, pattern = "*.txt$") 

reviewdf <- as.data.frame(cbind(docname, unlist(review)),   

                          stringsAsFactors = F)  

colnames(reviewdf) <- c("id", "msg")   #列名  

[plain]view plaincopyprint?

reviewdf$msg <- gsub(pattern = " ", replacement ="", reviewdf$msg)  #gsub是字符替換函數(shù)，去空格 

reviewdf$msg <- gsub("\t", "", reviewdf$msg) #有時(shí)需要使用\\\t   

reviewdf$msg <- gsub(",", "，", reviewdf$msg)#文中有英文逗號(hào)會(huì)報(bào)錯(cuò)，所以用大寫(xiě)的“，” 

reviewdf$msg <- gsub("~|'", "", reviewdf$msg)#替換了波浪號(hào)（~）和英文單引號(hào)（'），它們之間用“|”符號(hào)隔開(kāi)，表示或的關(guān)系 

reviewdf$msg <- gsub("\\\"", "", reviewdf$msg)#替換所有的英文雙引號(hào)（"），因?yàn)殡p引號(hào)在R中有特殊含義，所以要使用三個(gè)斜杠（\\\）轉(zhuǎn)義  

[plain]view plaincopyprint?

sentence <- as.vector(test$msg) #文本內(nèi)容轉(zhuǎn)化為向量sentence 

sentence <- gsub("[[:digit:]]*", "", sentence) #清除數(shù)字[a-zA-Z] 

sentence <- gsub("[a-zA-Z]", "", sentence)   #清除英文字符 

sentence <- gsub("\\.", "", sentence)      #清除全英文的dot符號(hào) 

sentence <- sentence[!is.na(sentence)]   #清除對(duì)應(yīng)sentence里面的空值（文本內(nèi)容），要先執(zhí)行文本名 

sentence <- sentence[!nchar(sentence) < 2] #`nchar`函數(shù)對(duì)字符計(jì)數(shù)，英文嘆號(hào)為R語(yǔ)言里的“非”函數(shù)  

[plain]view plaincopyprint?

stopword <- read.csv("F:/R語(yǔ)言/R語(yǔ)言與文本挖掘/情感分析/數(shù)據(jù)/dict/stopword.csv", header = T, sep = ",", stringsAsFactors = F) 

stopword <- stopword[!stopword$term %in% posneg$term,]#函數(shù)`%in%`在posneg$term中查找stopword的元素，如果查到了就返回真值，沒(méi)查到就返回假 

#結(jié)果是一個(gè)和stopword等長(zhǎng)的波爾值向量，“非”函數(shù)將布爾值反向 

testterm <- testterm[!testterm$term %in% stopword,]#去除停用詞  

[plain]view plaincopyprint?

stopword <- read.csv("F:/R語(yǔ)言/R語(yǔ)言與文本挖掘/情感分析/數(shù)據(jù)/dict/stopword.csv", header = T, sep = ",", stringsAsFactors = F) 

stopword <- setdiff(stopword$term,posneg$term) 

testterm<- setdiff(testterm$term,stopword)  

[plain]view plaincopyprint?

#plyr包里的`join`函數(shù)會(huì)根據(jù)名稱(chēng)相同的列進(jìn)行匹配關(guān)聯(lián)，`join`默認(rèn)設(shè)置下執(zhí)行左連接 

reviewdf <- join(表1,表2) 

reviewdf <- 表1[!is.na(表1$label),]  #非NA值的行賦值  

[plain]view plaincopyprint?

> head(temp)  

       term           df      阿波羅 0.0000573263 

2 阿爾卑斯山 0.0000573263 

3     阿富汗 0.0001719789 

4       阿哥 0.0001146526 

5     阿根廷 0.0000573263 

6     阿拉伯 0.0001146526 

> head(traintfidf[,1:3])  

       id label       term 

1  4995.txt     1     阿波羅 

2 16443.txt     1 阿爾卑斯山 

3 12897.txt     1     阿富汗 

4  7001.txt     1     阿富汗 

5  9427.txt     1     阿富汗 

6 12368.txt     1       阿哥  

[plain]view plaincopyprint?

> head(traintfidf[,1:5])    

  id label       term tf           df  

  4995.txt     1     阿波羅  1 0.0000573263   16443.txt     1 阿爾卑斯山  1 0.0000573263 

12897.txt     1     阿富汗  2 0.0001719789  

7001.txt     1     阿富汗  1 0.0001719789 

9427.txt     1     阿富汗  1 0.0001719789 

12368.txt     1       阿哥  1 0.0001146526 

[plain]view plaincopyprint?

system.time(x <- segmentCN(strwords = sentence))  

#每次可能耗費(fèi)時(shí)間較長(zhǎng)的過(guò)程，都要使用少量數(shù)據(jù)預(yù)估一下時(shí)間，這是一個(gè)優(yōu)秀的習(xí)慣 

temp <- lapply(x, length) #每一個(gè)元素的長(zhǎng)度,即文本分出多少個(gè)詞 

temp <- unlist(temp)  #lapply返回的是一個(gè)list，所以3行unlist 

id <- rep(test[, "id"], temp) #將每一個(gè)對(duì)應(yīng)的id復(fù)制相應(yīng)的次數(shù)，就可以和詞匯對(duì)應(yīng)了 

label <- rep(test[, "label"], temp)#id對(duì)應(yīng)的情感傾向標(biāo)簽復(fù)制相同的次數(shù) 

term <- unlist(x) #6行將list解散為向量 

testterm <- as.data.frame(cbind(id, term, label), stringsAsFactors = F) 

#將一一對(duì)應(yīng)的三個(gè)向量按列捆綁為數(shù)據(jù)框，分詞整理就基本結(jié)束了  

[plain]view plaincopyprint?

library(plyr)  testterm <- join(testterm, posneg) 

testterm <- testterm[!is.na(testterm$weight), ] 

head(testterm)  

[plain]view plaincopyprint?

dictresult <- aggregate(weight ~ id, data = testterm, sum)  

[plain]view plaincopyprint?

dictlabel <- rep(-1, length(dictresult[, 1])) 

dictlabel[dictresult$weight > 0] <- 1 

dictresult <- as.data.frame(cbind(dictresult, dictlabel), stringsAsFactors = F)