來(lái)源 | 雪晴數(shù)據(jù)網(wǎng)

利用機(jī)器學(xué)習(xí)可以很方便的做情感分析。本篇文章將介紹在R語(yǔ)言中如何利用機(jī)器學(xué)習(xí)方法來(lái)做情感分析。在R語(yǔ)言中，由Timothy P.Jurka開發(fā)的情感分析以及更一般的文本挖掘包已經(jīng)得到了很好的發(fā)展。你可以查看下sentiment包以及夢(mèng)幻般的RTextTools包。實(shí)際上，Timothy還寫了一個(gè)針對(duì)低內(nèi)存下多元Logistic回歸（也稱最大熵）的R包maxtent。

然而，RTextTools包中不包含樸素貝葉斯方法。e1071包可以很好的執(zhí)行樸素貝葉斯方法。e1071是TU Wien(維也納科技大學(xué))統(tǒng)計(jì)系的一門課程。這個(gè)包的主要開發(fā)者是David Meyer。

我們?nèi)匀挥斜匾私馕谋痉治龇矫娴闹R(shí)。用R語(yǔ)言來(lái)處理文本分析已經(jīng)是公認(rèn)的事實(shí)（詳見R語(yǔ)言中的自然語(yǔ)言處理）。tm包算是其中成功的一部分：它是R語(yǔ)言在文本挖掘應(yīng)用中的一個(gè)框架。它在文本清洗（詞干提取，刪除停用詞等）以及將文本轉(zhuǎn)換為詞條-文檔矩陣(dtm)方面做得很好。這里是對(duì)它的一個(gè)介紹。文本分析最重要的部分就是得到每個(gè)文檔的特征向量，其中詞語(yǔ)特征最重要的。當(dāng)然，你也可以將單個(gè)詞語(yǔ)特征擴(kuò)展為雙詞組，三連詞，n-連詞等。在本篇文章，我們以單個(gè)詞語(yǔ)特征為例做演示。

注意，在R中用ngram包來(lái)處理n-連詞。在過(guò)去，Rweka包提供了函數(shù)來(lái)處理它，感興趣的可以查看這個(gè)案例?，F(xiàn)在，你可以設(shè)置RTextTools包中create_matrix函數(shù)的參數(shù)ngramLength來(lái)實(shí)現(xiàn)它。

第一步是讀取數(shù)據(jù)：

創(chuàng)建詞條-文檔矩陣：

現(xiàn)在，我們可以用這個(gè)數(shù)據(jù)集來(lái)訓(xùn)練樸素貝葉斯模型。注意，e1071要求響應(yīng)變量是數(shù)值型或因子型的。我們用下面的方法將字符串型數(shù)據(jù)轉(zhuǎn)換成因子型：

測(cè)試結(jié)果準(zhǔn)確度：

顯然，這個(gè)結(jié)果跟python得到的結(jié)果是相同的（這篇文章是用python得到的結(jié)果）。

其它機(jī)器學(xué)習(xí)方法怎樣呢？

下面我們使用RTextTools包來(lái)處理它。

首先，指定相應(yīng)的數(shù)據(jù)：

其次，用多種機(jī)器學(xué)習(xí)算法訓(xùn)練模型：

現(xiàn)在，我們可以使用訓(xùn)練過(guò)的模型做測(cè)試集分類：

準(zhǔn)確性如何呢？

得到模型的結(jié)果摘要（特別是結(jié)果的有效性）：

結(jié)果的交叉驗(yàn)證：

結(jié)果可在我的Rpub頁(yè)面找到。可以看到，maxent的準(zhǔn)確性跟樸素貝葉斯是一樣的，其它方法的結(jié)果準(zhǔn)確性更差。這是可以理解的，因?yàn)槲覀兘o的是一個(gè)非常小的數(shù)據(jù)集。擴(kuò)大訓(xùn)練集后，利用更復(fù)雜的方法我們對(duì)推文做的情感分析可以得到一個(gè)更好的結(jié)果。示例演示如下：

推文情感分析

數(shù)據(jù)來(lái)自victornep。victorneo展示的是用python對(duì)推文做情感分析。這里，我們用R來(lái)處理它：

讀取數(shù)據(jù)：

首先，嘗試下樸素貝葉斯

然后，嘗試其他方法：

這里，我們也希望得到正式的測(cè)試結(jié)果。包括：

1.analytics@algorithm_summary：包括精確度，召回率，準(zhǔn)確率，F-scores的摘要

2.analytics@label_summary：類標(biāo)簽摘要

3.analytics@document_summary：所有數(shù)據(jù)和得分的原摘要

4.analytics@ensemble_summary：所有 精確度/覆蓋度 比值的摘要

現(xiàn)在讓我們看看結(jié)果：

與樸素貝葉斯方法相比，其它算法的結(jié)果更好，召回精度高于0.95。結(jié)果可在Rpub查看

原文鏈接：http：//www.xueqing.cc/cms/article/107