
Python做文本挖掘的情感極性分析
「情感極性分析」是對帶有感情色彩的主觀性文本進(jìn)行分析、處理、歸納和推理的過程。按照處理文本的類別不同,可分為基于新聞評論的情感分析和基于產(chǎn)品評論的情感分析。其中,前者多用于輿情監(jiān)控和信息預(yù)測,后者可幫助用戶了解某一產(chǎn)品在大眾心目中的口碑。目前常見的情感極性分析方法主要是兩種:基于情感詞典的方法和基于機(jī)器學(xué)習(xí)的方法。
1. 基于情感詞典的文本情感極性分析
筆者是通過情感打分的方式進(jìn)行文本情感極性判斷,score > 0判斷為正向,score < 0判斷為負(fù)向。
1.1 數(shù)據(jù)準(zhǔn)備
1.1.1 情感詞典及對應(yīng)分?jǐn)?shù)
詞典來源于BosonNLP數(shù)據(jù)下載http://bosonnlp.com/dev/resource 的情感詞典,來源于社交媒體文本,所以詞典適用于處理社交媒體的情感分析。
詞典把所有常用詞都打上了唯一分?jǐn)?shù)有許多不足之處。
不帶情感色彩的停用詞會(huì)影響文本情感打分。由于中文的博大精深,詞性的多變成為了影響模型準(zhǔn)確度的重要原因。一種情況是同一個(gè)詞在不同的語境下可以是代表完全相反的情感意義,用筆者模型預(yù)測偏最大的句子為例(來源于朋友圈文本):
有車一族都用了這個(gè)寶貝,后果很嚴(yán)重哦[偷笑][偷笑][偷笑]1,交警工資估計(jì)會(huì)打5折,沒有超速罰款了[呲牙][呲牙][呲牙]2,移動(dòng)聯(lián)通公司大幅度裁員,電話費(fèi)少了[呲牙][呲牙][呲牙]3,中石化中石油裁員2成,路癡不再迷路,省油[悠閑][悠閑][悠閑]5,保險(xiǎn)公司裁員2成,保費(fèi)折上折2成,全國通用[憨笑][憨笑][憨笑]買不買你自己看著辦吧[調(diào)皮][調(diào)皮][調(diào)皮]
里面嚴(yán)重等詞都是表達(dá)的相反意思,甚至整句話一起表示相反意思,不知死活的筆者還沒能深入研究如何用詞典的方法解決這類問題,但也許可以用機(jī)器學(xué)習(xí)的方法讓神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)能夠初步解決這一問題。另外,同一個(gè)詞可作多種詞性,那么情感分?jǐn)?shù)也不應(yīng)相同,例如:
這部電影真垃圾
垃圾分類
很明顯在第一句中垃圾表現(xiàn)強(qiáng)烈的貶義,而在第二句中表示中性,單一評分對于這類問題的分類難免有失偏頗。
1.1.2 否定詞詞典
否定詞的出現(xiàn)將直接將句子情感轉(zhuǎn)向相反的方向,而且通常效用是疊加的。常見的否定詞:不、沒、無、非、莫、弗、勿、毋、未、否、別、無、休、難道等。
1.1.3 程度副詞詞典
既是通過打分的方式判斷文本的情感正負(fù),那么分?jǐn)?shù)絕對值的大小則通常表示情感強(qiáng)弱。既涉及到程度強(qiáng)弱的問題,那么程度副詞的引入就是勢在必行的。
詞典內(nèi)數(shù)據(jù)格式可參考如下格式,即共兩列,第一列為程度副詞,第二列是程度數(shù)值,> 1表示強(qiáng)化情感,< 1表示弱化情感。
1.2 數(shù)據(jù)預(yù)處理
1.2.1 分詞
即將句子拆分為詞語集合,結(jié)果如下:
e.g. 這樣/的/酒店/配/這樣/的/價(jià)格/還算/不錯(cuò)
Python常用的分詞工具(在此筆者使用Jieba進(jìn)行分詞):結(jié)巴分詞 Jieba
Pymmseg-cpp
Loso
smallseg
from collections import defaultdict
import os
import re
import jieba
import codecs
“””
1. 文本切割
“””def sent2word(sentence):
“””
Segment a sentence to words
Delete stopwords
“””
segList = jieba.cut(sentence)
segResult = [] for w in segList:
segResult.append(w)
stopwords = readLines(‘stop_words.txt’)
newSent = [] for word in segResult: if word in stopwords:
continue
else:
newSent.append(word) return newSent
1.2.2 去除停用詞
遍歷所有語料中的所有詞語,刪除其中的停用詞
e.g. 這樣/的/酒店/配/這樣/的/價(jià)格/還算/不錯(cuò)–> 酒店/配/價(jià)格/還算/不錯(cuò)
1.3 構(gòu)建模型
1.3.1 將詞語分類并記錄其位置
將句子中各類詞分別存儲(chǔ)并標(biāo)注位置。
“””2. 情感定位”””
def classifyWords(wordDict): # (1) 情感詞
senList = readLines(‘BosonNLP_sentiment_score.txt’) senDict = defaultdict()
for s in senList:
senDict[s.split(‘ ‘)[0]] = s.split(‘ ‘)[1] # (2) 否定詞
notList = readLines(‘notDict.txt’) # (3) 程度副詞 degreeList = readLines(‘degreeDict.txt’)
degreeDict = defaultdict()
for d in degreeList:
degreeDict[d.split(‘,’)[0]] = d.split(‘,’)[1]
senWord = defaultdict()
notWord = defaultdict()
degreeWord = defaultdict()
for word in wordDict.keys():
if word in senDict.keys() and word not in notList and word not in degreeDict.keys():
senWord[wordDict[word]] = senDict[word]
elif word in notList and word not in degreeDict.keys(): notWord[wordDict[word]] = -1
elif word in degreeDict.keys(): degreeWord[wordDict[word]] = degreeDict[word]
return senWord, notWord, degreeWord
1.3.2 計(jì)算句子得分
在此,簡化的情感分?jǐn)?shù)計(jì)算邏輯:所有情感詞語組的分?jǐn)?shù)之和.
定義一個(gè)情感詞語組:兩情感詞之間的所有否定詞和程度副詞與這兩情感詞中的后一情感詞構(gòu)成一個(gè)情感詞組,即notWords + degreeWords + sentiWords,例如不是很交好,其中不是為否定詞,為程度副詞,交好為情感詞,那么這個(gè)情感詞語組的分?jǐn)?shù)為:
finalSentiScore = (-1) ^ 1 * 1.25 * 0.747127733968
其中1指的是一個(gè)否定詞,1.25是程度副詞的數(shù)值,0.747127733968為交好的情感分?jǐn)?shù)。
“””3. 情感聚合”””
def scoreSent(senWord, notWord, degreeWord, segResult):
W = 1 score = 0 # 存所有情感詞的位置的列表 senLoc = senWord.keys()
notLoc = notWord.keys()
degreeLoc = degreeWord.keys()
senloc = -1 # notloc = -1 # degreeloc = -1
# 遍歷句中所有單詞segResult,i為單詞絕對位置
for i in range(0, len(segResult)):
# 如果該詞為情感詞
if i in senLoc: # loc為情感詞位置列表的序號 senloc += 1 # 直接添加該情感詞分?jǐn)?shù) score += W * float(senWord[i])
# print “score = %f” % score
if senloc < len(senLoc) – 1:
# 判斷該情感詞與下一情感詞之間是否有否定詞或程度副詞 # j為絕對位置
for j in range(senLoc[senloc], senLoc[senloc + 1]): # 如果有否定詞
if j in notLoc:
W *= -1 # 如果有程度副詞
elif j in degreeLoc:
W *= float(degreeWord[j])
# i定位至下一個(gè)情感詞
if senloc < len(senLoc) – 1:
i = senLoc[senloc + 1]
return score
1.4 模型評價(jià)
其中大多數(shù)文本被判為正向文本符合實(shí)際情況,且絕大多數(shù)文本的情感得分的絕對值在10以內(nèi),這是因?yàn)楣P者在計(jì)算一個(gè)文本的情感得分時(shí),以句號作為一句話結(jié)束的標(biāo)志,在一句話內(nèi),情感詞語組的分?jǐn)?shù)累加,如若一個(gè)文本中含有多句話時(shí),則取其所有句子情感得分的平均值。然而,這個(gè)模型的缺點(diǎn)與局限性也非常明顯:
首先,段落的得分是其所有句子得分的平均值,這一方法并不符合實(shí)際情況。正如文章中先后段落有重要性大小之分,一個(gè)段落中前后句子也同樣有重要性的差異。
其次,有一類文本使用貶義詞來表示正向意義,這類情況常出現(xiàn)與宣傳文本中,還是那個(gè)例子:
有車一族都用了這個(gè)寶貝,后果很嚴(yán)重哦[偷笑][偷笑][偷笑]1,交警工資估計(jì)會(huì)打5折,沒有超速罰款了[呲牙][呲牙][呲牙]2,移動(dòng)聯(lián)通公司大幅度裁員,電話費(fèi)少了[呲牙][呲牙][呲牙]3,中石化中石油裁員2成,路癡不再迷路,省油[悠閑][悠閑][悠閑]5,保險(xiǎn)公司裁員2成,保費(fèi)折上折2成,全國通用[憨笑][憨笑][憨笑]買不買你自己看著辦吧[調(diào)皮][調(diào)皮][調(diào)皮]2980元軒轅魔鏡帶回家,推廣還有返利[得意]
Score Distribution中得分小于-10的幾個(gè)文本都是與這類情況相似,這也許需要深度學(xué)習(xí)的方法才能有效解決這類問題,普通機(jī)器學(xué)習(xí)方法也是很難的。
對于正負(fù)向文本的判斷,該算法忽略了很多其他的否定詞、程度副詞和情感詞搭配的情況;用于判斷情感強(qiáng)弱也過于簡單。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03