
關(guān)于情感分析,你不得不知道的11件事
近來,關(guān)于情感分析的研究一直被大家所津津樂道,然而關(guān)于這項(xiàng)分析方法究竟有多大的實(shí)用性,則是眾說紛紜。有人認(rèn)為情感分析堪比打開人類市場研究新世界大門的鑰匙,而另一些人則認(rèn)為,這項(xiàng)技術(shù)只是騙人的萬靈油,甚至與占卜無異。那么,究竟誰是對的呢?
相較而言,我(筆者)更傾向于站在前者的陣營中?;谖谋痉治?,自動情感分析技術(shù)為基于李克特量表的傳統(tǒng)分析方法(Likert-reliant methodologies)注入了新的動力,使得研究人員能通過社群傾聽技術(shù)實(shí)時掌控客戶反饋的傾向變化,并由此實(shí)現(xiàn)了對客戶心聲的深入挖掘。
對于后者的陣營,我認(rèn)為他們對情感分析產(chǎn)生質(zhì)疑的原因可能來自于對這種分析方法實(shí)現(xiàn)能力與局限性的認(rèn)識扭曲。這樣的認(rèn)識扭曲也許是由于某些能力不足的解決方案供應(yīng)商造成的,不過不管它們究竟來自何方,我都會傾力而為去揭穿它們,還原一個有真正實(shí)際意義的情感分析技術(shù)。
我們目標(biāo)是鼓勵適當(dāng)?shù)氖褂们楦蟹治黾夹g(shù)并防止濫用。為了做到這點(diǎn),對市場教育的呼喚十分重要,我通過會議的形式做了很多這樣的事,在今年7月15號到16號的紐約情感分析研討會上,我特地點(diǎn)明了這樣十一件情感分析研究者必須知道的事:
1)在情感分析中,通過直接匹配詞典來查找詞匯是一種簡單明了的方法,也但略顯粗俗。詞的意思往往會根據(jù)句式、語境以及上下文之間的關(guān)聯(lián)而發(fā)生變化,進(jìn)行情感分析時我們需要將語言學(xué)與統(tǒng)計學(xué)的方法都應(yīng)用到其中。
2)文檔層面的情感分析或許正在面臨過時。我們情感分析的目標(biāo)應(yīng)該關(guān)注于實(shí)體(entity)、概念(concept)以及主題(topic)的層面。(例如,一部iPhone6是一個實(shí)體,iPhone是一個概念范疇,而智能手機(jī)則是它所屬的主題)
3)“情感”的一般語言定義包括態(tài)度(attitude)、意見(opinion)、感覺(feelings)和情緒(emotion)。最先進(jìn)的情感分析技術(shù)可以讓你超越正負(fù)面傾向得分的局限,根據(jù)情緒——如快樂、驚訝、恐懼、厭惡、憤怒、悲傷等對文本情感進(jìn)行評價,而不是僅僅是一個表達(dá)程度的分?jǐn)?shù)。
4)請將眼界放寬:情感分析是情感計算(Affective computing)大家族的一份子,這個家族涉及到了所有與人類情感相關(guān)、來自人類情感或是對人類情感產(chǎn)生影響的現(xiàn)象計算研究。情感分析與家族中的其他伙伴皆有所聯(lián)系,但在技術(shù)和方法上有著較為明顯的區(qū)別。
5)并非所有的情感都是平等的。不論是情感的傾向還是強(qiáng)度,我們都需要努力去理解。同時,研究情感如何轉(zhuǎn)化為行動也具有同樣重要的意義。
6)不論你是否在項(xiàng)目中使用了語言工程、統(tǒng)計模型與機(jī)器學(xué)習(xí)方法,在很多情況下,也許針對特定領(lǐng)域訓(xùn)練合適的模型,才是模型優(yōu)化的關(guān)鍵。
7)必須注意那些有關(guān)于準(zhǔn)確率的說法。對于模型的準(zhǔn)確性,這世界上不存在絕對的衡量標(biāo)準(zhǔn),因此在度量模型的準(zhǔn)確性時,我們總會遇到各種各樣的麻煩。正因如此,有的解決方案供應(yīng)商們甚至可能在提出分析模型之后對模型準(zhǔn)確性的測量過程避而不談。一種公認(rèn)可行的準(zhǔn)確度測量方法是將模型結(jié)果與一份經(jīng)過完全精準(zhǔn)的人工注釋/分類的語料進(jìn)行對比,這也意味著我們需要讓人工和機(jī)器同時去進(jìn)行一項(xiàng)龐大的語料分析工作,再進(jìn)行二者匹配程度的計算。但是當(dāng)你真的去嘗試這樣的做法時,所謂人工一方作出的判斷究竟是對是錯,同樣也很難說明清楚。與此同時,面向不同層面的文本分析軟件之間也很難進(jìn)行準(zhǔn)確度的對比,例如有些軟件只做了文檔層面的分析,而另一些則能夠?qū)?shí)體和概念進(jìn)行了解析,我們能說在實(shí)體層面具有70%準(zhǔn)確率的軟件就優(yōu)于在文檔層面具有97%準(zhǔn)確率的軟件嗎?
8)文本是最常見的情感數(shù)據(jù)來源,但它并不是唯一的一個。針對視頻的面部編碼技術(shù),針對音頻流的語音分析,都可以用于檢測人類的情緒反應(yīng),而這些也都是更先進(jìn)的情感狀態(tài)評估方法。而有關(guān)人類情感分析下一個前沿領(lǐng)域也有可能是:神經(jīng)科學(xué)、可穿戴儀器開發(fā)和生理學(xué)的其他研究手段。
9)語言是人類使用的最有活力和發(fā)展最快速的工具之一。計算機(jī)技術(shù)在社會中普及給了我們前所未有的語言表現(xiàn)能力,眾所周知的表情符號(emoji)就是這一進(jìn)程中的典型例子。表情符號不僅僅是人類語言的擴(kuò)音器,它在發(fā)展過程中逐漸獲得了自己的語法和特殊語義,從而自然而然地如潮水般涌入廣大的網(wǎng)絡(luò)社交媒體中。對于情感分析研究者來說,我們也應(yīng)該緊跟時代發(fā)展的腳步,去針對各種新誕生的語言表達(dá)形式進(jìn)行相關(guān)的挖掘與研究。
10)通過將行為表現(xiàn)與情感分析模型進(jìn)行聯(lián)系,或是根據(jù)人口與文化范疇對語料進(jìn)行分類,能夠幫助你提升分析與預(yù)測的能力。當(dāng)你面對龐雜的大規(guī)模數(shù)據(jù)時,請毫不猶豫地運(yùn)用這個方法。
11)一些先進(jìn)的概念,如動機(jī)、影響、維護(hù)和催化,都是建立在對人類情感和行為進(jìn)行建模以及社群網(wǎng)絡(luò)分析的基礎(chǔ)上的。在數(shù)據(jù)咨詢行業(yè),研究的最主要目標(biāo)是對市場以及消費(fèi)者進(jìn)行解析,而這種解析的最終目標(biāo)則是創(chuàng)造使消費(fèi)者“行動起來”的條件。作為情感分析研究者,你需要面向上述概念開展你的工作。
好了,上面便是我個人(筆者)對情感分析這些事的理解,當(dāng)你在開始設(shè)計下一項(xiàng)有關(guān)的調(diào)查研究時,或是當(dāng)你不知道如何將社交媒體挖掘應(yīng)用到你的研究中時,不妨考慮一下使用情感分析。多思考一些實(shí)際可行的情感算法也許會對你有所幫助,將它結(jié)合于行為分析或是其他先進(jìn)的市場細(xì)分技術(shù),可能會使你找到洞悉潛在客戶行為的方法??偠灾?,情感分析值得重視,它是絕對能夠?yàn)槟愕氖袌鲅芯繋硪恍┝钊搜矍耙涣恋男聳|西的。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時的科學(xué)計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價值導(dǎo)向 統(tǒng)計模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10