
關于情感分析,你不得不知道的11件事
近來,關于情感分析的研究一直被大家所津津樂道,然而關于這項分析方法究竟有多大的實用性,則是眾說紛紜。有人認為情感分析堪比打開人類市場研究新世界大門的鑰匙,而另一些人則認為,這項技術只是騙人的萬靈油,甚至與占卜無異。那么,究竟誰是對的呢?
相較而言,我(筆者)更傾向于站在前者的陣營中。基于文本分析,自動情感分析技術為基于李克特量表的傳統(tǒng)分析方法(Likert-reliant methodologies)注入了新的動力,使得研究人員能通過社群傾聽技術實時掌控客戶反饋的傾向變化,并由此實現(xiàn)了對客戶心聲的深入挖掘。
對于后者的陣營,我認為他們對情感分析產(chǎn)生質(zhì)疑的原因可能來自于對這種分析方法實現(xiàn)能力與局限性的認識扭曲。這樣的認識扭曲也許是由于某些能力不足的解決方案供應商造成的,不過不管它們究竟來自何方,我都會傾力而為去揭穿它們,還原一個有真正實際意義的情感分析技術。
我們目標是鼓勵適當?shù)氖褂们楦蟹治黾夹g并防止濫用。為了做到這點,對市場教育的呼喚十分重要,我通過會議的形式做了很多這樣的事,在今年7月15號到16號的紐約情感分析研討會上,我特地點明了這樣十一件情感分析研究者必須知道的事:
1)在情感分析中,通過直接匹配詞典來查找詞匯是一種簡單明了的方法,也但略顯粗俗。詞的意思往往會根據(jù)句式、語境以及上下文之間的關聯(lián)而發(fā)生變化,進行情感分析時我們需要將語言學與統(tǒng)計學的方法都應用到其中。
2)文檔層面的情感分析或許正在面臨過時。我們情感分析的目標應該關注于實體(entity)、概念(concept)以及主題(topic)的層面。(例如,一部iPhone6是一個實體,iPhone是一個概念范疇,而智能手機則是它所屬的主題)
3)“情感”的一般語言定義包括態(tài)度(attitude)、意見(opinion)、感覺(feelings)和情緒(emotion)。最先進的情感分析技術可以讓你超越正負面傾向得分的局限,根據(jù)情緒——如快樂、驚訝、恐懼、厭惡、憤怒、悲傷等對文本情感進行評價,而不是僅僅是一個表達程度的分數(shù)。
4)請將眼界放寬:情感分析是情感計算(Affective computing)大家族的一份子,這個家族涉及到了所有與人類情感相關、來自人類情感或是對人類情感產(chǎn)生影響的現(xiàn)象計算研究。情感分析與家族中的其他伙伴皆有所聯(lián)系,但在技術和方法上有著較為明顯的區(qū)別。
5)并非所有的情感都是平等的。不論是情感的傾向還是強度,我們都需要努力去理解。同時,研究情感如何轉化為行動也具有同樣重要的意義。
6)不論你是否在項目中使用了語言工程、統(tǒng)計模型與機器學習方法,在很多情況下,也許針對特定領域訓練合適的模型,才是模型優(yōu)化的關鍵。
7)必須注意那些有關于準確率的說法。對于模型的準確性,這世界上不存在絕對的衡量標準,因此在度量模型的準確性時,我們總會遇到各種各樣的麻煩。正因如此,有的解決方案供應商們甚至可能在提出分析模型之后對模型準確性的測量過程避而不談。一種公認可行的準確度測量方法是將模型結果與一份經(jīng)過完全精準的人工注釋/分類的語料進行對比,這也意味著我們需要讓人工和機器同時去進行一項龐大的語料分析工作,再進行二者匹配程度的計算。但是當你真的去嘗試這樣的做法時,所謂人工一方作出的判斷究竟是對是錯,同樣也很難說明清楚。與此同時,面向不同層面的文本分析軟件之間也很難進行準確度的對比,例如有些軟件只做了文檔層面的分析,而另一些則能夠?qū)嶓w和概念進行了解析,我們能說在實體層面具有70%準確率的軟件就優(yōu)于在文檔層面具有97%準確率的軟件嗎?
8)文本是最常見的情感數(shù)據(jù)來源,但它并不是唯一的一個。針對視頻的面部編碼技術,針對音頻流的語音分析,都可以用于檢測人類的情緒反應,而這些也都是更先進的情感狀態(tài)評估方法。而有關人類情感分析下一個前沿領域也有可能是:神經(jīng)科學、可穿戴儀器開發(fā)和生理學的其他研究手段。
9)語言是人類使用的最有活力和發(fā)展最快速的工具之一。計算機技術在社會中普及給了我們前所未有的語言表現(xiàn)能力,眾所周知的表情符號(emoji)就是這一進程中的典型例子。表情符號不僅僅是人類語言的擴音器,它在發(fā)展過程中逐漸獲得了自己的語法和特殊語義,從而自然而然地如潮水般涌入廣大的網(wǎng)絡社交媒體中。對于情感分析研究者來說,我們也應該緊跟時代發(fā)展的腳步,去針對各種新誕生的語言表達形式進行相關的挖掘與研究。
10)通過將行為表現(xiàn)與情感分析模型進行聯(lián)系,或是根據(jù)人口與文化范疇對語料進行分類,能夠幫助你提升分析與預測的能力。當你面對龐雜的大規(guī)模數(shù)據(jù)時,請毫不猶豫地運用這個方法。
11)一些先進的概念,如動機、影響、維護和催化,都是建立在對人類情感和行為進行建模以及社群網(wǎng)絡分析的基礎上的。在數(shù)據(jù)咨詢行業(yè),研究的最主要目標是對市場以及消費者進行解析,而這種解析的最終目標則是創(chuàng)造使消費者“行動起來”的條件。作為情感分析研究者,你需要面向上述概念開展你的工作。
好了,上面便是我個人(筆者)對情感分析這些事的理解,當你在開始設計下一項有關的調(diào)查研究時,或是當你不知道如何將社交媒體挖掘應用到你的研究中時,不妨考慮一下使用情感分析。多思考一些實際可行的情感算法也許會對你有所幫助,將它結合于行為分析或是其他先進的市場細分技術,可能會使你找到洞悉潛在客戶行為的方法。總而言之,情感分析值得重視,它是絕對能夠為你的市場研究帶來一些令人眼前一亮的新東西的。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03