決策者們別被輿情大數(shù)據(jù)忽悠了

近兩年大數(shù)據(jù)真的很熱，但一個過熱的現(xiàn)象就一定會有很多誤區(qū)，很多人看了是網(wǎng)上海量數(shù)據(jù)“淘”出來的分析就認(rèn)定了是“真理”，深信不疑，其實(shí)這里頭很可能埋伏了誤區(qū)，使用不慎會誤導(dǎo)決策。

那大數(shù)據(jù)能做什么？不能做什么？

大數(shù)據(jù)當(dāng)然很有用，最明顯的就是茫茫網(wǎng)海中找一個人或一小群人，“人肉”的威力我不再贅述了。

其次，我想找一個商機(jī)，如果在大數(shù)據(jù)中挖出一百萬人表達(dá)對某一“產(chǎn)品”的關(guān)注，這絕對會有足夠的消費(fèi)者，讓產(chǎn)品賺錢，所以大數(shù)據(jù)的商業(yè)應(yīng)用前景十分光明。

再來，如果只是描述性統(tǒng)計和相關(guān)性分析，不作任何推論，往往也十分靠譜。但是往往這樣的分析只作歸納不作演譯，在很多時候是不敷應(yīng)用的，尤其是決策者對宏觀世界知識的需求，使得大數(shù)據(jù)分析者會急于對大數(shù)據(jù)挖掘出來的結(jié)果作推論。

比如，我們?nèi)绻f網(wǎng)上交易數(shù)據(jù)發(fā)現(xiàn)某某地區(qū)網(wǎng)上消費(fèi)者對某一產(chǎn)品需求近三個月成長五成，就很有用，如上面所述，它馬上反應(yīng)了一個商機(jī)。但是我們?nèi)绻f某一地區(qū)一成的網(wǎng)民，占4%居民數(shù)，其中八成是低學(xué)歷男性，一成在談及某一政策時用了“贊”，大概這樣的描述，雖靠譜，卻對政策決定者沒什么用。所以不經(jīng)過推論，很多大數(shù)據(jù)挖掘出來的東西會沒什么用。

如果數(shù)據(jù)本身就是母體而不是樣本，其統(tǒng)計分析是可以作出詮釋的，這是推論的第一步。比如，我參予過微博轉(zhuǎn)發(fā)研究，用一段時間內(nèi)所有微博資料來分析，它本身就是微博轉(zhuǎn)發(fā)的所有資料，而不是抽樣，所以用數(shù)據(jù)挖掘出來的發(fā)現(xiàn)作詮釋，尤其是和理論相穩(wěn)合的詮釋，可信度還是不錯的。但注意，詮釋可以作出理論的假設(shè)，需要進(jìn)一步資料的驗(yàn)證，詮釋本身卻不能當(dāng)作“真理”、“法則”和“事實(shí)”。

不作推論大數(shù)據(jù)有時沒用，但一推論就可能掉入很多誤區(qū)，決策者基于錯誤的知識作決策，會帶來十分嚴(yán)重的后果。那么有那些推論的誤區(qū)呢？以我們?？吹降囊恍拜浨榉治觥被颉捌梅治觥睘槔?a href='/map/shujuwajue/' style='color:#000;font-size:inherit;'>數(shù)據(jù)挖掘出“某某地方（或某某群人）對某一事物有多高的百分比表示喜歡（或支持）”，這一分析結(jié)果就有五大誤區(qū)可能使這樣的“結(jié)論”偏誤極大。

一、抽樣偏誤。這是最顯而易見，而且是很多人都注意到的，上網(wǎng)的人不等同某一地區(qū)或某一群體的所有的人，他們在年齡、教育、社會階層、婚姻狀態(tài)等等的社會屬性上都和平均數(shù)有一定的差距。退一步說，說這是網(wǎng)民的“輿情”或“偏好”，也不準(zhǔn)確，因?yàn)閷σ粋€事件表達(dá)態(tài)度的人又只是很小一部分的網(wǎng)民，這也只是大數(shù)據(jù)中找出來的“樣本”，不足以推論所有網(wǎng)民。

二、情緒字詞衡量偏誤。要判斷一個網(wǎng)民針對某一事件中表達(dá)的一段話是“支持還是反對”某一立場或“喜歡還是不喜歡”某一人或事，我們會抽取出其中的一些字詞，或一小段字詞，判斷這些字詞的屬性，符合那一類情緒基模。我曾和美國心理學(xué)家合作過一百零七個漢字字辭在中國社會中的情緒定位，方法上是讓一定數(shù)量，數(shù)十上百位，心理學(xué)受測者，每個人在電腦問卷上就出現(xiàn)在眼前的字辭表達(dá)情感的三個維度，EPA，評價(Evaluation)、情緒強(qiáng)度(Potency)以及引發(fā)行動程度(Activity)，再由這三個維度平均值判斷出這一字詞在中國人中來自于什么樣的情緒。任何衡量字詞相應(yīng)情緒的方法不免還是會有偏誤，但是在我看到一些國內(nèi)使用的衡量中，三五個人主觀地判斷就為很多字詞作好情緒歸類，這顯得十分粗糙，衡量偏誤又大的多了。

三、轉(zhuǎn)化偏誤。一段網(wǎng)民的話中可能會有一個到數(shù)個可以抽取出來的字詞，每個字詞表達(dá)了中國人情緒的EPA三維度，每一維度都是從＋3到-3間無限多的刻度來表達(dá)，但最終我們卻要從這一句話中判斷出一個“支持不支持”的立場或“喜歡不喜歡”的態(tài)度。所以從這么多復(fù)雜衡量的字辭到簡單兩分的結(jié)果，需要一個轉(zhuǎn)化的模型，甚至不同類別事物的情緒表達(dá)需要不同的轉(zhuǎn)化模型。但如今國內(nèi)的很多大數(shù)據(jù)挖掘，其轉(zhuǎn)化模型只是粗糙的處理，缺乏理論基礎(chǔ)，這又會加大偏誤。

四、情緒感染偏誤。網(wǎng)上發(fā)言情境中常常會有一群相同立場的人抱團(tuán)，在一定的輿論陣地中黨同伐異，這會影響有些后續(xù)發(fā)言者隱藏自己的立場，采用趨同言論，以免犯了眾怒。這又會使網(wǎng)上表達(dá)有時不能真實(shí)反應(yīng)一個人的偏好，在一個人冷靜獨(dú)處時會有不同的表達(dá)，因而產(chǎn)生因情緒感染而有的偏誤。

五、最后一類的偏誤我稱之為資料被截的偏誤（truncated databias），就是很多行為，越是重要的，特別值得研究的，牽涉到信任感強(qiáng)的行為，其實(shí)網(wǎng)上表達(dá)的只是冰山水面上的部分，大量行為是在網(wǎng)下的，因此資料是被截的（truncated）。比如我在從大數(shù)據(jù)中算一個人人脈網(wǎng)時，網(wǎng)上資料較易看出弱連帶，但是算強(qiáng)連帶卻會有很大的誤差，因?yàn)閺?qiáng)連帶中大多數(shù)親密行為是發(fā)生在網(wǎng)下的，這一部分網(wǎng)上不一定能察覺到。同樣的，一些較敏感的立場，大多數(shù)人較不愿表達(dá)的偏好，以及較機(jī)密的信息，都不會上網(wǎng)，除非像畢姥爺一樣被偷拍上網(wǎng)了，否則大數(shù)據(jù)是挖掘不到的。如何從已有的網(wǎng)上資料去推論網(wǎng)下被截的部分，是一個重大而困難的研究，但可以減少truncated data造成的偏誤。

基于這五類推論時產(chǎn)生的偏誤，使我們想直接從大數(shù)據(jù)挖掘結(jié)果推論出我們想知道的知識時，常常是以偏概全的，據(jù)以作出決策，不免大錯特錯，不得不慎。但大數(shù)據(jù)有一個優(yōu)勢，就是很容易收到慣時性資料，雖然是“偏”的，但長時間“偏”的資料的趨勢有時可以看出未來的端倪，過了“引爆點(diǎn)”， 趨勢就能形成，形勢就不可逆轉(zhuǎn)，大數(shù)據(jù)的分析會事先提供極為重要的警訊。比如，臺灣“太陽花運(yùn)動”就是從“反服貿(mào)懶人包”開始，雖然其中包括了很多錯誤而扭曲的信息，你可以罵大量臺灣年輕人知識貧乏沒有國際觀，但它就是能讓很多人相信，一旦變成“普遍知識”時，馬英九政府想辟謠也來不及了。

有時“引爆點(diǎn)”只要百分五的人口，網(wǎng)民也就是百分之十，便足以引爆趨勢，從網(wǎng)上漫延到網(wǎng)下，勢不可擋。當(dāng)然這種研究還有很長的路要走，急急忙忙就宣稱自己找到了“大趨勢”的，怕又是忽悠的成份居多。

大數(shù)據(jù)很有用，但也是雙刃劍，濫用誤用會產(chǎn)生重大決策的錯誤，現(xiàn)在大數(shù)據(jù)相關(guān)經(jīng)費(fèi)多，出了一堆又一堆的專家，決策者使用這些專家的挖掘結(jié)果時不能不慎。