為什么說「大數(shù)據(jù)」可能被人們過度神化了

如果說下水道是一個城市的良心，那么廁所就是一座城市的門臉。

很多年前，人們就發(fā)現(xiàn)一個有意思的現(xiàn)象：一個城市的文明程度可以從其廁所的衛(wèi)生程度反映出來，廁所越干凈、城市越發(fā)達。但直到今天，大數(shù)據(jù)無法解釋這背后的原因：究竟是城市發(fā)達了廁所自然就干凈，還是廁所干凈了也會促進城市的發(fā)展。

對于這樣「先有雞還是先有蛋的問題」，還需要大數(shù)據(jù)加傳統(tǒng)民調(diào)和小數(shù)據(jù)的結(jié)合才有可能找到答案。

1. 谷歌為何只猜對了一次?

感謝維克托·邁爾·舍恩伯格、馬云們孜孜不倦地布道，大數(shù)據(jù)現(xiàn)在幾乎成了全球先進生產(chǎn)力的標志，而且?guī)缀醣毁x予萬能的希望。

在《大數(shù)據(jù)時代》一書中，舍恩伯格的確總結(jié)了相對傳統(tǒng)小數(shù)據(jù)的三大特點：非隨機樣本，而是全體數(shù)據(jù);非精確性，而是混雜性;非因果關(guān)系，而是相關(guān)關(guān)系。

最先證實大數(shù)據(jù)強大能力的乃是谷歌。

2009年在H1N1爆發(fā)幾周前，谷歌公司的工程師們在Nature上發(fā)表了一篇論文介紹GFT，成功預(yù)測了H1N1在全美范圍的傳播，甚至具體到特定的地區(qū)和州，而且判斷非常及時，令公共衛(wèi)生官員們和計算機科學家們倍感震驚。

但是，在隨后的幾年當中，谷歌這一預(yù)測卻屢屢失靈，以至于在2014年美國著名的《科學》期刊刊登的一篇題為《谷歌流感的寓言：大數(shù)據(jù)分析的陷阱》的文章稱：

很大一部分與疾控中心流感發(fā)生率數(shù)據(jù)相關(guān)的搜索詞，并非是得流感的人引起的，而是由影響搜索模式和流感傳播的第三個因素(季節(jié))產(chǎn)生的。谷歌流感趨勢的開發(fā)人員發(fā)現(xiàn)那些特定的搜索詞是隨時間而發(fā)生變化的，但這些搜索顯然與病毒無關(guān)。比如，有的人可能僅僅是因為看了一部電影或者文章而去搜索流感。

調(diào)查撰寫這篇文章的哈佛大學、美國東北大學的幾位學者認為，大數(shù)據(jù)的分析是很復雜的，但由于大數(shù)據(jù)的收集過程，很難保證像傳統(tǒng)小數(shù)據(jù)那樣縝密，難免會出現(xiàn)失準的情況。最核心的問題是，大數(shù)據(jù)分析側(cè)重相關(guān)性，導致在推導因果關(guān)系時容易出現(xiàn)誤差。

他們建議，應(yīng)該把大數(shù)據(jù)與小數(shù)據(jù)相結(jié)合，以「全數(shù)據(jù)」思維取代「大數(shù)據(jù)」思維。

2. 了不起的蓋洛普

前不久，清華附小六年級學生一篇題為《大數(shù)據(jù)幫你進一步認識蘇軾》的小論文，被冠以大數(shù)據(jù)之名，這里的大數(shù)據(jù)其實是不折不扣的小數(shù)據(jù)，更確切地說只是用量化方式呈現(xiàn)了一個「數(shù)據(jù)化」的蘇東坡。

這只是「炒作大數(shù)據(jù)」的一個縮影。

事實上，全球擁有真正意義上大數(shù)據(jù)的公司并不多，而擁有分析大數(shù)據(jù)能力的公司更是鳳毛麟角。斯坦福大學統(tǒng)計學教授Trevor Hastie曾比喻分析大數(shù)據(jù)的過程，就好比在一大堆干草垛中發(fā)現(xiàn)有意義的「針」，而困難之處恰恰在于很多干草看起來也像針。

大數(shù)據(jù)的不易得和分析的高難度，注定了其進入門檻的高聳。但是，傳統(tǒng)民意調(diào)查所形成的小數(shù)據(jù)有著顯著的優(yōu)勢：樣本的充分代表性、可操作、快速采集分析。

上世紀三十年代，美國數(shù)學家喬治·蓋洛普通過建立與美國全體選民結(jié)構(gòu)一致的5000個調(diào)查樣本，成功地預(yù)測了羅斯福將贏得1936年總統(tǒng)選舉。這位宣稱「我能用統(tǒng)計的方法證明上帝的存在」的蓋洛普先生開啟了現(xiàn)代民意測驗的商業(yè)化道路。

在大數(shù)據(jù)魚龍混雜的濁流中，傳統(tǒng)民意調(diào)查無疑是一個更靠譜的預(yù)測方式。二胎政策出臺后，如果想了解人們真實的生育目的，按照大數(shù)據(jù)全樣本的標準幾乎無法操作，但是通過傳統(tǒng)民調(diào)卻能夠快速了解情況。

南京航空航天大學教授張杰，在2016年初針對10萬人的問卷調(diào)查顯示，近四成人沒有生育二胎的打算，已有女孩的家庭生育欲望更強，時間精力、經(jīng)濟狀況不佳是國人不敢生二胎的主要原因。

此次二胎意愿調(diào)查之所以能回收高達10萬份問卷，一則說明受訪者對這個問題關(guān)注面比較廣，二則體現(xiàn)了在線問卷更有利于保護隱私的優(yōu)點，畢竟與生育相關(guān)的話題涉及個人隱私，傳統(tǒng)線下一對一問卷調(diào)查，會讓受訪者不太自在。

3. 激活沉默的大多數(shù)

如果說大數(shù)據(jù)只有大機構(gòu)才有能力獲取，如今類似在線民調(diào)小工具則賦能普通大眾獲得便利的調(diào)研能力，比大數(shù)據(jù)更能體現(xiàn)互聯(lián)網(wǎng)的普惠和平權(quán)特征。

中國的網(wǎng)民人數(shù)已經(jīng)超過7億，互聯(lián)網(wǎng)的滲透率超過50%，但是網(wǎng)絡(luò)輿論并不等同于網(wǎng)絡(luò)民意，一個重要原因是，網(wǎng)民不能代表現(xiàn)實中全體公民，而且活躍網(wǎng)民也不能代表全體網(wǎng)民。

復旦大學傳播與國家治理研究中心研究團隊在2014年的一份研究報告稱：

• 在結(jié)構(gòu)上，網(wǎng)民主要分布在社會中間階層，社會高層和底層人群較少，尤其是占中國總?cè)丝谳^大比例的農(nóng)民或外出務(wù)工人員群體，雖然近兩年有一定增長，但在網(wǎng)民中所占比例仍然較低，他們正是網(wǎng)絡(luò)中沉默的大多數(shù)。
• 只需勾選、簡單輸入的在線問卷，為普羅大眾理性表達意見提供一個便利渠道。
• 傳統(tǒng)民調(diào)和今天的在線民調(diào)都面臨一個共同問題：如何提高受訪者的參與率。首先，民調(diào)拒訪率逐年增高，受訪率不斷降低。根據(jù)皮尤中心的報告，美國民調(diào)回復率1997年為36%，2000年為28%，2006年15%，2013年9%，2015年只有7%。

4. 有民調(diào)處有金山

大數(shù)據(jù)可以幫助我們推導出著名的口紅效應(yīng)(因經(jīng)濟蕭條而導致口紅熱賣)、廁所效應(yīng)(城市越發(fā)達廁所越干凈)、以及著名的啤酒與尿布銷售故事，但無法給出因果分析，要想從中得到具體的商業(yè)建議，還得需要提取樣本進行傳統(tǒng)調(diào)查式的分析。

如果說，大數(shù)據(jù)分析可以說是一種縱向的推斷，是變量間相關(guān)關(guān)系的推斷，那么問卷調(diào)查是基于樣本推斷總體，是一種橫向的、由點到面的推斷，尤其有助于商家快速了解用戶偏好。

大數(shù)據(jù)連接了千百萬的數(shù)據(jù)點，可以準確地產(chǎn)生相互關(guān)系。但是，當人類按照自己的習慣行動時，大數(shù)據(jù)分析通常不會十分準確。所以挖掘用戶需求時，在大數(shù)據(jù)之外，更重要的是通過對一個小群體的親身觀察和小數(shù)據(jù)常識，捕捉到這個社會群體所體現(xiàn)出的文化欲望。

相比大數(shù)據(jù)，人們更容易從小數(shù)據(jù)中獲得更有價值的商業(yè)洞察。

騰訊曾聯(lián)合一家牙膏企業(yè)，向三萬多人發(fā)起了一次過敏口腔健康調(diào)查問卷，結(jié)果發(fā)現(xiàn)，發(fā)現(xiàn)口腔問題時，越年輕的受調(diào)查者越傾向于等待口腔問題自行緩解，但女性比男性更愿意嘗試購買多種口腔護理用品。同時發(fā)現(xiàn)，漱口水是牙膏之外最受歡迎的口腔護理產(chǎn)品。

這份調(diào)查對于生產(chǎn)口腔護理產(chǎn)品的公司來說，至少提供了三點有價值的市場信息：第一、開展針對年輕消費者的口腔健康意識教育，有助于擴大用戶群體;第二、加大針對女性的市場促銷活動，有助于進一步刺激銷售增長;第三，漱口水的市場空間廣大，具備開拓價值。

在互聯(lián)網(wǎng)時代，通過在線民調(diào)形成針對用戶個人的小數(shù)據(jù)，依然是了解用戶偏好的捷徑。但無論是傳統(tǒng)的小樣本民調(diào)，還是全樣本的大數(shù)據(jù)分析，事實上面臨著一個共同難題：如何提升數(shù)據(jù)分析能力，如何將數(shù)據(jù)與人的心理、行為聯(lián)系起來。這正是預(yù)測的神秘和魅力所在。