大數(shù)據(jù)經(jīng)典案例與謬誤

1 紙牌屋案例

提到大數(shù)據(jù)在互聯(lián)網(wǎng)視頻領(lǐng)域的商業(yè)應(yīng)用，業(yè)界曾經(jīng)流傳著這樣一個謊言——通過分析3000萬北美用戶觀看視頻的行為數(shù)據(jù)，發(fā)現(xiàn)凱文.斯派西、大衛(wèi).芬奇和英劇《紙牌屋》3個關(guān)鍵詞的受眾存在交集，由此預(yù)測將三種元素結(jié)合在一起的片子將會大火特火，因此成功推出這部劇集。

事實上，翻拍英劇《紙牌屋》的創(chuàng)意來自制片方MRC公司。當(dāng)時這家電影公司正準(zhǔn)備轉(zhuǎn)型拍攝電視劇，并打算用自己手里積攢的電影資源大干一場，碰巧公司的一位實習(xí)生在飛機上看了這部英國舊劇集。也就是說，促使《紙牌屋》誕生的決定性因素根本就不是“大數(shù)據(jù)”，而是影視圈里永恒的關(guān)鍵詞——“資金”和“人脈”。

2 啤酒尿布案例

“啤酒與尿布”案例是大數(shù)據(jù)營銷的一個神話，據(jù)媒體稱是發(fā)生在美國沃爾瑪連鎖店超市的真實案例。根據(jù)大數(shù)據(jù)發(fā)現(xiàn)的相關(guān)性，沃爾瑪決定把尿布和啤酒擺在一起出售，這個奇怪的舉措使尿布和啤酒的銷量雙雙增加。按理說，這個了不起的發(fā)現(xiàn)應(yīng)該給所有超市帶來啟示，大家都應(yīng)紛紛效仿才對，可實際上，如果我們到超市去認(rèn)真觀察一下，就會發(fā)現(xiàn)根本沒有類似的物品擺放，相近的都很少。追溯這宗噱頭十足的新聞的根源，調(diào)查者已經(jīng)證明，這個江湖傳說只是數(shù)據(jù)分析公司的經(jīng)理人虛構(gòu)出來的故事。

3 懷孕的女高中生案例

一個更為聳動的大數(shù)據(jù)案例是“懷孕的女高中生”。據(jù)說Target百貨公司通過大數(shù)據(jù)模型建立“懷孕預(yù)測指數(shù)”，通過這個指數(shù)，Target能夠在很小的誤差范圍內(nèi)預(yù)測到顧客的懷孕情況，因此Target就能早早地把孕婦優(yōu)惠產(chǎn)品的廣告寄發(fā)給顧客?！都~約時報》甚至報道了Target的這種優(yōu)惠廣告間接地令一個蒙在鼓里的父親意外發(fā)現(xiàn)他的高中生女兒懷孕了。但在這個成功的營銷事件的背后，是這些優(yōu)惠廣告只是隨機的發(fā)送給用戶，其中大量收到優(yōu)惠廣告的婦女并非孕婦，當(dāng)然她們只是把廣告扔進(jìn)垃圾桶，不會為此鬧上門找Target公司理論。

檢視另外一些著名的大數(shù)據(jù)案例案例，我們已經(jīng)知道波士頓市“顛簸的街道”項目失敗了，谷歌流感趨勢預(yù)測也失敗了。其他很多宣稱成功運用大數(shù)據(jù)分析、發(fā)現(xiàn)前所未見的規(guī)律、取得重大商業(yè)成就的案例也都似是而非。

今天，宣告成功應(yīng)用了大數(shù)據(jù)的案例還在不斷誕生，人們對此已經(jīng)開始冷靜思考。我們要問的是：這些項目中采用了什么樣的判別標(biāo)準(zhǔn)？吹噓大數(shù)據(jù)神話的人憑什么認(rèn)定，運用這種又全又大的定量統(tǒng)計新方法更好，而用傳統(tǒng)的抽樣量化方法或定性方法做研究肯定不如它？

大數(shù)據(jù)的謬誤

1 “數(shù)據(jù)”概念謬誤

對數(shù)據(jù)概念理解的錯誤反映了大數(shù)據(jù)專家們思維的混亂。數(shù)據(jù)概念有兩種含義。一種含義的數(shù)據(jù)在歷史上早就在使用，這是人們拿來比較、衡量大小、多少的概念——即量值、數(shù)值、數(shù)目字。圍繞無知地把這個老概念和另一個數(shù)據(jù)的新概念混淆。

新的比特數(shù)據(jù)的概念到了20世紀(jì)才誕生。這個基于比特的數(shù)據(jù)概念是信息科技的獨特產(chǎn)物——即數(shù)據(jù)是比特的集合，數(shù)據(jù)是結(jié)構(gòu)化的比特團(tuán)、組。這是對我們當(dāng)今社會真正重要的一種數(shù)據(jù)的含義。

如果把比特看作原子，數(shù)據(jù)就對應(yīng)著分子，比特和數(shù)據(jù)是賽博空間里的基本單元，就像原子和分子是實體空間里的基本單元那樣。比特形態(tài)數(shù)量有限，只有兩種，具體的數(shù)據(jù)對象則千姿百態(tài)，是比特的無窮無盡的排列組合。與之相對應(yīng)，原子的數(shù)量只有180來種，而原子所可能組成的分子種類則是無限的。

2 “量化”謬誤

從舊概念出發(fā)，基于量值統(tǒng)計的大數(shù)據(jù)成為紅得發(fā)紫的顯學(xué)。大數(shù)據(jù)把“量化”研究方法拔高到了無以復(fù)加的地位。這種以“數(shù)”服人的惡劣風(fēng)氣發(fā)端于北美，是從美國向世界各地蔓延的一種傳染病——數(shù)目字崇拜癥。

尼爾.波茨曼早在上世紀(jì)六十年代就指出，單純用量化方法對人進(jìn)行界定存在嚴(yán)重缺陷。當(dāng)時在美國用IQ值來測定人的智商曾經(jīng)非常流行。把活生生的、有豐富側(cè)面的、不斷變化著的人簡單地用數(shù)目字評價會導(dǎo)致認(rèn)識的異化。今天的大數(shù)據(jù)雖然描述人的參數(shù)很多，其數(shù)量種類遠(yuǎn)遠(yuǎn)超過當(dāng)年單一的IQ值，仍然只是對某一時刻、少數(shù)側(cè)面的個人屬性的抽象概括。以為通過最大限度地量化就能洞悉關(guān)于個人和人群的一切，這是一種理性的譫妄。

癡迷于極致的量化將導(dǎo)致我們走向“還原主義”的歧途。就算我們能夠用盡當(dāng)前科技的所有手段，用所有傳感器收集人的所有方面的所有數(shù)據(jù)，那又如何？拿到數(shù)據(jù)越多的人就越正確嗎？拿到了這些全面的數(shù)據(jù)就能自動掌握真理嗎？就像把一個活人分解成同樣重量、種類的一堆原子，把這堆原子交給你，你能管這堆東西叫一個人嗎？

3 “歷史”謬誤

過去積攢的統(tǒng)計數(shù)據(jù)是歷史、是浮云，記錄下來的舊數(shù)字再多、花樣再豐富，對未來趨勢的預(yù)測能力也非常有限，不能太當(dāng)真。那個著名的關(guān)于豬的寓言，就是用來說明這個道理的：

一頭生活在豬圈里的豬注意到每天都有飼養(yǎng)員喂它食物，它收集了99天的完備數(shù)據(jù)，基于大數(shù)據(jù)統(tǒng)計作出預(yù)測：未來每天都有免費的食物提供給自己。在第100天，它的預(yù)測得到了證實，一個光彩奪目的大數(shù)據(jù)成功案例誕生了！但在第101天，它被送進(jìn)了屠宰場。

大數(shù)據(jù)許諾通過收集歷史數(shù)據(jù)預(yù)測未來。很多自我膨脹的量化統(tǒng)計專家迷信，收集越多越全的數(shù)據(jù)，就越能保證發(fā)現(xiàn)重大的規(guī)律，對未來的預(yù)測就越準(zhǔn)確，越能創(chuàng)造爆炸性的商業(yè)成功，越能讓企業(yè)立于不敗之地。

但是這些頭腦熱到發(fā)昏的專家們忘記了，歷史都是人的歷史。他們沒有理解索羅斯根據(jù)卡爾.波普爾對歷史主義的批判提出的反身性原理——人都是有主觀能動性的、易變的。無論是個人還是大范圍的群體，一旦他們了解了你作出的預(yù)言，他們行動的轉(zhuǎn)向往往會讓你的預(yù)言破產(chǎn)。谷歌流感趨勢預(yù)測失敗的一個可能原因就在于此。

從那些失敗案例人們已經(jīng)開始認(rèn)識到，大數(shù)據(jù)的膚淺預(yù)測的作用是可疑的，它根本無法應(yīng)對黑天鵝事件。就像全世界頂尖的數(shù)學(xué)天才聚集的華爾街金融機構(gòu)那樣——他們曾經(jīng)根據(jù)各種統(tǒng)計數(shù)據(jù)成功預(yù)測市場走勢，并持續(xù)掙錢盈利。但時間拉到足夠長，一旦發(fā)生一個房貸債券市場崩盤這樣的小概率事件，數(shù)據(jù)統(tǒng)計專家們就落得滿盤皆輸，一次就把之前多年掙到的錢賠光，甚至陷入負(fù)債、破產(chǎn)的境地。

4 “大”謬誤

“大”方向的錯誤影響更為深遠(yuǎn)，也更加致命。大數(shù)據(jù)反復(fù)強調(diào)數(shù)據(jù)量大、數(shù)據(jù)全，上帝視角的敘事在召喚一種集體潛意識：即只有有權(quán)有錢的超級機構(gòu)才有能力、有資格匯聚一切信息。很顯然，大數(shù)據(jù)所隱喻的，仍然是僵化腐朽的金字塔式的、封建層級化的社會結(jié)構(gòu)。

想想現(xiàn)在，別人許諾在互聯(lián)網(wǎng)時代提供給你的人人平等的地球村、對等網(wǎng)絡(luò)和扁平的世界哪去了？想想當(dāng)年，前蘇聯(lián)的計劃經(jīng)濟(jì)委員會里的少數(shù)精英掌握著每種商品的全部信息，小到火柴和肥皂的產(chǎn)量、庫存、運輸、成本和售價、銷量等等，結(jié)果怎么樣呢？我們要問，大數(shù)據(jù)是不是催生了棱鏡計劃？為什么個人不能保存電纜門（Cablegate）的全部資料？為什么黑客不能獲取麥迪遜網(wǎng)站所有用戶的郵箱？為什么網(wǎng)民不能隨時查閱汽車牌照信息數(shù)據(jù)庫？

量化統(tǒng)計大數(shù)據(jù)的“大”和“統(tǒng)”背后隱含的觀念，是數(shù)據(jù)必須向一個中心全面集中，是壁壘森嚴(yán)的超級關(guān)系數(shù)據(jù)庫、數(shù)據(jù)中心，是歡欣鼓舞地打造一座賽博世界的全景式監(jiān)獄，是信息為少數(shù)頂尖精英嚴(yán)格控制以保障“隱私和安全”，是排斥隨便哪個阿貓阿狗染指數(shù)據(jù)庫的任何副本，以防其圖謀不軌——網(wǎng)絡(luò)草根們存在的意義，只是向大核心貢獻(xiàn)自己的所有信息數(shù)據(jù)。一盤散沙的個人既不該被允許查閱別人的任何信息，甚至也不能了解自己的那些數(shù)據(jù)被收集和記錄。因此不要過于迷信大數(shù)據(jù)尤其是感念不清，以及只停留在自己嘴巴或這是別人嘴巴上的大數(shù)據(jù)。真真的要沉下心研究以下大數(shù)據(jù)究竟有什么組成，怎樣適當(dāng)?shù)膽?yīng)用。避免在神話下被愚化。