大數(shù)據(jù)至死：沉迷數(shù)據(jù)不能讓我們正確把握未來(lái)

世界上有三種謊言——謊言，該死的謊言，以及統(tǒng)計(jì)數(shù)據(jù)。引自馬克·吐溫。本文的作者站在這個(gè)信息爆炸的時(shí)代，從多個(gè)角度展示了數(shù)據(jù)的欺騙性。有些是基于偏見，有些是方法不對(duì)，但總之，用數(shù)據(jù)說(shuō)話，可能并沒(méi)有想象的那么簡(jiǎn)單可靠。

　　這個(gè)世界不斷的告訴我們數(shù)據(jù)會(huì)告訴你真相。但是同樣的數(shù)據(jù)往往會(huì)告訴我們不同的故事，取決于是何種數(shù)據(jù)以及你如何解讀。兩個(gè)類似的數(shù)據(jù)，由于人們進(jìn)行不同的解讀，從而表現(xiàn)出兩個(gè)截然不同的結(jié)論，這樣的情況讓我很懷疑什么才是真相。數(shù)據(jù)是人們手里的工具，而我們可以按我們的需要進(jìn)行解釋。需要澄清的是，這個(gè)問(wèn)題并不是想說(shuō)我們?yōu)榱俗约旱哪康亩桃怆[瞞數(shù)據(jù)，雖然人們有的時(shí)候也有可能會(huì)這么做。我只是想強(qiáng)調(diào)，人類有可能會(huì)在解讀數(shù)據(jù)的時(shí)候帶有無(wú)意識(shí)的偏見。

　　在大數(shù)據(jù)時(shí)代，這是一個(gè)巨大的難題。當(dāng)你看著不同的數(shù)據(jù)在同一個(gè)問(wèn)題上向你展現(xiàn)完全不同的情況時(shí)，你如何找出問(wèn)題的答案?

　　無(wú)論何時(shí)，數(shù)據(jù)都是可以被操縱的

　　Pam Baker是《數(shù)據(jù)占卜者：大數(shù)據(jù)策略》一書的作者，在書中，她從數(shù)據(jù)科學(xué)的角度來(lái)論述這一問(wèn)題，但是她還是強(qiáng)調(diào)，首先你必須問(wèn)對(duì)問(wèn)題，才能得到正確的答案。

　　Baker在一封電子郵件中向我解釋：“數(shù)據(jù)是根據(jù)其與精確問(wèn)題的相關(guān)性被拉動(dòng)的。算法包括對(duì)于問(wèn)題盡可能明確的輸入和回答方式?！?/span>

　　她說(shuō)數(shù)據(jù)科學(xué)家有不少工具來(lái)做好這項(xiàng)工作，但是錯(cuò)誤依然有可能發(fā)生?！爱?dāng)然總是有犯錯(cuò)的可能，但是數(shù)據(jù)科學(xué)和數(shù)據(jù)科學(xué)早在大數(shù)據(jù)出現(xiàn)之前就已經(jīng)解決了很多的問(wèn)題。事實(shí)上，如果錯(cuò)誤的數(shù)據(jù)點(diǎn)使用的數(shù)據(jù)和算法是有缺陷的，那么答案就會(huì)是錯(cuò)誤的或者有缺陷的?！?/span>

　　到目前為止這些都還是有效的，但是我們很清楚數(shù)據(jù)科學(xué)家的局限性。這么多公司中，我好像還沒(méi)有聽過(guò)哪家公司表達(dá)這樣的意思，他們都在討論數(shù)據(jù)，但是大部分公司都缺乏經(jīng)驗(yàn)來(lái)理解這樣一件事情：數(shù)據(jù)可以被操縱，給你你想要的答案。

　　早些時(shí)候，我在在波士頓的Gilbane大會(huì)上聽到一個(gè)演講者說(shuō)了一大堆類似于，科學(xué)家說(shuō)人們沒(méi)有裝那么多的應(yīng)用，平均每個(gè)人只安裝了10個(gè)。他同時(shí)也表示90%的人不介意收到垃圾短信。不過(guò)要知道，他所在的公司是一家專門為短信廣告提供解決方案的公司。他分享了一大堆數(shù)據(jù)，給你提出了一大堆建議，但是如果你真的以這個(gè)為依據(jù)來(lái)設(shè)計(jì)方案，為你做的應(yīng)用進(jìn)行推廣，那就真是傻缺了。

　　這個(gè)演講者接下來(lái)展示了一個(gè)數(shù)據(jù)，這個(gè)數(shù)據(jù)告訴我們，每分鐘都有15.4萬(wàn)個(gè)應(yīng)用被下載。可是如果每個(gè)人只裝少于10個(gè)應(yīng)用，那怎么可能會(huì)保持在同一時(shí)間以那種節(jié)奏同時(shí)被下載?當(dāng)你能清楚的認(rèn)識(shí)數(shù)據(jù)之間的相互矛盾之處，就能理解，這些數(shù)據(jù)讓問(wèn)題變得不那么清晰。也許那句老諺語(yǔ)比我們想象的更有道理：“世界上有三種謊言：謊言，該死的謊言，以及統(tǒng)計(jì)數(shù)據(jù)。”

　　掌握數(shù)據(jù)不難，關(guān)鍵是學(xué)會(huì)數(shù)據(jù)的分析、判斷

　　而當(dāng)我們把數(shù)據(jù)放到普通人手里，而不是像Baker建議的那樣交給數(shù)據(jù)科學(xué)家，那結(jié)果可能會(huì)很糟。尤其是這些試圖利用數(shù)據(jù)販賣他們的產(chǎn)品或者服務(wù)的營(yíng)銷者手中。更糟的是他們可能會(huì)試圖用錯(cuò)誤的信息來(lái)描繪他們美妙的市場(chǎng)結(jié)論。

　　Digital Clarity集團(tuán)總裁Scott Liewehr表示，這樣的情況非常危險(xiǎn)。他告訴我，市場(chǎng)研究必須下大力氣建立有效的調(diào)研，否則他們就有可能使用錯(cuò)誤的數(shù)據(jù)得出錯(cuò)誤的結(jié)論浪費(fèi)公司資源?！皩?duì)于市場(chǎng)營(yíng)銷人員來(lái)說(shuō)，這是一個(gè)很大的挑戰(zhàn)，每個(gè)人都可以拿著數(shù)據(jù)說(shuō)任何他們想說(shuō)的故事?！盠iewehr告訴我?！叭绻麄儾恢廊绾芜M(jìn)行調(diào)研分析，那就有可能會(huì)造成一系列錯(cuò)誤決定?！?/span>

　　Baker也同意上面的觀點(diǎn)。但是她同時(shí)也說(shuō)，商家也可以為數(shù)據(jù)整理提供幫助，因?yàn)樗麄兊氖袌?chǎng)人員比數(shù)據(jù)專家更了解市場(chǎng)動(dòng)態(tài)，如果能把這兩者結(jié)合到一起，那就能夠產(chǎn)生更好的結(jié)果。“有的時(shí)候市場(chǎng)人員和銷售人員比數(shù)據(jù)科學(xué)家更知道該問(wèn)些什么。這也就是為什么我們需要一個(gè)由不同的人組成的數(shù)據(jù)團(tuán)隊(duì)?！彼f(shuō)。

　　但是她同時(shí)也說(shuō)，即便是可靠的人也并非總是能得到正確的信息?！坝械臅r(shí)候企業(yè)用戶會(huì)痛苦掙扎，結(jié)果卻得出了錯(cuò)誤的結(jié)論，因?yàn)樗麄儾欢y(tǒng)計(jì)方法，以及其他必要的方法來(lái)完成這項(xiàng)工作。

　　即便你很小心，數(shù)據(jù)也并總能讓你得出正確的結(jié)論

　　上周我做了一篇報(bào)道，是關(guān)于最流行的企業(yè)同步與分享工具的，而這個(gè)工具是基于541 Research的研究的。現(xiàn)在這是一家非常有信譽(yù)的公司，他們?cè)诠_研究成果之前已經(jīng)運(yùn)行著兩個(gè)研究多個(gè)月了。我并非想對(duì)他們的研究成果進(jìn)行毀謗，但是在那篇報(bào)道中我也懷疑他們是否問(wèn)對(duì)了問(wèn)題或者問(wèn)對(duì)了人。他們不應(yīng)該只是簡(jiǎn)單的看看一般使用率，而是應(yīng)該仔細(xì)的詢問(wèn)企業(yè)用戶許可和普通用戶許可的比例，如果他們這樣做，是不是會(huì)看到完全不同的結(jié)論?發(fā)覺(jué)數(shù)據(jù)并非你想像的那么簡(jiǎn)單，也并非我在這篇文章中所說(shuō)的研究那么簡(jiǎn)單。

　　首先，451 Research的數(shù)據(jù)發(fā)現(xiàn)超過(guò)40%的有效報(bào)告使用Dropbox，這個(gè)比例遠(yuǎn)遠(yuǎn)高于其他企業(yè)，我報(bào)道這一發(fā)現(xiàn)的時(shí)候都嚇了一跳。Box是整個(gè)云計(jì)算的典范企業(yè)，在市場(chǎng)調(diào)查中位列第四，受訪者中大約有15%的人選擇Box，但是這并不一定是整個(gè)故事的全貌。

　　Ilya Fushman是Dropbox企業(yè)產(chǎn)品的主管，他上周告訴我，Dropbox已經(jīng)擁有了10萬(wàn)個(gè)商務(wù)用戶(既有很小的企業(yè)，也有比較大的企業(yè)。)考慮到Dropbox是2013年4月剛開放這個(gè)產(chǎn)品，這個(gè)數(shù)字真是非常驚人。有趣的是，作為比較，Box告訴我他們擁有3.9萬(wàn)個(gè)企業(yè)用戶，但是數(shù)量不能說(shuō)明所有問(wèn)題，因?yàn)锽ox擁有一些非常大的用戶。

　　例如，Box的客戶中擁有Eli Lilly，豐田，夢(mèng)工廠，康卡斯特，MD Andersen以及葛蘭素史克等巨頭，而最近剛剛將30萬(wàn)份企業(yè)授權(quán)賣給GE。如果你把Schneider Electric的6.5萬(wàn)份許可，以及保潔的4.4萬(wàn)份許可的算上，你一定可以得出跟451 Research對(duì)于企業(yè)用戶完全不同的結(jié)論，即便企業(yè)的總數(shù)量確實(shí)不同。

　　根據(jù)記錄，我們很難發(fā)現(xiàn)Dropbox擁有多少用戶，因?yàn)樗麄儾⒉煌嘎哆@樣的數(shù)據(jù)，但是他們的大企業(yè)用戶也包括很多品牌公司，比如Hearst，Hyatt，MIT以及新聞集團(tuán)。而Dropbox也將一些比較小的企業(yè)的商標(biāo)放在了他們的網(wǎng)站上。

　　Alan Pelz是451 Research的一位分析員，同時(shí)也是本研究的一位作者。他表示，他的團(tuán)隊(duì)依然在致力于優(yōu)化方法，而他們現(xiàn)在公布的數(shù)據(jù)還只是他們長(zhǎng)長(zhǎng)的市場(chǎng)研究進(jìn)程的一個(gè)開頭而已。

　　“我認(rèn)為十月份的調(diào)查數(shù)據(jù)像我們告訴我們一些新的事實(shí)——首先，Dropbox在企業(yè)領(lǐng)域擁有大量擁躉(這并不讓任何人感到吃驚，尤其是他們的競(jìng)爭(zhēng)對(duì)手)。這個(gè)市場(chǎng)還很不成熟，但是處在一個(gè)增長(zhǎng)的階段，而且現(xiàn)在很多的企業(yè)并不愿意把他們的數(shù)據(jù)放到公共云端。這些發(fā)展趨勢(shì)隨著時(shí)間的發(fā)展會(huì)變得非常有趣。而這個(gè)新的研究所要挖掘的信息就是誰(shuí)將會(huì)真正成長(zhǎng)出價(jià)值，而且隨時(shí)間不斷變化。而且我們正在為這個(gè)新出現(xiàn)的領(lǐng)域和新層面做細(xì)分市場(chǎng)研究以及收入模型的研究?！彼诮o我的電子郵件寫道。

　　數(shù)據(jù)確實(shí)有巨大的價(jià)值，但是即便你非常小心，但依然有可能因?yàn)閿?shù)據(jù)的歧義以及麻煩而得出錯(cuò)誤的答案。因?yàn)榧幢阄覀儞碛兴械臄?shù)據(jù)，但仍然和現(xiàn)實(shí)會(huì)有偏差。而且你必須要保證你的數(shù)據(jù)對(duì)于特定的問(wèn)題來(lái)說(shuō)是準(zhǔn)確的，而且遵循最佳的數(shù)據(jù)歸納法。即使這樣，也有可能得出完全意想不到的結(jié)果?？磥?lái)，跟隨數(shù)據(jù)得出結(jié)論并不是像說(shuō)的那么簡(jiǎn)單。