數(shù)據(jù)分析師告訴你：大數(shù)據(jù)時(shí)代如何識(shí)別虛假數(shù)據(jù)

好的決策應(yīng)該是“數(shù)據(jù)驅(qū)動(dòng)”的，但是如果數(shù)據(jù)有效性不好，就不可能據(jù)此做出好的決定。我的整個(gè)職業(yè)生涯幾乎都在做市場(chǎng)調(diào)研和調(diào)查數(shù)據(jù)分析方面的工作，根據(jù)我的經(jīng)驗(yàn)，我已經(jīng)找到了一個(gè)試金石，能夠判斷一組業(yè)務(wù)數(shù)據(jù)是否值得在決策過程中引用。

要想從有效（因此也可能是）有用的數(shù)據(jù)中剔除虛假（因此也是）無效的數(shù)據(jù)，就需要問以下九個(gè)問題。如果對(duì)于任何一個(gè)問題的答案是“是的”，那么數(shù)這些據(jù)就是虛假的。

1. 這些數(shù)據(jù)的來源是否以此牟利？

如果收集數(shù)據(jù)的機(jī)構(gòu)能夠通過扭曲數(shù)據(jù)獲得經(jīng)濟(jì)利益，那么數(shù)據(jù)就會(huì)被扭曲。例如，我曾經(jīng)聽到過一名市場(chǎng)研究員（一名外部顧問）詢問雇傭了他的市場(chǎng)營銷人員：“你想要數(shù)據(jù)說什么？”那么他所提交的研究報(bào)告中的數(shù)據(jù)一定經(jīng)過了仔細(xì)地調(diào)整，以便反映這個(gè)觀點(diǎn)。

2. 原始數(shù)據(jù)是否沒有公布？

任何缺少原始數(shù)據(jù)的研究結(jié)果都是虛假的。原始數(shù)據(jù)不公布一定是因?yàn)橐韵碌哪骋粋€(gè)原因：

原始數(shù)據(jù)實(shí)際上完全證明了別的事情。

原始數(shù)據(jù)會(huì)顯示出該研究使用了奇怪的定義或者有偏見的問題。（參見下面的第三點(diǎn)和第五點(diǎn)。）

原始數(shù)據(jù)不存在，因?yàn)檠芯拷Y(jié)果完全是某人的“信口雌黃”，就像他們交易中所說的那樣。

3. 是否扭曲了正常的定義？

雖然人類的語言本質(zhì)上市不精確的，但是如果一份調(diào)查問卷或者調(diào)查提綱中對(duì)于某個(gè)詞的定義超出了其普遍接受的含義，那么和這個(gè)詞相關(guān)的所有數(shù)據(jù)就都是虛假的。例如，一項(xiàng)調(diào)查將“客戶滿意”定義為“未退回所購產(chǎn)品”就顯然會(huì)誤導(dǎo)讀者，錯(cuò)誤地理解你對(duì)客戶服務(wù)的好壞程度。

4. 被調(diào)查者是否不是隨機(jī)選取的？

如果一項(xiàng)調(diào)查只詢問那些保證會(huì)提供特定回答的人，那么收集到的數(shù)據(jù)就會(huì)反應(yīng)出這樣的意見。例如，我有一次看到一家廣告公司對(duì)于那些購買了該廣告的出版商的銷售經(jīng)理們進(jìn)行調(diào)查，用這種方法來衡量“廣告效果”。不用說啦，這款廣告的效果一定是“效果好極了”。

5. 是否在調(diào)查中使用了誘導(dǎo)性問題？

你如何問一個(gè)問題往往會(huì)讓接受調(diào)查的人按照可預(yù)見的方式來回答。我們可以看看一個(gè)來自ZF的例子，如果一名研究人員詢問退休人員“你是否贊成ZF援助？”那么你就會(huì)得到和“你是否支持聯(lián)邦醫(yī)療保險(xiǎn)？”相反的答案。

6. 結(jié)果是否計(jì)算了平均值？

如果用“平均”的概念來分析的話，即使是好數(shù)據(jù)也會(huì)變成糟糕的數(shù)據(jù)。例如，在一個(gè)房間里有一名億萬富翁和九百九十九個(gè)身無分文的乞丐，他們的平均財(cái)富是一百萬美元。有效的數(shù)據(jù)應(yīng)該使用“中位數(shù)”，當(dāng)所有其他的值都是按照順序排列的時(shí)候，中位數(shù)是中值。在上面那個(gè)例子中，財(cái)富的中位數(shù)是零。

7. 接受調(diào)查的人是否是自我選擇的？

企業(yè)通常會(huì)進(jìn)行網(wǎng)絡(luò)調(diào)查，由訪問網(wǎng)站的人決定是否愿意參與調(diào)查。但是，任何基于“自我選擇”的調(diào)查結(jié)果都必然是虛假數(shù)據(jù)。例如，如果我在網(wǎng)站上貼出一個(gè)類似這樣的問題，“我們的客戶服務(wù)如何？”只有那些得到非常好或者非常糟糕的客戶服務(wù)體驗(yàn)的人才會(huì)參與回答。結(jié)果你就會(huì)對(duì)于客戶通常會(huì)得到什么樣的服務(wù)體驗(yàn)毫無概念。

8. 是否先入為主地假定了因果關(guān)系？

即使兩組數(shù)據(jù)看起來步調(diào)一致，你也不知道這種一致性是否有意義，除非你很確定地知道一組數(shù)據(jù)會(huì)導(dǎo)致另一組數(shù)據(jù)。例如，如果銷售收入在你的銷售人員參加了銷售培訓(xùn)課程之后出現(xiàn)了上升，那么這種收入的上升可能是因?yàn)殇N售培訓(xùn)起了作用，也有可能是因?yàn)楹弯N售培訓(xùn)無關(guān)的因素，例如經(jīng)濟(jì)回暖的因素。相關(guān)性并不一定是因果關(guān)系。

9. 是否缺乏獨(dú)立的確認(rèn)？

科學(xué)研究在其他人（原始研究人員之外）獨(dú)立地證明了研究成果之前，是不會(huì)被視為有效的。不幸的是，絕大多數(shù)市場(chǎng)研究都是單一來源的，這就讓它變得天然不可靠。例如，如同上面那個(gè)例子中所說的，你的銷售收入在銷售人員參加了銷售培訓(xùn)之后出現(xiàn)了增長，那么這種增長可能是因?yàn)殇N售培訓(xùn)發(fā)揮了作用，也有可能是其他的、和銷售培訓(xùn)無關(guān)的因素造成的，例如經(jīng)濟(jì)回暖。相關(guān)性并不一定是因果關(guān)系。

讓我們來看看如何在看一份真實(shí)的市場(chǎng)調(diào)研報(bào)告的時(shí)候運(yùn)用這些規(guī)則。昨天，一家名為Millward Brown的公司發(fā)布了該公司的“全球100個(gè)最流行品牌”榜單。由于這份報(bào)告的目的是要為Millward Brown吸引注意力和客戶，所以對(duì)于第一個(gè)問題的答案就是“是的”。

Millward Brown在發(fā)布的報(bào)告中沒有披露原始數(shù)據(jù)，所以對(duì)于第二個(gè)問題的答案也是“是的”。對(duì)于第三個(gè)到第七個(gè)問題的答案未知（因?yàn)槲覀儧]有原始數(shù)據(jù)），但是對(duì)于第九個(gè)問題的答案是“是的”，這是因?yàn)镸illward Brown使用了“專有的”方法，所以就不可能對(duì)報(bào)告的結(jié)論進(jìn)行獨(dú)立的確認(rèn)。