數(shù)據(jù)也會(huì)說(shuō)謊：常見(jiàn)的數(shù)據(jù)造假三種形態(tài)

日常生活工作中，處處都會(huì)與數(shù)據(jù)打交道，但你知道數(shù)據(jù)是會(huì)“說(shuō)謊”的，即你看到的數(shù)據(jù)結(jié)果并不是事實(shí)。本文介紹一些常見(jiàn)的說(shuō)謊場(chǎng)景以及如何避免。

一、圖表欺騙

圖表通常用來(lái)增強(qiáng)需要文字和數(shù)據(jù)的說(shuō)服力，通過(guò)可視化的圖表更容易讓受眾接受信息。但圖表有時(shí)候會(huì)表現(xiàn)的不是數(shù)據(jù)的本質(zhì):

1.圖表拉伸

如果沒(méi)有特殊用途，通常圖表的長(zhǎng)(橫軸)與高(縱軸)的比例為1:1到1:2之間，如果在這個(gè)范圍之外，數(shù)據(jù)現(xiàn)實(shí)的結(jié)果會(huì)過(guò)于異常。比如:

2.坐標(biāo)軸特殊處理

在很多場(chǎng)合下，如果兩列數(shù)據(jù)的取值范圍差異性過(guò)大，通常在顯示時(shí)會(huì)取對(duì)數(shù)，這時(shí)原來(lái)柱狀圖間的巨大差異會(huì)被故意縮小。通常，嚴(yán)謹(jǐn)?shù)姆治鰩熢谥v解之前會(huì)進(jìn)行告知。比如: 

3.數(shù)據(jù)標(biāo)準(zhǔn)化

數(shù)據(jù)標(biāo)準(zhǔn)化也是一個(gè)讓數(shù)據(jù)落在相同區(qū)間內(nèi)常用的方法，常用Z標(biāo)準(zhǔn)化或0-1標(biāo)準(zhǔn)化，如果不提前告知，可能會(huì)誤以為兩列數(shù)據(jù)取值異常接近，不符合實(shí)際業(yè)務(wù)場(chǎng)景，比如:

隱秘層次:★★☆☆☆

破解方法:詢問(wèn)分析師的圖表各個(gè)含義，了解基本圖表查看常識(shí)。

二、數(shù)據(jù)處理欺騙

數(shù)據(jù)處理中的欺騙方法通常包括抽樣方法欺騙、樣本量不同、異常值處理欺騙等。

1.抽樣方法欺騙

整體樣本的維度，粒度和取數(shù)邏輯相同的情況下，不用的樣本抽樣規(guī)則會(huì)使數(shù)據(jù)看來(lái)更符合或不符合“預(yù)期”。比如在做用戶挽回中，假如做的兩次活動(dòng)的抽樣樣本分別是最近6個(gè)月未購(gòu)物和最近6個(gè)月未購(gòu)物但有登陸行為的用戶，不用做什么測(cè)試，基本上可以確定后者的挽回效果更佳。要識(shí)破這個(gè)“騙局”只需要詢問(wèn)數(shù)據(jù)取樣方法即可，需要細(xì)到具體的SQL邏輯。

2.樣本量不同

嚴(yán)格來(lái)說(shuō)樣本量不同并不一定是故意欺騙，實(shí)踐中確實(shí)存在這種情況。(遇到這種情況可以用欠抽樣和過(guò)抽樣進(jìn)行樣本平衡)樣本量不同分為兩種情況:

樣本量數(shù)量不同。比如要做效果差異對(duì)比，第一步是做效果比對(duì)，假如兩個(gè)數(shù)據(jù)樣本量分別是幾千和幾萬(wàn)的級(jí)別，可比性就很小。尤其是對(duì)于樣本分布不均的情況下，數(shù)據(jù)結(jié)果可信度低。

樣本主體不同。這是非常嚴(yán)重的數(shù)據(jù)引導(dǎo)錯(cuò)誤，通常存在于為了達(dá)到某種結(jié)果而故意選擇對(duì)結(jié)果有利的樣本。比如做品類推廣，一部分用戶推廣渠道為廣告，另一部分是CPS可以遇見(jiàn)相同費(fèi)用下后者的效果必然更好。

相同樣本不同的客觀環(huán)境。比如做站內(nèi)用戶體驗(yàn)分析，除了用隨機(jī)A/B測(cè)試以外，其他所有測(cè)試方法都沒(méi)有完全相同的客觀環(huán)境，因此即使選的是相同樣本，不同時(shí)間由于用戶，網(wǎng)站本身等影響，可信度較低。

3.異常值處理欺騙

通常面對(duì)樣本時(shí)需要做整體數(shù)據(jù)觀察，以確認(rèn)樣本數(shù)量、均值、極值、方差、標(biāo)準(zhǔn)差以及數(shù)據(jù)范圍等。其中的極值很可能是異常值，此時(shí)如何處理異常值會(huì)直接影響數(shù)據(jù)結(jié)果。比如某天的銷售數(shù)據(jù)中，可能存在異常下單或行單，導(dǎo)致品類銷售額和轉(zhuǎn)化率異常高。如果忽視該情況，結(jié)論就是利好的，但實(shí)際并非如此。通常我們會(huì)把異常值拿出來(lái)，單獨(dú)做文字說(shuō)明，甚至?xí)f(shuō)明沒(méi)有異常值下的真實(shí)情況。

隱秘層次:★★★☆☆

破解方法:在跟數(shù)據(jù)分析師溝通中，多詢問(wèn)他們?cè)跀?shù)據(jù)選取規(guī)則，處理方法上的方法，如果他們吞吞吐吐或答不上來(lái)，那很有可能是故意為之。同時(shí)，業(yè)務(wù)人員也要增強(qiáng)基本數(shù)據(jù)意識(shí)，不能被這種不可見(jiàn)的底層錯(cuò)誤欺騙。 

三、 意識(shí)上的欺騙

這種欺騙是等級(jí)最高也是最嚴(yán)重的欺騙和錯(cuò)誤，通常存在于數(shù)據(jù)分析師在做數(shù)據(jù)之前就已經(jīng)下結(jié)論，分析過(guò)程中只選取有利于證明其論斷的方法和材料，因此會(huì)在從數(shù)據(jù)選擇，處理，數(shù)據(jù)表現(xiàn)等各個(gè)方面進(jìn)行事實(shí)上的扭曲，是嚴(yán)重的誤導(dǎo)行為！數(shù)據(jù)分析師需要有中立的立場(chǎng)，客觀的態(tài)度，任何有立場(chǎng)的分析師的結(jié)論都會(huì)失之偏頗。

隱秘層次:★★★★★

破解方法:在跟該分析師溝通中，查看其是否有明顯立場(chǎng)或態(tài)度，如果有，那么該警惕；然后通過(guò)上面的方法逐一驗(yàn)證。

綜上，當(dāng)你遇到以下數(shù)據(jù)情形，就需要警惕數(shù)據(jù)的真實(shí)性了:

數(shù)據(jù)報(bào)告從來(lái)不注明數(shù)據(jù)出處，數(shù)據(jù)時(shí)間，數(shù)據(jù)取樣規(guī)則，數(shù)據(jù)取得方法等?，F(xiàn)在市場(chǎng)上很多報(bào)告都屬于這一類。

數(shù)據(jù)報(bào)告在做市場(chǎng)調(diào)研中說(shuō)明全樣本共1000，其中北京可能只有100，基于這100個(gè)樣本出來(lái)的結(jié)論顯然不可信。事實(shí)上很多市場(chǎng)研究報(bào)告就是這樣出來(lái)的。

數(shù)據(jù)報(bào)告中存在明顯的觀點(diǎn)，對(duì)于事物的分析只講其優(yōu)勢(shì)或劣勢(shì)，不全面也不客觀?，F(xiàn)在很多互聯(lián)網(wǎng)分析師就是屬于這類，大家注意辨別。