機(jī)器學(xué)習(xí)中的數(shù)據(jù)清洗與特征處理綜述_數(shù)據(jù)分析師考試

日常生活工作中，處處都會與數(shù)據(jù)打交道，但你知道數(shù)據(jù)是會“說謊”的，即你看到的數(shù)據(jù)結(jié)果并不是事實(shí)。本文介紹一些常見的說謊場景以及如何避免。

一、圖表欺騙

圖表通常用來增強(qiáng)需要文字和數(shù)據(jù)的說服力，通過可視化的圖表更容易讓受眾接受信息。但圖表有時候會表現(xiàn)的不是數(shù)據(jù)的本質(zhì):

1.圖表拉伸

如果沒有特殊用途，通常圖表的長(橫軸)與高(縱軸)的比例為1:1到1:2之間，如果在這個范圍之外，數(shù)據(jù)現(xiàn)實(shí)的結(jié)果會過于異常。比如:

2.坐標(biāo)軸特殊處理

在很多場合下，如果兩列數(shù)據(jù)的取值范圍差異性過大，通常在顯示時會取對數(shù)，這時原來柱狀圖間的巨大差異會被故意縮小。通常，嚴(yán)謹(jǐn)?shù)姆治鰩熢谥v解之前會進(jìn)行告知。比如: 

3.數(shù)據(jù)標(biāo)準(zhǔn)化

數(shù)據(jù)標(biāo)準(zhǔn)化也是一個讓數(shù)據(jù)落在相同區(qū)間內(nèi)常用的方法，常用Z標(biāo)準(zhǔn)化或0-1標(biāo)準(zhǔn)化，如果不提前告知，可能會誤以為兩列數(shù)據(jù)取值異常接近，不符合實(shí)際業(yè)務(wù)場景，比如:

隱秘層次:★★☆☆☆

破解方法:詢問分析師的圖表各個含義，了解基本圖表查看常識。

二、數(shù)據(jù)處理欺騙

數(shù)據(jù)處理中的欺騙方法通常包括抽樣方法欺騙、樣本量不同、異常值處理欺騙等。

1.抽樣方法欺騙

整體樣本的維度，粒度和取數(shù)邏輯相同的情況下，不用的樣本抽樣規(guī)則會使數(shù)據(jù)看來更符合或不符合“預(yù)期”。比如在做用戶挽回中，假如做的兩次活動的抽樣樣本分別是最近6個月未購物和最近6個月未購物但有登陸行為的用戶，不用做什么測試，基本上可以確定后者的挽回效果更佳。要識破這個“騙局”只需要詢問數(shù)據(jù)取樣方法即可，需要細(xì)到具體的SQL邏輯。

2.樣本量不同

嚴(yán)格來說樣本量不同并不一定是故意欺騙，實(shí)踐中確實(shí)存在這種情況。(遇到這種情況可以用欠抽樣和過抽樣進(jìn)行樣本平衡)樣本量不同分為兩種情況:

樣本量數(shù)量不同。比如要做效果差異對比，第一步是做效果比對，假如兩個數(shù)據(jù)樣本量分別是幾千和幾萬的級別，可比性就很小。尤其是對于樣本分布不均的情況下，數(shù)據(jù)結(jié)果可信度低。

樣本主體不同。這是非常嚴(yán)重的數(shù)據(jù)引導(dǎo)錯誤，通常存在于為了達(dá)到某種結(jié)果而故意選擇對結(jié)果有利的樣本。比如做品類推廣，一部分用戶推廣渠道為廣告，另一部分是CPS可以遇見相同費(fèi)用下后者的效果必然更好。

相同樣本不同的客觀環(huán)境。比如做站內(nèi)用戶體驗(yàn)分析，除了用隨機(jī)A/B測試以外，其他所有測試方法都沒有完全相同的客觀環(huán)境，因此即使選的是相同樣本，不同時間由于用戶，網(wǎng)站本身等影響，可信度較低。

3.異常值處理欺騙

通常面對樣本時需要做整體數(shù)據(jù)觀察，以確認(rèn)樣本數(shù)量、均值、極值、方差、標(biāo)準(zhǔn)差以及數(shù)據(jù)范圍等。其中的極值很可能是異常值，此時如何處理異常值會直接影響數(shù)據(jù)結(jié)果。比如某天的銷售數(shù)據(jù)中，可能存在異常下單或行單，導(dǎo)致品類銷售額和轉(zhuǎn)化率異常高。如果忽視該情況，結(jié)論就是利好的，但實(shí)際并非如此。通常我們會把異常值拿出來，單獨(dú)做文字說明，甚至?xí)f明沒有異常值下的真實(shí)情況。

隱秘層次:★★★☆☆

破解方法:在跟數(shù)據(jù)分析師溝通中，多詢問他們在數(shù)據(jù)選取規(guī)則，處理方法上的方法，如果他們吞吞吐吐或答不上來，那很有可能是故意為之。同時，業(yè)務(wù)人員也要增強(qiáng)基本數(shù)據(jù)意識，不能被這種不可見的底層錯誤欺騙。

三、 意識上的欺騙

這種欺騙是等級最高也是最嚴(yán)重的欺騙和錯誤，通常存在于數(shù)據(jù)分析師在做數(shù)據(jù)之前就已經(jīng)下結(jié)論，分析過程中只選取有利于證明其論斷的方法和材料，因此會在從數(shù)據(jù)選擇，處理，數(shù)據(jù)表現(xiàn)等各個方面進(jìn)行事實(shí)上的扭曲，是嚴(yán)重的誤導(dǎo)行為！數(shù)據(jù)分析師需要有中立的立場，客觀的態(tài)度，任何有立場的分析師的結(jié)論都會失之偏頗。

隱秘層次:★★★★★

破解方法:在跟該分析師溝通中，查看其是否有明顯立場或態(tài)度，如果有，那么該警惕；然后通過上面的方法逐一驗(yàn)證。

綜上，當(dāng)你遇到以下數(shù)據(jù)情形，就需要警惕數(shù)據(jù)的真實(shí)性了:

數(shù)據(jù)報(bào)告從來不注明數(shù)據(jù)出處，數(shù)據(jù)時間，數(shù)據(jù)取樣規(guī)則，數(shù)據(jù)取得方法等?，F(xiàn)在市場上很多報(bào)告都屬于這一類。

數(shù)據(jù)報(bào)告在做市場調(diào)研中說明全樣本共1000，其中北京可能只有100，基于這100個樣本出來的結(jié)論顯然不可信。事實(shí)上很多市場研究報(bào)告就是這樣出來的。

數(shù)據(jù)報(bào)告中存在明顯的觀點(diǎn)，對于事物的分析只講其優(yōu)勢或劣勢，不全面也不客觀。現(xiàn)在很多互聯(lián)網(wǎng)分析師就是屬于這類，大家注意辨別。