怎樣辨別渠道作弊—數(shù)據(jù)分析篇

有的運(yùn)營(yíng)人員做渠道投放，每個(gè)渠道都投放了，點(diǎn)擊量特別高，但激活量只有個(gè)位數(shù)。也有可能點(diǎn)擊激活數(shù)量都很高，但是留存率很低。費(fèi)用都花光了，但是效果沒有出來(lái)。自己做數(shù)據(jù)分析，但是卻得不到結(jié)論。

我們做數(shù)據(jù)分析的前提是需要拿到靠譜的數(shù)據(jù)。如果數(shù)據(jù)不準(zhǔn)確，基于這個(gè)數(shù)據(jù)分析出來(lái)的結(jié)論是沒有意義的。

獲取準(zhǔn)確的數(shù)據(jù)，首先需要我們選擇靠譜的統(tǒng)計(jì)分析平臺(tái)，平臺(tái)的選擇可以參考我的前一篇文章。即便在平臺(tái)靠譜的情況下，也有可能出現(xiàn)一些不靠譜的情況。俗話說(shuō)，有榜單的地方就有刷榜，有數(shù)據(jù)統(tǒng)計(jì)的平臺(tái)就有數(shù)據(jù)作弊的作坊。

在移動(dòng)互聯(lián)網(wǎng)生態(tài)中存在很多不為人知的渠道刷量工作室，這些工作室以非常低廉的價(jià)格貢獻(xiàn)質(zhì)量同樣低廉的用戶數(shù)據(jù)。

早期的統(tǒng)計(jì)分析平臺(tái)的 SDK 基于明文的jaso n 數(shù)據(jù)包，工作室可以很方便的用程序偽造這些數(shù)據(jù)包，模擬出新增、活躍、留存、時(shí)長(zhǎng)等用戶數(shù)據(jù)。隨著統(tǒng)計(jì)分析平臺(tái)的發(fā)展，很多分析平臺(tái)推出了基于二進(jìn)制協(xié)議的 SDK ，開發(fā)人員還可以自行調(diào)用加密開關(guān)。這些技術(shù)的提升使統(tǒng)計(jì)平臺(tái)的安全性和數(shù)據(jù)準(zhǔn)確性得到了提高。如果 APP 升級(jí)到安全協(xié)議版本的 SDK ，刷量工作室已經(jīng)很難采用直接模擬數(shù)據(jù)包的形式來(lái)刷量了。

所謂道高一尺魔高一丈，平臺(tái)有平臺(tái)的方法，刷量工作室有刷量的方式。他們可能是采用分布式人肉刷量的方式來(lái)刷量（形式可以參考基于任務(wù)的積分墻）；也有可能是采用更為智能的方式，通過(guò)編寫程序腳本，修改真機(jī)參數(shù)，驅(qū)動(dòng)真機(jī)運(yùn)行（有興趣的同學(xué)可以了解一下igrimace這個(gè) iOS 的刷量工具）。這些行為已經(jīng)跟真實(shí)的用戶行為幾乎沒有差別了，很難從技術(shù)上分辨這些數(shù)據(jù)。

其實(shí)有經(jīng)驗(yàn)的運(yùn)營(yíng)人員還是可以通過(guò)一些數(shù)據(jù)指標(biāo)來(lái)分辨出真假用戶的差異。

渠道效果評(píng)估

留存率

有時(shí)候渠道刷量會(huì)選擇在次日、7日、30日這些重要時(shí)間點(diǎn)上導(dǎo)入用戶數(shù)據(jù)。我們會(huì)發(fā)現(xiàn) APP 在次日、7日、30日這些關(guān)鍵時(shí)間點(diǎn)上的數(shù)據(jù)明顯高于其他時(shí)間點(diǎn)。其實(shí)真實(shí)的用戶的留存曲線是一條平滑的指數(shù)衰減曲線，如果你發(fā)現(xiàn)你的留存曲線存在陡升陡降的異常波動(dòng)，基本上就是渠道干預(yù)了數(shù)據(jù)。可想而知，這樣的用戶的質(zhì)量是非常差的，也不具備商業(yè)價(jià)值。

留存曲線不僅可以幫助我們判斷渠道的質(zhì)量，還可以在運(yùn)營(yíng)推廣和產(chǎn)品優(yōu)化上給出很多參考性建議。留存率這么重要，那么，留存率是怎么計(jì)算的呢？

某一天的新增用戶，在 n 天后回訪的比例，就是這天的 n 日留存率。舉個(gè)例子，如果我們?cè)?月1日獲取了1000個(gè)新增用戶，這批用戶在2月2日有400個(gè)用戶回訪，2月8日有200個(gè)用戶回訪，那么2月1日新用戶的次日留存率是40%，7日留存率是20%。

留存率是業(yè)內(nèi)判斷用戶質(zhì)量的通用指標(biāo)。移動(dòng)互聯(lián)網(wǎng)行業(yè)內(nèi)，如果一個(gè) APP 的次日留存率達(dá)到40%，7日留存率達(dá)到20%，30日留存率達(dá)到10%，這個(gè) APP 的留存率就高于了業(yè)內(nèi)標(biāo)準(zhǔn)了。一般來(lái)說(shuō)，工具類應(yīng)用的留存率高于游戲類應(yīng)用的留存率，高頻應(yīng)用的留存率高于低頻應(yīng)用的留存率。除了應(yīng)用類型，留存率還跟 APP 的用戶體驗(yàn)、推廣方式等因素相關(guān)。

用戶終端

每個(gè)渠道都有自己覆蓋的用戶群，他們的用戶終端會(huì)有區(qū)別。比如說(shuō)小米應(yīng)用商店的用戶可能TOP10的機(jī)型都是小米手機(jī)，而移動(dòng)MM的用戶可能絕大部分是移動(dòng)運(yùn)營(yíng)商的用戶。排除這些有特殊渠道的應(yīng)用商店，大部分渠道的用戶終端跟整個(gè)移動(dòng)互聯(lián)網(wǎng)終端分布是類似的。我們可以通過(guò)查看移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)報(bào)告或者數(shù)據(jù)指數(shù)產(chǎn)品來(lái)了解這些數(shù)據(jù)，把這些數(shù)據(jù)作為be n chmark，來(lái)對(duì)比分析 APP 的數(shù)據(jù)。

我們可以重點(diǎn)關(guān)注設(shè)備終端、操作系統(tǒng)、聯(lián)網(wǎng)方式、運(yùn)營(yíng)商、地理位置這些手機(jī)設(shè)備的屬性。我在下面列舉了一些tips，歡迎交流與拍磚。

方法一：關(guān)注低價(jià)設(shè)備的排名

你可以重點(diǎn)分析渠道的新增用戶或者啟動(dòng)用戶的設(shè)備排名。如果你發(fā)現(xiàn)某款低價(jià)設(shè)備排名異常靠前，這種情況值得我們重點(diǎn)關(guān)注。這些數(shù)據(jù)可以在統(tǒng)計(jì)平臺(tái)的終端屬性分布中找到。

尤其是 iOS 平臺(tái)沒有模擬器，所有的用戶數(shù)據(jù)需要通過(guò)真機(jī)觸發(fā)。很多刷量的工作室會(huì)選擇購(gòu)買二手的iPhone 5c來(lái)做刷量真機(jī)。有個(gè)做渠道推廣的朋友踩過(guò)這樣的坑，發(fā)現(xiàn)某個(gè)渠道有75%的設(shè)備是iPhone 5c，比top5的 iOS 設(shè)備占比還多。繼而又發(fā)現(xiàn)這個(gè)渠道的留存率等指標(biāo)都差強(qiáng)人意，最終查出這個(gè)渠道使用了大量的iPhone 5c來(lái)刷量。

方法二：關(guān)注新版本操作系統(tǒng)的占比

經(jīng)過(guò)本人多年工作經(jīng)驗(yàn)發(fā)現(xiàn)，很多渠道刷量工作室在操作系統(tǒng)版本的適配上會(huì)有延時(shí)。所以建議渠道人員在查看渠道用戶的操作系統(tǒng)時(shí)，可以和全體手機(jī)網(wǎng)民的操作系統(tǒng)的分布做比較。如果你發(fā)現(xiàn)某個(gè)渠道下面，不存在新版本的操作系統(tǒng)（比如 iOS  8.x），有一種可能性就是這個(gè)渠道合作的工作室的技術(shù)還沒有適配最新的操作系統(tǒng)。

方法三：關(guān)注wifi網(wǎng)絡(luò)的使用情況

有的朋友問(wèn)我，用戶在wifi下面使用的比例達(dá)到了90%，這個(gè)比例到底正常不正常。

要回答這個(gè)問(wèn)題，首先我們需要對(duì)現(xiàn)在的大形勢(shì)有些了解?，F(xiàn)在是一個(gè)高速網(wǎng)絡(luò)的環(huán)境，無(wú)論是新增用戶還是活躍用戶，wifi的使用占比都比較大。

從用戶行為上來(lái)說(shuō)，如果你留心身邊的朋友，會(huì)發(fā)現(xiàn)大家在下載 APP 的時(shí)候傾向于使用wifi（流量貴啊），相比之下，啟動(dòng) APP 時(shí)，會(huì)對(duì)當(dāng)前網(wǎng)絡(luò)的敏感性差一些。也就是說(shuō)，新增用戶的wifi使用比例會(huì)大于啟動(dòng)用戶的wifi使用比例。

另外，wifi的使用比例還跟應(yīng)用類型相關(guān)。如果你是一個(gè)在線視頻類型的應(yīng)用，可能wifi的比例會(huì)在90%以上。

如果你是一個(gè)小流量的 APP ，同時(shí)能夠在新增用戶和活躍用戶的wifi數(shù)據(jù)對(duì)比上看出蛛絲馬跡，可能真的是渠道在搗鬼了。

方法四：定向投放也很重要

有個(gè)行業(yè)內(nèi)做了很久的朋友傳授給我一個(gè)經(jīng)驗(yàn)，說(shuō)福建地區(qū)的作弊比較多，我們?cè)谥贫ㄍ斗挪呗缘臅r(shí)候可以重點(diǎn)考慮屏蔽作弊多的地區(qū)。這個(gè)黑名單也可以根據(jù) APP 實(shí)際的分地域投放效果來(lái)定制。

另外，我們?cè)谕斗艜r(shí)也可以根據(jù)需要重點(diǎn)選擇部分地區(qū)投放。比如北上廣這些高消費(fèi)的地區(qū)，比如三四線城市這些相對(duì)藍(lán)海的區(qū)域。查看數(shù)據(jù)時(shí)就需要驗(yàn)證用戶是否和我們的投放策略相符合了。

用戶行為

方法一：比較用戶行為數(shù)據(jù)

如果一個(gè) APP 做的時(shí)間比較久，訪問(wèn)頁(yè)面、使用時(shí)長(zhǎng)、訪問(wèn)間隔、使用頻率等這些行為數(shù)據(jù)會(huì)趨向穩(wěn)定的。不同 APP 的行為數(shù)據(jù)是有差異的。可能刷量工作室可以模擬出看似真實(shí)的用戶行為，但是很難跟你的 APP 的日常數(shù)據(jù)做的完全一致。

一個(gè)渠道用戶的使用時(shí)長(zhǎng)、使用頻率過(guò)高過(guò)低都值得懷疑。我們?cè)谄綍r(shí)做渠道數(shù)據(jù)分析時(shí)，可以將這些數(shù)據(jù)跟整個(gè) APP 作比較，或者將安卓市場(chǎng)、應(yīng)用寶這些大型應(yīng)用商店的數(shù)據(jù)作為基準(zhǔn)數(shù)據(jù)，進(jìn)行比較。

方法二：了解新增用戶、活躍用戶小時(shí)時(shí)間點(diǎn)數(shù)據(jù)曲線

很多刷量工作室通過(guò)批量導(dǎo)入設(shè)備數(shù)據(jù)或者定時(shí)啟動(dòng)的方式來(lái)偽造數(shù)據(jù)。這種情況下，新增和啟動(dòng)的曲線會(huì)出現(xiàn)陡增和陡降。真實(shí)用戶的新增和啟動(dòng)是一條平滑的曲線。一般來(lái)說(shuō)，用戶的新增和啟動(dòng)會(huì)在下午6點(diǎn)之后達(dá)到高峰。而且新增相比啟動(dòng)的趨勢(shì)會(huì)更加明顯。

我們可以將不同渠道的分時(shí)數(shù)據(jù)進(jìn)行對(duì)比，找到異常。需要注意的是，這種行為數(shù)據(jù)的對(duì)比需要遵循單一變量原則。也就是說(shuō)，除了是不同的渠道，實(shí)驗(yàn)中的其他因素必須完全相同。如果我們選取渠道A在周三的活躍數(shù)和渠道B在周六的活躍數(shù)做對(duì)比，這兩個(gè)數(shù)據(jù)肯定是有差異的，不具備可比性。

方法三：查看用戶訪問(wèn)的頁(yè)面名稱明細(xì)

有些工作室會(huì)將 App key打到其它高頻的 APP 中。這樣，我們可能會(huì)發(fā)現(xiàn)渠道用戶的數(shù)據(jù)非常漂亮，但是仔細(xì)觀察可以發(fā)現(xiàn)，頁(yè)面名中有大量的頁(yè)面不是自己定義的。通過(guò)對(duì)比頁(yè)面名稱，可以定位到這種形式的渠道作弊。

如果是A n droid  APP ，這個(gè)名稱是activity或者fragme n t；如果是 iOS   APP ，這個(gè)名稱是自定義的view。這段記不住也沒關(guān)系。記得找開發(fā)人員要一下具體頁(yè)面的名稱列表，對(duì)比一下統(tǒng)計(jì)后臺(tái)用戶訪問(wèn)的頁(yè)面明細(xì)，就能看出差異了。

轉(zhuǎn)化率分析

轉(zhuǎn)化率數(shù)據(jù)的分析不僅可以幫助我們應(yīng)對(duì)渠道作弊，還可以幫助我們判斷不同渠道的用戶質(zhì)量，提高投放效率。

每一個(gè) APP 都有自己的目標(biāo)行為。比如電商類應(yīng)用的目標(biāo)行為就是用戶購(gòu)買商品的情況。游戲類的應(yīng)用需要考察應(yīng)用內(nèi)付費(fèi)。社交類應(yīng)用會(huì)關(guān)注用戶產(chǎn)生內(nèi)容的情況。運(yùn)營(yíng)人員需要定義和設(shè)計(jì)應(yīng)用的目標(biāo)行為。

如果一個(gè)用戶是真實(shí)的流量，他會(huì)經(jīng)歷點(diǎn)擊、下載、激活、注冊(cè)、直到觸發(fā)目標(biāo)行為的過(guò)程。我們可以將這些步驟做成漏斗模型，觀察每一步的轉(zhuǎn)化率。漏斗的步驟越靠后，作弊的難度越大，所獲取用戶對(duì)系統(tǒng)的價(jià)值越高，同時(shí)我們付出的用戶成本也越高。運(yùn)營(yíng)人員需要對(duì)目標(biāo)行為進(jìn)行監(jiān)控，在渠道推廣時(shí)，考察目標(biāo)行為的轉(zhuǎn)化率，提高渠道作弊的邊際成本。

反作弊模塊

除了使用現(xiàn)成的統(tǒng)計(jì)分析工具，還可以申請(qǐng)讓研發(fā)人員開發(fā)自己的反作弊模塊。反作弊模塊在原理上類似于殺毒軟件，我們可以定義一些行為模式，加到反作弊模塊的黑名單庫(kù)中。如果一個(gè)新增設(shè)備滿足定義的行為模式，就會(huì)被判定為一個(gè)作弊設(shè)備。每個(gè)運(yùn)營(yíng)人員都可以根據(jù)自己的 APP 來(lái)定義。我列舉了一些常用的行為模式：

（1）設(shè)備號(hào)異常：頻繁重置idfa

（2）ip異常：頻繁更換地理位置

（3）行為異常：大量購(gòu)買特價(jià)商品等

（4）數(shù)據(jù)包不完整：只有啟動(dòng)信息，不具備頁(yè)面、事件等其他用戶行為信息

寫在最后：

作為一個(gè)運(yùn)營(yíng)人員，需要做好長(zhǎng)期與渠道合（dou）作（zheng）的心理準(zhǔn)備。用好數(shù)據(jù)是萬(wàn)里長(zhǎng)征的第一步。希望每個(gè)運(yùn)營(yíng)人員能夠通過(guò)數(shù)據(jù)的使用，挑選出合適的渠道，提高渠道投放的收益。