如何做好數(shù)據(jù)異常分析

對(duì)于用戶端產(chǎn)品經(jīng)理來(lái)說(shuō)，監(jiān)控處理日常的用戶端數(shù)據(jù)是必不可少的工作之一，轉(zhuǎn)化數(shù)據(jù)、用戶數(shù)據(jù)、交易數(shù)據(jù)等等，都應(yīng)該是列入日常監(jiān)控的數(shù)據(jù)指標(biāo)。一般來(lái)說(shuō)，這些數(shù)據(jù)都有固定的波動(dòng)周期，每個(gè)周期內(nèi)的數(shù)據(jù)變化應(yīng)該是趨于穩(wěn)定的，如果某天某周某月的數(shù)據(jù)不再符合預(yù)期的穩(wěn)定變化，也就是我們所說(shuō)的數(shù)據(jù)異常。這種情況下，我們需要去深挖數(shù)據(jù)異常產(chǎn)生的原因。雖然這種分析有點(diǎn)時(shí)候諸葛亮的意味，而且分析的過(guò)程往往無(wú)趣且極其耗費(fèi)時(shí)間，對(duì)于那些認(rèn)為產(chǎn)品經(jīng)理的工作理應(yīng)充滿挑戰(zhàn)和創(chuàng)新的人來(lái)說(shuō)，這項(xiàng)工作簡(jiǎn)直是最讓人厭惡的了。

但是數(shù)據(jù)異常的分析仍然是必要的，首先，對(duì)于產(chǎn)品的各種數(shù)據(jù)知其所以然，這是對(duì)產(chǎn)品經(jīng)理的基本要求；其次通過(guò)數(shù)據(jù)異常分析往往能夠發(fā)掘未知的機(jī)會(huì)或風(fēng)險(xiǎn)，尤其難得的是這些機(jī)會(huì)和風(fēng)險(xiǎn)往往是我們平時(shí)忽略的（要不然我們也不會(huì)認(rèn)為是“異常”），這對(duì)產(chǎn)品的持續(xù)優(yōu)化具有重要意義。（雖然我明白其中的道理，不過(guò)說(shuō)實(shí)話數(shù)據(jù)異常分析仍然是我最討厭的工作，沒(méi)有之一%>_<%）

那么如何才能做好數(shù)據(jù)異常分析呢？（或者換個(gè)說(shuō)法：如何完成我們必須要做的煩人分析工作？）首先，當(dāng)然是要求我們能識(shí)別和確認(rèn)數(shù)據(jù)異常，其次就是細(xì)致的分析過(guò)程，如果想要很好的完成這個(gè)過(guò)程，我認(rèn)為可以用八個(gè)字概括：大膽設(shè)想，小心求證。

識(shí)別和確認(rèn)異常

既然是數(shù)據(jù)異常分析，那么我們必須能察覺(jué)到這些異常，然后還要確認(rèn)數(shù)據(jù)異常是真的存在，否則只會(huì)在錯(cuò)誤的道路上越走越遠(yuǎn)。察覺(jué)數(shù)據(jù)異常最難也最簡(jiǎn)單，最難是因?yàn)椴煊X(jué)的過(guò)程往往依靠豐富的經(jīng)驗(yàn)和對(duì)產(chǎn)品和業(yè)務(wù)的充分了解，我們稱之為產(chǎn)品經(jīng)理的數(shù)據(jù)敏感。最簡(jiǎn)單是因?yàn)槲覀円坏┯辛诉@種敏感性，只要借助基本的數(shù)據(jù)報(bào)表，就能夠風(fēng)吹草動(dòng)無(wú)微不察。數(shù)據(jù)敏感不是一個(gè)“硬”技能，也很難說(shuō)有具體的操作步驟去提高數(shù)據(jù)敏感性，這種敏感一部分真的要靠天賦，有些人可能邏輯性強(qiáng)，通過(guò)數(shù)據(jù)本身的相對(duì)關(guān)系就能夠發(fā)現(xiàn)異常的存在，比如DAU和轉(zhuǎn)化率都有提升而交易額呈下降趨勢(shì)（這個(gè)異常相對(duì)明顯，原諒我一時(shí)舉不出需要更嚴(yán)密邏輯分析的例子）。另一部分，它需要產(chǎn)品經(jīng)理對(duì)產(chǎn)品和業(yè)務(wù)有足夠的了解，這個(gè)是可以通過(guò)平時(shí)多加關(guān)注各種產(chǎn)品數(shù)據(jù)來(lái)逐漸加強(qiáng)的，比如養(yǎng)成仔細(xì)閱讀產(chǎn)品數(shù)據(jù)報(bào)告的習(xí)慣，然后對(duì)一些無(wú)法理解的數(shù)據(jù)進(jìn)行詳細(xì)分析，經(jīng)過(guò)長(zhǎng)期的主動(dòng)訓(xùn)練，是一定可以提高數(shù)據(jù)敏感度的，這也是為什么Leader們（有經(jīng)驗(yàn)的產(chǎn)品經(jīng)理）更容易發(fā)現(xiàn)異常的原因。

如果你已經(jīng)具備了察覺(jué)或明顯或隱蔽的數(shù)據(jù)異常的能力，你或許有發(fā)現(xiàn)寶藏的興奮，迫不及待的想要去搞清楚所以然。但是我建議你在行動(dòng)前最好確認(rèn)一下這個(gè)異常是真的存在，簡(jiǎn)單的說(shuō)，就是確認(rèn)下數(shù)據(jù)有沒(méi)有問(wèn)題。這種事情很常見：我們經(jīng)常會(huì)遇到數(shù)據(jù)服務(wù)、數(shù)據(jù)上報(bào)、數(shù)據(jù)統(tǒng)計(jì)上的BUG，然后數(shù)據(jù)報(bào)表中的數(shù)據(jù)就變得難以理解。所以，找數(shù)據(jù)報(bào)表的產(chǎn)品和技術(shù)同事確認(rèn)一下是不是真的異常吧。

數(shù)據(jù)異常分析

如果數(shù)據(jù)異常經(jīng)確認(rèn)確實(shí)存在，那么你就要去找原因了。這個(gè)找原因的過(guò)程總結(jié)起來(lái)就是前面所說(shuō)的“大膽設(shè)想，小心求證”，大膽設(shè)想就是對(duì)異常產(chǎn)生的原因做出合理的猜測(cè)，因?yàn)楫惓Ｖ詾楫惓?，是因?yàn)槲覀冎暗暮鲆?，所以在猜測(cè)的過(guò)程中需要腦洞大開，聯(lián)系所有你能夠想到的所有可能，回顧所有產(chǎn)品相關(guān)的信息，然后猜測(cè)一個(gè)可能造成數(shù)據(jù)異常的原因。小心求證是說(shuō)在做出猜測(cè)之后，我們需要對(duì)自己的猜測(cè)負(fù)責(zé)，找到能夠支持（或者否定）這種猜測(cè)的數(shù)據(jù)。

大膽設(shè)想

那么，我們?nèi)绾尾拍茏龅侥X洞大開大膽設(shè)想呢？對(duì)新手產(chǎn)品經(jīng)理（好吧，數(shù)據(jù)異常分析好像大多由新手來(lái)分析處理）來(lái)說(shuō)，你可能會(huì)覺(jué)得兩眼一抹黑不知如何下手，下面有一個(gè)簡(jiǎn)單的表格，可供參考。

* 如果你看到這個(gè)表格已經(jīng)知道我要說(shuō)些什么，那后面的內(nèi)容你可以不用看了。

對(duì)于大部分已經(jīng)產(chǎn)生的數(shù)據(jù)異常，大概可以從兩個(gè)維度來(lái)分類（個(gè)人經(jīng)驗(yàn)總結(jié)，可能不同產(chǎn)品有不同的分類方式，但是我堅(jiān)持推薦這種通過(guò)分類來(lái)確定分析方向的方式）：

• 第一個(gè)是范圍維度，包括自己的產(chǎn)品、競(jìng)對(duì)方面以及產(chǎn)品業(yè)務(wù)的大環(huán)境，這樣分類的原因是因?yàn)橄嗷ジ?jìng)爭(zhēng)的產(chǎn)品都處于大的產(chǎn)品業(yè)務(wù)環(huán)境之中，任何一方的變動(dòng)都會(huì)造成自家產(chǎn)品的數(shù)據(jù)變化；
• 第二個(gè)是內(nèi)容維度，包括產(chǎn)品、技術(shù)、用戶和運(yùn)營(yíng)，這幾個(gè)維度基本囊括了互聯(lián)網(wǎng)產(chǎn)品的重要構(gòu)成，往往數(shù)據(jù)異常逃不過(guò)這幾個(gè)方面。反過(guò)來(lái)說(shuō)，如果我們發(fā)現(xiàn)了數(shù)據(jù)異常并且要給出一個(gè)合理的數(shù)據(jù)異常原因猜測(cè)，那么不妨聯(lián)系實(shí)際選擇表格中的某一格。

我將已經(jīng)遇到過(guò)的情況和一些覺(jué)得可能以后會(huì)遇到的情況填充到這個(gè)表格中，通過(guò)這些例子對(duì)這種分析（猜測(cè)）方法做出解釋。

產(chǎn)品層面，A1和B1兩種情況是指當(dāng)自身的產(chǎn)品或者競(jìng)對(duì)的產(chǎn)品因?yàn)楣δ茏兏斐傻臄?shù)據(jù)變化，比如自己產(chǎn)品因?yàn)樵黾恿烁邇r(jià)排序功能造成客單價(jià)升高，而競(jìng)對(duì)將某些品類商品入口提前而造成自己App上這類商品的交易額降低；C1指大環(huán)境發(fā)生了變化，而造成自己的產(chǎn)品數(shù)據(jù)變化，比如我們可以猜想當(dāng)微博興起時(shí)，人人網(wǎng)的產(chǎn)品經(jīng)理會(huì)發(fā)現(xiàn)DAU持續(xù)下降。

因?yàn)榇蠖鄶?shù)產(chǎn)品經(jīng)理并非技術(shù)出身，所以技術(shù)上的問(wèn)題往往是產(chǎn)品經(jīng)理在分析數(shù)據(jù)時(shí)忽視的內(nèi)容。比如A2，當(dāng)我們的列表展示接口不夠穩(wěn)定時(shí)，會(huì)造成列表頁(yè)點(diǎn)擊率降低，進(jìn)而交易額等等都接連降低。比如B2，當(dāng)2015.5.28，攜程因?yàn)橄到y(tǒng)故障而無(wú)法訪問(wèn)時(shí)，其他OTA網(wǎng)站的交易量可預(yù)見是提升的。C2情況相對(duì)少見，比如2014.1.21，國(guó)內(nèi)所有通用頂級(jí)域的根服務(wù)器出現(xiàn)異常，而當(dāng)日國(guó)內(nèi)大部分網(wǎng)站的數(shù)據(jù)毫無(wú)疑問(wèn)應(yīng)該是異常的。

用戶層面，當(dāng)用戶整體特征逐漸變化時(shí)，產(chǎn)品數(shù)據(jù)也會(huì)逐漸變化。對(duì)于A3和B3情況，我們假設(shè)有一類產(chǎn)品，最初培養(yǎng)的一群用戶是學(xué)生，消費(fèi)能力有限。如果這個(gè)產(chǎn)品黏性夠強(qiáng)，當(dāng)這批學(xué)生逐漸步入社會(huì)，客單價(jià)可能會(huì)持續(xù)增長(zhǎng)。C3情況，每年到11月，各OTA網(wǎng)站的DAU和交易額整體就會(huì)降低，而三亞地區(qū)的交易額逆勢(shì)上升，這就是大環(huán)境下旅游淡旺季的原因造成的。

對(duì)于需要支付的產(chǎn)品來(lái)說(shuō)，所有運(yùn)營(yíng)活動(dòng)都能影響市場(chǎng)的大小以及市場(chǎng)份額的分布，比如滴滴和快的在培育市場(chǎng)階段，任何一方的大額促銷都會(huì)提升自己的市場(chǎng)份額并侵占競(jìng)對(duì)的市場(chǎng)份額（A4和B4），而當(dāng)?shù)蔚慰斓魏喜⒅蠹t包額度的減少，必然會(huì)造成App叫車用戶數(shù)量的降低（C4）。

小心求證

前面講了大膽設(shè)想的方法，如果只是停留個(gè)這個(gè)層面，那這個(gè)分析是沒(méi)有說(shuō)服力的，下面還有一個(gè)重要的步驟是小心求證。小心求證是找到直接或間接的證據(jù)來(lái)證明你的猜想。對(duì)于大環(huán)境維度的數(shù)據(jù)異常原因猜測(cè)，一般可以獲取一些能夠反映大市場(chǎng)的數(shù)據(jù)來(lái)證明，比如OTA網(wǎng)站DAU在某月降低幅度很大，我們猜測(cè)是因?yàn)槁糜蔚鹃_始，這時(shí)候可以去百度指數(shù)看看“酒店”或“酒店預(yù)訂”搜索熱度的變化，或者查查往年此時(shí)的旅游消費(fèi)數(shù)據(jù)，就可以驗(yàn)證我們的猜測(cè)是否準(zhǔn)確。

而對(duì)于自身產(chǎn)品和競(jìng)對(duì)產(chǎn)品維度的求證，不二法寶就是細(xì)分，下面介紹一些常見的細(xì)分維度及其案例。

• 分步：假設(shè)某產(chǎn)品的轉(zhuǎn)化率數(shù)據(jù)出現(xiàn)降低的情況，而這個(gè)轉(zhuǎn)化率是多步漏斗轉(zhuǎn)化的最終轉(zhuǎn)化，我們可以細(xì)分每一步的轉(zhuǎn)化情況，查清是否因?yàn)槟骋徊匠隽藛?wèn)題。比如微信支付服務(wù)器的故障會(huì)造成下單到支付的轉(zhuǎn)化降低從而造成轉(zhuǎn)化率降低，列表加載速度增加造成列表到詳情轉(zhuǎn)化率降低影響整體轉(zhuǎn)化等等。
• 分平臺(tái)/版本：假設(shè)某產(chǎn)品列表頁(yè)到詳情頁(yè)的轉(zhuǎn)化提升，我們猜測(cè)是iOS新版本中優(yōu)化列表布局方式，我們需要分iOS和Android以及分iOS新版老版對(duì)比這個(gè)轉(zhuǎn)化數(shù)據(jù)來(lái)證明我們的猜測(cè)。
• 分區(qū)域/城市：假設(shè)某年8月31日某OTA的交易額呈現(xiàn)大幅增長(zhǎng)，我們猜測(cè)是因?yàn)榇髮W(xué)生開學(xué)造成酒店需求增加，這時(shí)我們可以選取部分高校較多的城市如北京、武漢、西安等城市的數(shù)據(jù)來(lái)對(duì)比其他城市來(lái)側(cè)面驗(yàn)證我們的猜測(cè)。
• 分時(shí)間：假設(shè)某日某產(chǎn)品轉(zhuǎn)化率數(shù)據(jù)下降，我們猜測(cè)是10:00-11:00支付服務(wù)器故障造成的，那我們只需要分時(shí)間段和上一個(gè)波動(dòng)周期同期的數(shù)據(jù)對(duì)比，如果當(dāng)日這個(gè)時(shí)間段轉(zhuǎn)化率確實(shí)下降很大，就可以證明我們的猜想。
• 分用戶群體：假設(shè)某App新版上線之后新版轉(zhuǎn)化率低于舊版，經(jīng)過(guò)用戶分析發(fā)現(xiàn)新版新用戶比例較大，我們猜測(cè)新用戶轉(zhuǎn)化率會(huì)比老用戶轉(zhuǎn)化率低，這個(gè)時(shí)候我們只需要看一下新老客戶的轉(zhuǎn)化率區(qū)別就能知道我們是否蒙對(duì)了。
• 分場(chǎng)景（本/異地）：假設(shè)某App在某假期內(nèi)轉(zhuǎn)化率降低，已知異地用戶轉(zhuǎn)化率低于本地用戶轉(zhuǎn)化率，猜測(cè)假期轉(zhuǎn)化率降低是因?yàn)楫惖赜脩糨^活躍造成的，這個(gè)時(shí)候，我們只要需要去看看本異地用戶占比的變化就可以驗(yàn)證猜測(cè)了。
• 分Item：假設(shè)某OTA轉(zhuǎn)化率在某段時(shí)間內(nèi)明顯提升，而這個(gè)時(shí)間段恰好是競(jìng)對(duì)較少補(bǔ)貼促銷活動(dòng)的時(shí)間，我們猜測(cè)是競(jìng)對(duì)促銷活動(dòng)終止對(duì)產(chǎn)品轉(zhuǎn)化率造成了正面影響，如果我們查看數(shù)據(jù)證實(shí)那些被競(jìng)對(duì)取消促銷的Item轉(zhuǎn)化率提升明顯，那說(shuō)明我們的猜測(cè)是對(duì)的。

關(guān)于如何做細(xì)分分析，這里沒(méi)有辦法窮舉，可以細(xì)分分析的維度實(shí)在太多了，但是我們需要記住這種分析方式，當(dāng)猜測(cè)是某種原因造成數(shù)據(jù)異常時(shí)，只要找到該原因所代表的細(xì)分對(duì)立面做對(duì)比，就可以證明或證偽我們的猜測(cè)。當(dāng)然，在分析的過(guò)程中，我們需要了解一些基本的統(tǒng)計(jì)學(xué)知識(shí)，這個(gè)將會(huì)在下周的推送中詳細(xì)介紹，敬請(qǐng)期待。

小結(jié)

當(dāng)發(fā)現(xiàn)數(shù)據(jù)異常時(shí)或者接到數(shù)據(jù)異常分析任務(wù)時(shí)，我們可以聯(lián)系產(chǎn)品相關(guān)的信息，在范圍維度（自身、競(jìng)對(duì)、大環(huán)境）和內(nèi)容維度（產(chǎn)品、技術(shù)、用戶、運(yùn)營(yíng)）結(jié)合給出合理的猜測(cè)，然后通過(guò)查看一些大環(huán)境變化數(shù)據(jù)或者細(xì)分的產(chǎn)品數(shù)據(jù)來(lái)驗(yàn)證我們的猜測(cè)。遵照這個(gè)流程，一般能夠找到數(shù)據(jù)異常的深層原因，當(dāng)然，著需要花費(fèi)大量的時(shí)間和足夠的耐心，但它能夠讓我們更深更全面的了解自己負(fù)責(zé)的產(chǎn)品的相關(guān)信息，并為未來(lái)的產(chǎn)品決策提供指導(dǎo)。對(duì)我們自己，這也能加強(qiáng)數(shù)據(jù)敏感度，讓我們能夠發(fā)現(xiàn)更多機(jī)會(huì)和問(wèn)題，形成一個(gè)良性循環(huán)，成為一個(gè)能玩轉(zhuǎn)數(shù)據(jù)的產(chǎn)品經(jīng)理。