揭秘數(shù)據(jù)分析中那些難以解釋的數(shù)據(jù)異常

數(shù)據(jù)分析是指用適當?shù)慕y(tǒng)計方法對收集來的大量第一手資料和第二手資料進行分析，以求最大化地開發(fā)數(shù)據(jù)資料的功能，發(fā)揮數(shù)據(jù)的作用。是為了提取有用信息和形成結(jié)論而對數(shù)據(jù)加以詳細研究和概括總結(jié)的過程。數(shù)據(jù)也稱觀測值，是實驗、測量、觀察、調(diào)查等的結(jié)果，常以數(shù)量的形式給出。

在分析數(shù)據(jù)的時候，總有那些一些數(shù)據(jù)異常無法找到適當?shù)睦碛蛇M行合理解釋，也許可以換個角度來看待這些異常。為什么明明數(shù)據(jù)發(fā)生較大的起伏波動，我們絞盡腦汁還是無法找到合理的原因，這些到底是怎么樣的異常，是不是存在一些共性，或者這些異常是不是我們平常所說的異常，抑或是應該歸到其他類別，不妨先叫 它們“難以解釋的異常”。

近段時間在讀《思考，快與慢》這本書，作者卡尼曼的觀點似乎可以給我們一些答案?？崧切睦韺W和決策學方面的大師，他告訴我們?nèi)绾伪荛_大腦思考的誤區(qū)，從而更加理性地進行認知和決策。這里引述書中提及的與上面“難以解釋的異?！边@個問題相關(guān)的兩個觀點：

· 回歸均值效應：事物會經(jīng)歷好壞的隨機波動，但最終會回歸到平均水平。
· 用因果關(guān)系解釋隨機事件：人們總是試圖為一些變化尋找可以解釋的原因。

迪馬特奧和貝尼特斯

對于回歸均值效應（Mean reversion），卡尼曼舉了一些與體育相關(guān)的例子，確實這個現(xiàn)象在體育競技中較為常見：高爾夫球手為什么第二天無法打出前一天的好成績，球員為什么第二個賽季無法復制前一個賽季的輝煌……這讓我聯(lián)想到了近期切爾西的換帥事件。

其實迪馬特奧和貝尼特斯之間存在一些有趣的共同點：1) 都是歐冠的冠軍教頭，2) 能力都沒有被完全認可。如果說迪馬特奧是沒有足夠的時間來證明自己的執(zhí)教能力情有可原的話，那么貝尼特斯顯然是自己的選擇造成了外界對其能力的質(zhì)疑。

迪馬特奧在上賽季中后段從助理教練接手切爾西，并以看守主教練的身份一路過關(guān)斬將，最終奪取歐冠冠軍，成功帶回球隊歷史上第一座大耳朵杯足夠讓其能在賽 季末被扶正，但因為缺乏執(zhí)教經(jīng)驗始終無法讓挑剔的老板對其有足夠的信任，于是當球迷和俱樂部還沉浸在上賽季歐冠的榮耀光環(huán)下，而球隊的表現(xiàn)卻無法延續(xù)“應 有”的輝煌時，迪馬特奧下課的命運是注定的。在競爭如此激烈的英超聯(lián)賽，切爾西無法擺脫回歸效應，如果說上個賽季切爾西在諸多有利因素的共同作用，再加上 一些運氣成分的基礎(chǔ)上成功加冕歐冠的話，那么這個賽季這些有利因素不再集中地作用于他們，而他們的運氣也似乎“用完了”，成績回歸之前的平均水平實屬正常 現(xiàn)象，而在昔日光環(huán)下的球迷和俱樂部顯然認為這是“異常事件”，于是迪馬特奧成為了回歸效應的受害者。

其實這類事件在足球界屢見不鮮，世界杯的98法國，02五星巴西，06意大利都難逃回歸效應，奪冠之后成績下滑，而很多教練也在奪冠之后紛紛辭 職，因為他們也明白再續(xù)輝煌（擺脫回歸效應）是如此之難，斯科拉里、里皮等都做出了明智的選擇，而這些冠軍球隊的替任教練又往往是命運最為坎坷的，畢竟能 像博斯克這樣讓西班牙不斷延續(xù)輝煌的教練真的不多，而貝尼特斯恰恰當了回悲催的替任者。

2010年貝尼特斯接替穆里尼奧成為三冠王國際米蘭的主教練，三冠王的光環(huán)太過耀眼，而陣容老化加引援不利，注定讓國米走上回歸效應的道路，于 是賽季不到半程，貝帥即被解雇。其實貝尼特斯之前執(zhí)教生涯的戰(zhàn)績并不是太差，成名于瘋狂的“伊斯坦布爾之夜”，但也正是因為這傳奇一戰(zhàn)成了一座無法逾越的 豐碑，即使之后幫助利物浦奪得諸多賽事的冠亞軍，也無法讓俱樂部和球迷真正的滿意，而貝帥的決策失誤在于其沒有在任何一個輝煌或幾近輝煌（07年雖然被米 蘭復仇雅典，但至少也是個歐冠亞軍）的時刻選擇退出，直到最后利物浦戰(zhàn)績實在看不下去了才以失敗者的身份離開。貝帥真的應該向老辣的銀狐里皮或者狡猾的穆 里尼奧學習下什么叫做功成身退。

而這次，貝帥又一次選擇了歐冠冠軍光環(huán)下的切爾西，盡管這個光環(huán)已漸漸褪去，我們也只能祝他好運了。

倒塌的橋梁與突然安靜的教室

共振（Resonance）催 生了宇宙大爆炸，形成了星辰日月和世間萬物，共振現(xiàn)象是自然界最普遍的現(xiàn)象之一。一群士兵騎馬通過法國昂熱市的某座橋時，共振現(xiàn)象導致了橋梁的倒塌，這個 例子被引入初中物理教科書，從而成為了我們認識共振原理的啟蒙記憶。但是什么原因引發(fā)了共振，進而發(fā)生橋梁倒塌這類異常事件，正常情況下同樣一群士兵同樣 行軍通過同樣的橋，可能幾萬次中才會出現(xiàn)一次橋梁倒塌，士兵是普通的士兵，橋是正常的橋，產(chǎn)生共振完全是一個隨機事件，但正是因為這類事件概率太小，所以 人們總是試圖從士兵或者橋的身上找原因（但是有時候確實是因為橋存在問題 ;- ) ）。

然后是一個在知乎上看到的問題：為什么原來大家都在討論，聲音嘈雜的教室會突然安靜下來？這個也許大家都遇到過，也是一個類似的小概率事件，教 室里每個人都在斷斷續(xù)續(xù)地說話，正常情況下聲音的大小總是保持在一個水平波動，但可能突然有一個時刻同時說話的人數(shù)減少了，聲音也隨機地波動到了一個最低 點，這個時候大家就會認為是不是發(fā)生了什么事情，老師來了？于是紛紛不說話，教室突然鴉雀無聲，一片寂靜。大家都感覺到了教室聲音的“異?！保噲D為這 個異常尋找可能的原因。

什么造成了這些“異?！?/span>

首先來看回歸均值效應，一般表現(xiàn)為事物在某段時間表現(xiàn)得非常好，之后回歸到正常水平的一個過程。這個按理來說是一個正常的過程，因為事物在諸多 因素的共同影響下總有一些隨機的波動，關(guān)鍵在于人們總是希望好的狀態(tài)能夠延續(xù)，而當事物從一個極好的狀態(tài)出現(xiàn)下滑時，因為落差較大，所以很容易把回歸均值 之后的狀態(tài)當做一種“異常”。如下圖：

A段的曲線即使有上下波動，但一般不會被認為有異常，但C段曲線很容易被誤認為是異常，因為我們很容易將C段與B段進行比較，而不是A段的均值 水平（綠線所示，C段與A段均值差異并不大）。因為這里給出了完整的曲線變化趨勢，所以犯這種錯誤的可能性會降低，但當我們比較短時間內(nèi)的數(shù)據(jù)變化，或者 簡單看數(shù)據(jù)同環(huán)比的時候，就很容易誤把回歸均值當做一種異常。所以分析數(shù)據(jù)要結(jié)合長期趨勢，當事物狀態(tài)未發(fā)生質(zhì)變而數(shù)據(jù)明顯上升一個臺階的情況下，不要認 為好的數(shù)據(jù)表現(xiàn)總能夠持續(xù)，因為好的數(shù)據(jù)表現(xiàn)也只是一個正常的隨機波動引起的。

解釋了回歸均值效應，還需要搞清楚的是雖然事物大部分時間都有小幅的隨機波動，但偶然也會出現(xiàn)較大的波動，即極好或者極差的狀態(tài)，正如上圖的B段狀態(tài)，我們?nèi)绾握J定這個狀態(tài)也是隨機的，而不是異常呢，不能因為難以解釋而不把過大的數(shù)據(jù)波動當做一種異常來看？

這個問題還是可以從物理學的角度開始解釋，先看下波的疊加原理（Superposition Principle）：

左圖的下面2個波在疊加之后合成了更大的振幅，而右圖的下面2個波相互干涉，合成后振幅消減為零。引申到數(shù)據(jù)變化的情境下，一般一個指標會受到 多個因素的影響，比如網(wǎng)站的訪問量會受多個渠道數(shù)據(jù)波動的影響，搜索引擎、外部鏈接、社交媒介、付費廣告等這些外部渠道帶來的流量總是在變化的，如下圖：

當某個渠道的流量異常的時候，如A線所示，或者由于外界因素的影響，如春節(jié)或節(jié)假日所有渠道的流量都可能普遍下降，如B線所示，這些都可能導致 總體訪問量的異常，這些異常是可以解釋的。C線中每個渠道的數(shù)據(jù)都未出現(xiàn)明顯異常，但由于多個渠道的流量因為隨機波動碰巧同時都到了一個較低的點，這個時 候總體訪問量也會出現(xiàn)明顯低于正常水平的情況，于是就出現(xiàn)了“難以解釋的異?！?。

數(shù)據(jù)在某些因素的同時作用下可能會出現(xiàn)異常，雖然這個概率很低，但是確實又發(fā)生，這是多個因素疊加效應導致的，如果通過細分指標的影響因素沒有發(fā)現(xiàn)明顯的異常，那么不要試圖為這個“難以解釋的異常”尋找看上去可以解釋的原因。cda數(shù)據(jù)分析培訓