大數(shù)據(jù)分析興起：“往左走”還是“往右走”

在大數(shù)據(jù)時代下，數(shù)據(jù)正變得空前多元，轉(zhuǎn)移空前快速。現(xiàn)在，有效的數(shù)據(jù)分析需要非常先進的軟件和機器。隨著大數(shù)據(jù)分析興起，傳統(tǒng)的直覺判斷有何用場呢?要是數(shù)據(jù)告訴業(yè)務(wù)經(jīng)理“往東走”而她的直覺則說“往西走”，怎么辦呢?

這番話出自我口中可能感覺有些讓人意外——畢竟我本身是一位數(shù)據(jù)和科學研究者，不過我堅信，要實現(xiàn)真正的價值，必須要讓基于數(shù)據(jù)和商業(yè)知識的直覺引導數(shù)據(jù)分析工作。

有人會說，你只需要將足夠多的數(shù)學分析和機器性能應(yīng)用到數(shù)據(jù)庫，就能得到最好的模型。但是，以為光憑數(shù)據(jù)挖掘就能夠產(chǎn)生取得業(yè)務(wù)進展所需的答案是愚蠢的。在數(shù)據(jù)科學中，直覺和數(shù)據(jù)分析相輔相成，相互啟發(fā)。

首先，直覺引導分析。洞見鮮少能夠憑空出現(xiàn)。它們是應(yīng)用數(shù)值方法測試源自直覺和觀察的假設(shè)和想法的結(jié)果。直覺還能夠引導研究人員用于測試這些假想的方法。哪些數(shù)據(jù)相關(guān)呢?哪些變量和轉(zhuǎn)變是合理的呢?原因與結(jié)果很可能是什么關(guān)系呢?哪些模型合適呢?

另外，分析啟發(fā)直覺。非監(jiān)督式的建模技術(shù)能夠識別數(shù)據(jù)中的關(guān)系和模式，而這些關(guān)系和模式通過表面的觀察或者小數(shù)據(jù)樣本是看不出來的。簡單來說，分析能夠帶來表面觀察無法得出的探索途徑啟示，甚至可能是反直覺的。

如果沒有同時讓數(shù)據(jù)團隊和業(yè)務(wù)團隊的聰明領(lǐng)導者引導數(shù)據(jù)分析過程，根據(jù)工作經(jīng)驗和專業(yè)知識對直覺進行平衡，就會出現(xiàn)問題。

下面就來舉幾個例子。

有一消費金融團隊曾想讓我們做一個客戶流失模型，幫助銀行預測哪些客戶最有可能注銷賬戶。從那些數(shù)據(jù)看不出什么東西來。在存款、貸款和信用卡數(shù)據(jù)中，我們并沒有發(fā)現(xiàn)明顯的觸發(fā)客戶銷戶的因素。在創(chuàng)建新賬戶后，消費者的支出和付費習慣基本上沒什么差別。

然而，在銀行家對那些數(shù)據(jù)進行更加仔細的研究，審閱團隊制作的客戶細分資料后，有一位分析師借助她的直覺突然注意到了一個有價值的新洞見。她認識到，特定的客戶群顯現(xiàn)出不尋常的高價值貸款、長期客戶價值和數(shù)個其它的不尋常因素，他們很可能屬于小企業(yè)老板。查證那些個人賬戶后，該團隊發(fā)現(xiàn)她的猜測的確沒錯。

她猜那些開普通賬戶的企業(yè)老板并不知道可能還有比信用卡或者普通貸款賬戶更好的融資方式。于是，該銀行團隊的項目目標改為鑒定這些高價值客戶，向他們提供更加合適的產(chǎn)品。該團隊后來更進一步，要求獲取數(shù)據(jù)來根據(jù)歷史用戶行為向其它的客戶群推薦合適的產(chǎn)品。那些數(shù)據(jù)促使他們開始向客戶提供量身定做的產(chǎn)品，從而提高客戶的終身價值。

單靠數(shù)據(jù)就得到那種重要的洞見是沒什么可能的。這種結(jié)合數(shù)據(jù)分析的商業(yè)洞見可以說是無價的。

直覺在數(shù)據(jù)分析中非常重要，但很奇怪，業(yè)務(wù)團隊往往會被排除在數(shù)據(jù)分析過程之外。相反，數(shù)據(jù)研究人員應(yīng)當一開始就邀請商業(yè)分析員參與該過程，相互協(xié)作。我已經(jīng)改變了運作流程，讓整個團隊參與初期的模型評估，甚至讓他們參與更早的原始數(shù)據(jù)審查流程。

在另外一個案例中，我們的一位大啤酒公司客戶想要預測其在日本市場的未來銷量。我們建立了一個模型來研究未來一年銷量面對不同的市場和定價壓力會出現(xiàn)怎樣的反響。該客戶告訴我們，他們認為其啤酒銷量受經(jīng)濟直接影響。他們覺得，如果日本經(jīng)濟緩慢復蘇，人們的軟飲料消費就會增加。

他們讓我們在我們的模型中以日經(jīng)指數(shù)作為一種趨勢變量。該指數(shù)一開始提高了模型的準確性——或者說表面上是這樣。但在接下來的一年里，該模型開始作出一些離譜的預測。日本經(jīng)濟開始反彈，但現(xiàn)在日經(jīng)指數(shù)已經(jīng)不在訓練數(shù)據(jù)范圍內(nèi)，原來的那個模型可能“過度合適了”。

經(jīng)驗更加豐富的建模師多半不會引入那種變量。有時候直覺更為靠譜，但在該案例中，數(shù)據(jù)科學專家建議要謹慎，并認識到建模過程的限制和陷阱。我們對模型實施了改變來抑制股市指數(shù)的影響，之后我們的模型在指引制定新宣傳計劃和預測營銷效果上都表現(xiàn)得很好。

數(shù)據(jù)科學家和業(yè)務(wù)人員之間往往會出現(xiàn)矛盾——特別是數(shù)據(jù)似乎與直覺背道而馳，新發(fā)展計劃的效果似乎微不足道的時候。營銷人員會質(zhì)問“那個數(shù)據(jù)從何而來?”，數(shù)據(jù)科學家則做好隨時反擊的準備，這種情況很常見。

客觀來說，這種智斗是好事。數(shù)學與科學應(yīng)該能夠經(jīng)受住質(zhì)問。有的時候，數(shù)據(jù)能夠證明直覺是錯誤的。也有的時候，那些基于豐富經(jīng)驗的第六感能夠找到數(shù)據(jù)分析過程的缺陷。理想情況下，大家都能從中受益，在大數(shù)據(jù)分析的應(yīng)用，就是在不斷碰撞中前進的。