大數(shù)據(jù)分析興起：“往左走”還是“往右走”

在大數(shù)據(jù)時代下，數(shù)據(jù)正變得空前多元，轉(zhuǎn)移空前快速?，F(xiàn)在，有效的數(shù)據(jù)分析需要非常先進(jìn)的軟件和機(jī)器。隨著大數(shù)據(jù)分析興起，傳統(tǒng)的直覺判斷有何用場呢?要是數(shù)據(jù)告訴業(yè)務(wù)經(jīng)理“往東走”而她的直覺則說“往西走”，怎么辦呢?

這番話出自我口中可能感覺有些讓人意外——畢竟我本身是一位數(shù)據(jù)和科學(xué)研究者，不過我堅(jiān)信，要實(shí)現(xiàn)真正的價值，必須要讓基于數(shù)據(jù)和商業(yè)知識的直覺引導(dǎo)數(shù)據(jù)分析工作。

有人會說，你只需要將足夠多的數(shù)學(xué)分析和機(jī)器性能應(yīng)用到數(shù)據(jù)庫，就能得到最好的模型。但是，以為光憑數(shù)據(jù)挖掘就能夠產(chǎn)生取得業(yè)務(wù)進(jìn)展所需的答案是愚蠢的。在數(shù)據(jù)科學(xué)中，直覺和數(shù)據(jù)分析相輔相成，相互啟發(fā)。

首先，直覺引導(dǎo)分析。洞見鮮少能夠憑空出現(xiàn)。它們是應(yīng)用數(shù)值方法測試源自直覺和觀察的假設(shè)和想法的結(jié)果。直覺還能夠引導(dǎo)研究人員用于測試這些假想的方法。哪些數(shù)據(jù)相關(guān)呢?哪些變量和轉(zhuǎn)變是合理的呢?原因與結(jié)果很可能是什么關(guān)系呢?哪些模型合適呢?

另外，分析啟發(fā)直覺。非監(jiān)督式的建模技術(shù)能夠識別數(shù)據(jù)中的關(guān)系和模式，而這些關(guān)系和模式通過表面的觀察或者小數(shù)據(jù)樣本是看不出來的。簡單來說，分析能夠帶來表面觀察無法得出的探索途徑啟示，甚至可能是反直覺的。

如果沒有同時讓數(shù)據(jù)團(tuán)隊(duì)和業(yè)務(wù)團(tuán)隊(duì)的聰明領(lǐng)導(dǎo)者引導(dǎo)數(shù)據(jù)分析過程，根據(jù)工作經(jīng)驗(yàn)和專業(yè)知識對直覺進(jìn)行平衡，就會出現(xiàn)問題。

下面就來舉幾個例子。

有一消費(fèi)金融團(tuán)隊(duì)曾想讓我們做一個客戶流失模型，幫助銀行預(yù)測哪些客戶最有可能注銷賬戶。從那些數(shù)據(jù)看不出什么東西來。在存款、貸款和信用卡數(shù)據(jù)中，我們并沒有發(fā)現(xiàn)明顯的觸發(fā)客戶銷戶的因素。在創(chuàng)建新賬戶后，消費(fèi)者的支出和付費(fèi)習(xí)慣基本上沒什么差別。

然而，在銀行家對那些數(shù)據(jù)進(jìn)行更加仔細(xì)的研究，審閱團(tuán)隊(duì)制作的客戶細(xì)分資料后，有一位分析師借助她的直覺突然注意到了一個有價值的新洞見。她認(rèn)識到，特定的客戶群顯現(xiàn)出不尋常的高價值貸款、長期客戶價值和數(shù)個其它的不尋常因素，他們很可能屬于小企業(yè)老板。查證那些個人賬戶后，該團(tuán)隊(duì)發(fā)現(xiàn)她的猜測的確沒錯。

她猜那些開普通賬戶的企業(yè)老板并不知道可能還有比信用卡或者普通貸款賬戶更好的融資方式。于是，該銀行團(tuán)隊(duì)的項(xiàng)目目標(biāo)改為鑒定這些高價值客戶，向他們提供更加合適的產(chǎn)品。該團(tuán)隊(duì)后來更進(jìn)一步，要求獲取數(shù)據(jù)來根據(jù)歷史用戶行為向其它的客戶群推薦合適的產(chǎn)品。那些數(shù)據(jù)促使他們開始向客戶提供量身定做的產(chǎn)品，從而提高客戶的終身價值。

單靠數(shù)據(jù)就得到那種重要的洞見是沒什么可能的。這種結(jié)合數(shù)據(jù)分析的商業(yè)洞見可以說是無價的。

直覺在數(shù)據(jù)分析中非常重要，但很奇怪，業(yè)務(wù)團(tuán)隊(duì)往往會被排除在數(shù)據(jù)分析過程之外。相反，數(shù)據(jù)研究人員應(yīng)當(dāng)一開始就邀請商業(yè)分析員參與該過程，相互協(xié)作。我已經(jīng)改變了運(yùn)作流程，讓整個團(tuán)隊(duì)參與初期的模型評估，甚至讓他們參與更早的原始數(shù)據(jù)審查流程。

在另外一個案例中，我們的一位大啤酒公司客戶想要預(yù)測其在日本市場的未來銷量。我們建立了一個模型來研究未來一年銷量面對不同的市場和定價壓力會出現(xiàn)怎樣的反響。該客戶告訴我們，他們認(rèn)為其啤酒銷量受經(jīng)濟(jì)直接影響。他們覺得，如果日本經(jīng)濟(jì)緩慢復(fù)蘇，人們的軟飲料消費(fèi)就會增加。

他們讓我們在我們的模型中以日經(jīng)指數(shù)作為一種趨勢變量。該指數(shù)一開始提高了模型的準(zhǔn)確性——或者說表面上是這樣。但在接下來的一年里，該模型開始作出一些離譜的預(yù)測。日本經(jīng)濟(jì)開始反彈，但現(xiàn)在日經(jīng)指數(shù)已經(jīng)不在訓(xùn)練數(shù)據(jù)范圍內(nèi)，原來的那個模型可能“過度合適了”。

經(jīng)驗(yàn)更加豐富的建模師多半不會引入那種變量。有時候直覺更為靠譜，但在該案例中，數(shù)據(jù)科學(xué)專家建議要謹(jǐn)慎，并認(rèn)識到建模過程的限制和陷阱。我們對模型實(shí)施了改變來抑制股市指數(shù)的影響，之后我們的模型在指引制定新宣傳計(jì)劃和預(yù)測營銷效果上都表現(xiàn)得很好。

數(shù)據(jù)科學(xué)家和業(yè)務(wù)人員之間往往會出現(xiàn)矛盾——特別是數(shù)據(jù)似乎與直覺背道而馳，新發(fā)展計(jì)劃的效果似乎微不足道的時候。營銷人員會質(zhì)問“那個數(shù)據(jù)從何而來?”，數(shù)據(jù)科學(xué)家則做好隨時反擊的準(zhǔn)備，這種情況很常見。

客觀來說，這種智斗是好事。數(shù)學(xué)與科學(xué)應(yīng)該能夠經(jīng)受住質(zhì)問。有的時候，數(shù)據(jù)能夠證明直覺是錯誤的。也有的時候，那些基于豐富經(jīng)驗(yàn)的第六感能夠找到數(shù)據(jù)分析過程的缺陷。理想情況下，大家都能從中受益，在大數(shù)據(jù)分析的應(yīng)用，就是在不斷碰撞中前進(jìn)的。