大數(shù)據(jù)分析VS直覺，聽誰的？

編者按：史蒂芬?希利昂（Steven Hillion）是Alpine Data Labs聯(lián)合創(chuàng)始人，負(fù)責(zé)領(lǐng)導(dǎo)開發(fā)面向企業(yè)的高級(jí)分析平臺(tái)。在加入Alpine Data Labs之前，他曾在西貝爾（Siebel）、Greenplum等公司管理過數(shù)據(jù)科學(xué)家和工程師團(tuán)隊(duì)。

發(fā)面向企業(yè)的高級(jí)分析平臺(tái)。在加入Alpine Data Labs之前，他曾在西貝爾（Siebel）、Greenplum等公司管理過數(shù)據(jù)科學(xué)家和工程師團(tuán)隊(duì)。

數(shù)據(jù)正變得空前多元，轉(zhuǎn)移空前快速?，F(xiàn)在，有效的數(shù)據(jù)分析需要非常先進(jìn)的軟件和機(jī)器。隨著大數(shù)據(jù)分析興起，傳統(tǒng)的直覺判斷有何用場(chǎng)呢？要是數(shù)據(jù)告訴業(yè)務(wù)經(jīng)理“往東走”而她的直覺則說“往西走”，怎么辦呢？

這番話出自我口中可能感覺有些讓人意外——畢竟我本身是一位數(shù)據(jù)和科學(xué)研究者，不過我堅(jiān)信，要實(shí)現(xiàn)真正的價(jià)值，必須要讓基于數(shù)據(jù)和商業(yè)知識(shí)的直覺引導(dǎo)數(shù)據(jù)分析工作。

有人會(huì)說，你只需要將足夠多的數(shù)學(xué)分析和機(jī)器性能應(yīng)用到數(shù)據(jù)庫(kù)，就能得到最好的模型。但是，以為光憑數(shù)據(jù)挖掘就能夠產(chǎn)生取得業(yè)務(wù)進(jìn)展所需的答案是愚蠢的。在數(shù)據(jù)科學(xué)中，直覺和數(shù)據(jù)分析相輔相成，相互啟發(fā)。

    首先，直覺引導(dǎo)分析。洞見鮮少能夠憑空出現(xiàn)。它們是應(yīng)用數(shù)值方法測(cè)試源自直覺和觀察的假設(shè)和想法的結(jié)果。直覺還能夠引導(dǎo)研究人員用于測(cè)試這些假想的方法。哪些數(shù)據(jù)相關(guān)呢？哪些變量和轉(zhuǎn)變是合理的呢？原因與結(jié)果很可能是什么關(guān)系呢？哪些模型合適呢？

    另外，分析啟發(fā)直覺。非監(jiān)督式的建模技術(shù)能夠識(shí)別數(shù)據(jù)中的關(guān)系和模式，而這些關(guān)系和模式通過表面的觀察或者小數(shù)據(jù)樣本是看不出來的。簡(jiǎn)單來說，分析能夠帶來表面觀察無法得出的探索途徑啟示，甚至可能是反直覺的。

如果沒有同時(shí)讓數(shù)據(jù)團(tuán)隊(duì)和業(yè)務(wù)團(tuán)隊(duì)的聰明領(lǐng)導(dǎo)者引導(dǎo)數(shù)據(jù)分析過程，根據(jù)工作經(jīng)驗(yàn)和專業(yè)知識(shí)對(duì)直覺進(jìn)行平衡，就會(huì)出現(xiàn)問題。

下面就來舉幾個(gè)例子。

有一消費(fèi)金融團(tuán)隊(duì)曾想讓我們做一個(gè)客戶流失模型，幫助銀行預(yù)測(cè)哪些客戶最有可能注銷賬戶。從那些數(shù)據(jù)看不出什么東西來。在存款、貸款和信用卡數(shù)據(jù)中，我們并沒有發(fā)現(xiàn)明顯的觸發(fā)客戶銷戶的因素。在創(chuàng)建新賬戶后，消費(fèi)者的支出和付費(fèi)習(xí)慣基本上沒什么差別。

然而，在銀行家對(duì)那些數(shù)據(jù)進(jìn)行更加仔細(xì)的研究，審閱團(tuán)隊(duì)制作的客戶細(xì)分資料后，有一位分析師借助她的直覺突然注意到了一個(gè)有價(jià)值的新洞見。她認(rèn)識(shí) 到，特定的客戶群顯現(xiàn)出不尋常的高價(jià)值貸款、長(zhǎng)期客戶價(jià)值和數(shù)個(gè)其它的不尋常因素，他們很可能屬于小企業(yè)老板。查證那些個(gè)人賬戶后，該團(tuán)隊(duì)發(fā)現(xiàn)她的猜測(cè)的 確沒錯(cuò)。

她猜那些開普通賬戶的企業(yè)老板并不知道可能還有比信用卡或者普通貸款賬戶更好的融資方式。于是，該銀行團(tuán)隊(duì)的項(xiàng)目目標(biāo)改為鑒定這些高價(jià)值客戶，向他 們提供更加合適的產(chǎn)品。該團(tuán)隊(duì)后來更進(jìn)一步，要求獲取數(shù)據(jù)來根據(jù)歷史用戶行為向其它的客戶群推薦合適的產(chǎn)品。那些數(shù)據(jù)促使他們開始向客戶提供量身定做的產(chǎn) 品，從而提高客戶的終身價(jià)值。

    單靠數(shù)據(jù)就得到那種重要的洞見是沒什么可能的。這種結(jié)合數(shù)據(jù)分析的商業(yè)洞見可以說是無價(jià)的。

直覺在數(shù)據(jù)分析中非常重要，但很奇怪，業(yè)務(wù)團(tuán)隊(duì)往往會(huì)被排除在數(shù)據(jù)分析過程之外。相反，數(shù)據(jù)研究人員應(yīng)當(dāng)一開始就邀請(qǐng)商業(yè)分析員參與該過程，相互協(xié)作。我已經(jīng)改變了運(yùn)作流程，讓整個(gè)團(tuán)隊(duì)參與初期的模型評(píng)估，甚至讓他們參與更早的原始數(shù)據(jù)審查流程。

在另外一個(gè)案例中，我們的一位大啤酒公司客戶想要預(yù)測(cè)其在日本市場(chǎng)的未來銷量。我們建立了一個(gè)模型來研究未來一年銷量面對(duì)不同的市場(chǎng)和定價(jià)壓力會(huì)出 現(xiàn)怎樣的反響。該客戶告訴我們，他們認(rèn)為其啤酒銷量受經(jīng)濟(jì)直接影響。他們覺得，如果日本經(jīng)濟(jì)緩慢復(fù)蘇，人們的軟飲料消費(fèi)就會(huì)增加。

他們讓我們?cè)谖覀兊哪Ｐ椭幸匀战?jīng)指數(shù)作為一種趨勢(shì)變量。該指數(shù)一開始提高了模型的準(zhǔn)確性——或者說表面上是這樣。但在接下來的一年里，該模型開始作出一些離譜的預(yù)測(cè)。日本經(jīng)濟(jì)開始反彈，但現(xiàn)在日經(jīng)指數(shù)已經(jīng)不在訓(xùn)練數(shù)據(jù)范圍內(nèi)，原來的那個(gè)模型可能“過度合適了”。

經(jīng)驗(yàn)更加豐富的建模師多半不會(huì)引入那種變量。有時(shí)候直覺更為靠譜，但在該案例中，數(shù)據(jù)科學(xué)專家建議要謹(jǐn)慎，并認(rèn)識(shí)到建模過程的限制和陷阱。我們對(duì)模型實(shí)施了改變來抑制股市指數(shù)的影響，之后我們的模型在指引制定新宣傳計(jì)劃和預(yù)測(cè)營(yíng)銷效果上都表現(xiàn)得很好。

數(shù)據(jù)科學(xué)家和業(yè)務(wù)人員之間往往會(huì)出現(xiàn)矛盾——特別是數(shù)據(jù)似乎與直覺背道而馳，新發(fā)展計(jì)劃的效果似乎微不足道的時(shí)候。營(yíng)銷人員會(huì)質(zhì)問“那個(gè)數(shù)據(jù)從何而來？”，數(shù)據(jù)科學(xué)家則做好隨時(shí)反擊的準(zhǔn)備，這種情況很常見。

但我認(rèn)為這種智斗是好事。數(shù)學(xué)與科學(xué)應(yīng)該能夠經(jīng)受住質(zhì)問。有的時(shí)候，數(shù)據(jù)能夠證明直覺是錯(cuò)誤的。也有的時(shí)候，那些基于豐富經(jīng)驗(yàn)的第六感能夠找到數(shù)據(jù)分析過程的缺陷。理想情況下，大家都能從中受益。