從實(shí)戰(zhàn)角度解讀數(shù)據(jù)科學(xué)

在過去幾年里，數(shù)據(jù)科學(xué)已經(jīng)被各行各業(yè)廣泛接納。數(shù)據(jù)科學(xué)起初在更大程度上來說是一個(gè)研究課題，源于科學(xué)家們?yōu)榱死斫馊祟愔悄?、打造人工智能而做出的努力。后來，事?shí)證明它能帶來真正的商業(yè)價(jià)值。

舉個(gè)例子。Zalando公司是歐洲最大的時(shí)裝零售商之一，就在大量地利用數(shù)據(jù)科學(xué)來提供數(shù)據(jù)驅(qū)動(dòng)的推薦和其他功能。在很多地方，包括產(chǎn)品頁(yè)面、目錄頁(yè)面、廣告郵件和重定向頁(yè)面上，都會(huì)為用戶提供“推薦”這樣的后端服務(wù)。

生成推薦

有很多種方法可以生成數(shù)據(jù)驅(qū)動(dòng)的推薦。協(xié)同過濾程序會(huì)收集整個(gè)用戶群在產(chǎn)品瀏覽、愿望清單和購(gòu)買等方面的用戶行為，然后處理這些信息，確定哪些商品擁有類似的用戶模式。這種方法的優(yōu)點(diǎn)在于計(jì)算機(jī)不必了解商品本身的任何信息，缺點(diǎn)是必須要有龐大的流量，不然無法獲得關(guān)于商品的充足信息。另一種方法只著眼于商品的各種屬性，比如推薦同一品牌或者顏色相近的其他商品。當(dāng)然，有很多途徑可以延伸使用這些方法或者把它們綜合運(yùn)用起來。

還有更簡(jiǎn)單的一些方法，基本只通過計(jì)數(shù)來生成推薦，但在實(shí)際操作上，這類方法的復(fù)雜度幾乎沒有上限。例如，就個(gè)性化推薦而言，我們一直在研究對(duì)從各種角度對(duì)商品進(jìn)行排序的機(jī)器學(xué)習(xí)排名方法。上圖顯示的是用于優(yōu)化這一方法的成本函數(shù)，主要是為了說明數(shù)據(jù)科學(xué)有時(shí)具有的復(fù)雜程度。該函數(shù)采用包含正則項(xiàng)的對(duì)偶加權(quán)排名指標(biāo)。雖然在數(shù)學(xué)上非常精確，但也非常抽象。這種方法不僅能用于電子商務(wù)領(lǐng)域的推薦，還能用于解決各種各樣的排名問題，前提是排名對(duì)象具備適合的特征。

把數(shù)學(xué)方法引入產(chǎn)業(yè)界

那么，如何將上面提到的這類非常正規(guī)的數(shù)學(xué)方法引入產(chǎn)品開發(fā)？數(shù)據(jù)科學(xué)和工程之間又是怎樣對(duì)接的？哪種組織和團(tuán)隊(duì)架構(gòu)最適合采用這種方法？這些是非常重要且合理的問題，因?yàn)樗鼈儧Q定了對(duì)一名數(shù)據(jù)科學(xué)家或者一整支數(shù)據(jù)科學(xué)家團(tuán)隊(duì)的投資到最后是否真能取得回報(bào)。

在后文中，我將根據(jù)我個(gè)人從事機(jī)器學(xué)習(xí)研究工作和在Zalando公司領(lǐng)導(dǎo)數(shù)支數(shù)據(jù)科學(xué)家和工程師團(tuán)隊(duì)的實(shí)戰(zhàn)經(jīng)驗(yàn)，對(duì)這些問題進(jìn)行探討。

了解數(shù)據(jù)科學(xué)和軟件開發(fā)的區(qū)別

讓我們先著眼于數(shù)據(jù)科學(xué)系統(tǒng)和后端開發(fā)系統(tǒng)，看看如何才能把這兩個(gè)系統(tǒng)結(jié)合起來。

典型的數(shù)據(jù)科學(xué)工作流程如下：第一步永遠(yuǎn)是找出問題，然后收集相關(guān)數(shù)據(jù)，可能來自于數(shù)據(jù)庫(kù)或者開發(fā)記錄。視你所在機(jī)構(gòu)的數(shù)據(jù)可用性而定，這可能就已經(jīng)非常困難了，你必須先弄清楚誰能讓你有權(quán)訪問那些數(shù)據(jù)，然后弄清楚誰能確保你順利拿到那些數(shù)據(jù)。得到數(shù)據(jù)后，接著對(duì)其進(jìn)行預(yù)處理，提取數(shù)據(jù)特征，以期獲取有用信息，幫助解決問題。將這些特征輸入機(jī)器學(xué)習(xí)算法，再將得出的模型用測(cè)試數(shù)據(jù)進(jìn)行評(píng)估，以預(yù)測(cè)模型用于未來數(shù)據(jù)的效果。

這一管道通常會(huì)一次性建設(shè)完畢，往往由數(shù)據(jù)科學(xué)家使用Python等編程語言，手動(dòng)完成各個(gè)步驟。Python有很多的數(shù)據(jù)分析庫(kù)和數(shù)據(jù)可視化庫(kù)。根據(jù)數(shù)據(jù)量的大小，也可能使用Spark或Hadoop這樣的分布式計(jì)算系統(tǒng)，但數(shù)據(jù)科學(xué)家往往先從數(shù)據(jù)的一個(gè)子集著手。

為什么先從小處著手？

從小處著手的主要原因在于，這個(gè)過程不是只進(jìn)行一次，而是會(huì)迭代很多次。從本質(zhì)上來說，數(shù)據(jù)科學(xué)項(xiàng)目本身是探究性的，所得結(jié)果在某種程度上是開放性的。目標(biāo)可能很明確，但在剛開始的時(shí)候，常常不知道哪些數(shù)據(jù)可用，或者可用數(shù)據(jù)是否適合。畢竟，選擇采用機(jī)器學(xué)習(xí)這種方法，已經(jīng)意味著你不能妄想只靠編寫一套程序就能解決問題。你必須采用一種數(shù)據(jù)驅(qū)動(dòng)的方法。

這意味著該管道將會(huì)迭代和改進(jìn)很多次，嘗試不同的數(shù)據(jù)特征、不同的預(yù)處理方式、不同的機(jī)器學(xué)習(xí)算法，甚至可能回到原點(diǎn)，添加更多的數(shù)據(jù)源。

整個(gè)過程本質(zhì)上是迭代的，常常具有高度的探究性。在模型表現(xiàn)看起來比較像樣后，就該準(zhǔn)備用現(xiàn)實(shí)數(shù)據(jù)來測(cè)試了。這時(shí)便輪到開發(fā)系統(tǒng)出場(chǎng)。

區(qū)分開發(fā)系統(tǒng)和數(shù)據(jù)科學(xué)

開發(fā)系統(tǒng)和數(shù)據(jù)科學(xué)系統(tǒng)之間的最主要區(qū)別可能在于，開發(fā)系統(tǒng)是持續(xù)運(yùn)行的實(shí)時(shí)系統(tǒng)。數(shù)據(jù)必須得到處理，模型必須不斷更新。輸入事件也常常被用來計(jì)算點(diǎn)擊率等關(guān)鍵績(jī)效指標(biāo)。模型經(jīng)常每隔幾小時(shí)就使用可用數(shù)據(jù)重新訓(xùn)練一次，然后加載入開發(fā)系統(tǒng)中，通過采用REST架構(gòu)的接口提供數(shù)據(jù)

出于性能和穩(wěn)定性的考慮，那些系統(tǒng)常常用Java之類的編程語言編寫。

如果把開發(fā)系統(tǒng)和數(shù)據(jù)科學(xué)系統(tǒng)放在一起比較，就會(huì)得出以上這張圖。右上方是數(shù)據(jù)科學(xué)系統(tǒng)，使用Python這樣的編程語言或者Spark這樣的分布式計(jì)算系統(tǒng)，但通常包含手動(dòng)觸發(fā)的一次性計(jì)算和為了優(yōu)化系統(tǒng)而進(jìn)行的迭代。其結(jié)果是一個(gè)模型，它本質(zhì)上就是一堆描述學(xué)習(xí)模型的數(shù)字。然后，開發(fā)系統(tǒng)會(huì)加載該模型。開發(fā)系統(tǒng)會(huì)是一套更為傳統(tǒng)的的企業(yè)系統(tǒng)，用Java這樣的語言編寫，并且保持持續(xù)運(yùn)行。

當(dāng)然，上圖有點(diǎn)簡(jiǎn)化。實(shí)際上，模型必須反復(fù)訓(xùn)練，因此還必須將某個(gè)版本的數(shù)據(jù)處理管道嵌入開發(fā)系統(tǒng)，以便時(shí)不時(shí)地更新模型。

請(qǐng)注意圖中的A/B測(cè)試，它會(huì)在實(shí)時(shí)系統(tǒng)中執(zhí)行，對(duì)應(yīng)的是數(shù)據(jù)科學(xué)系統(tǒng)中的評(píng)估步驟。通常來說，A/B測(cè)試和模型評(píng)估不完全具有可比性，因?yàn)樵跊]有真正把推薦商品顯示給用戶看的情況下，A/B測(cè)試很難模擬出線下推薦的效果，但A/B測(cè)試應(yīng)該有助于模型性能的提升。

最后要注意的是，這整個(gè)系統(tǒng)不是建立后就“完事”。如同必須先迭代和精調(diào)數(shù)據(jù)科學(xué)系統(tǒng)的數(shù)據(jù)分析管道一樣，整個(gè)實(shí)時(shí)系統(tǒng)也需要隨著數(shù)據(jù)分布情況的變化進(jìn)行迭代，并且為數(shù)據(jù)分析打開新的可能性。我認(rèn)為，這種“外部迭代”既是最大的挑戰(zhàn)，也是最重要的挑戰(zhàn)，因?yàn)樗鼘Q定你能否持續(xù)改善系統(tǒng)，保證你最初對(duì)數(shù)據(jù)科學(xué)的投資不會(huì)付諸東流。

數(shù)據(jù)科學(xué)家和開發(fā)人員：合作模式

到目前為止，我們主要討論了各系統(tǒng)在軟件開發(fā)中的典型情況。人們對(duì)開發(fā)系統(tǒng)真正能夠達(dá)成的穩(wěn)健度和高效性的期望高低不一。有時(shí)，直接部署一套用Python編寫的模型就足夠了，但探究部分和開發(fā)部分通常就此分道揚(yáng)鑣。

如何協(xié)調(diào)數(shù)據(jù)科學(xué)家和開發(fā)人員之間的合作？這是一個(gè)重大的挑戰(zhàn)。從某種程度上來說，“數(shù)據(jù)科學(xué)家”還是一個(gè)新職業(yè)，但他們所做的工作明顯有別于開發(fā)人員所做的工作。這兩者很容易在溝通上存在誤解和障礙。

數(shù)據(jù)科學(xué)家的工作通常具有高度的探究性。數(shù)據(jù)科學(xué)項(xiàng)目常常始于一個(gè)模糊的目標(biāo)，或者有關(guān)哪種數(shù)據(jù)和方法可用的設(shè)想。你往往只能試驗(yàn)?zāi)愕南敕ǎ聪つ愕臄?shù)據(jù)。數(shù)據(jù)科學(xué)家會(huì)編寫大量代碼，但其中很大一部分代碼都是為了測(cè)試想法，并不會(huì)直接用在最終的解決方案中。

而開發(fā)人員把更多的精力用于編寫代碼。他們的目標(biāo)就是編寫系統(tǒng)，打造具有所需功能性的程序。開發(fā)人員有時(shí)也從事探究性的工作，比如原型建造、概念驗(yàn)證或者基準(zhǔn)測(cè)試，但他們的主要工作就是寫代碼。

這些不同之處也在代碼日漸開發(fā)出來的方式上表現(xiàn)得非常明顯。開發(fā)人員常常盡量遵循一個(gè)明確定義的過程，其中涉及為獨(dú)立的工作流創(chuàng)建分支程序，接著對(duì)各個(gè)分支進(jìn)行檢查，然后再并入主干。開發(fā)人員可以并行工作，但需要把已核準(zhǔn)的分支集成到主干程序中，然后再?gòu)闹鞲缮辖⑿碌姆种?，如此往?fù)。這一切是為了確保主干能以有序的方式完成開發(fā)。

正如我上文所說，數(shù)據(jù)科學(xué)家也會(huì)編寫大量代碼，但這些代碼常常是為了探索和嘗試新的想法。所以，你可能會(huì)先開發(fā)出一個(gè)1.0版，但并不太符合你的預(yù)期，接著便有了2.0版，進(jìn)而產(chǎn)生2.1和2.2版。然后你放棄了這個(gè)方向，又做出了3.0和3.1版。這時(shí)你意識(shí)到，如果把2.1版和3.1版的一些想法結(jié)合起來，就能得到更好的解決方案，因此有了3.3和3.4版，這便是最終的解決方案。

有意思的是，你會(huì)很想保留那些走進(jìn)死胡同的版本，因?yàn)橐院竽憧赡苓€會(huì)再用到它們。你也可能會(huì)把其中一些令你滿意的成果加入一個(gè)日漸壯大的工具箱，它就像是你個(gè)人的機(jī)器學(xué)習(xí)庫(kù)。開發(fā)人員喜歡刪除“死亡代碼”（也是因?yàn)樗麄冎酪院箅S時(shí)都能重新恢復(fù)那些代碼，而且他們知道如何快速地做到這一點(diǎn)），而數(shù)據(jù)科學(xué)家則喜歡保留代碼，以防萬一。

在實(shí)踐中，這兩個(gè)不同之處意味著開發(fā)人員和數(shù)據(jù)科學(xué)家在一起工作時(shí)常常會(huì)出問題。標(biāo)準(zhǔn)的軟件工程實(shí)踐并不適合數(shù)據(jù)科學(xué)家的探究性工作模式，因?yàn)閮烧咧铝τ诘哪繕?biāo)不同。代碼檢查和分支—檢查—整合這套有序的工作流程，在數(shù)據(jù)科學(xué)家這邊完全行不通，只會(huì)拖慢他們的進(jìn)度。同理，把探究性模式應(yīng)用于開發(fā)系統(tǒng)也行不通。

那么，我們?nèi)绾巫寯?shù)據(jù)科學(xué)家和開發(fā)人員之間的合作對(duì)雙方都最有利？第一反應(yīng)可能是把二者分開。例如，徹底分開代碼庫(kù)，讓數(shù)據(jù)科學(xué)家獨(dú)立工作，制定規(guī)范文檔，然后由開發(fā)人員加以實(shí)現(xiàn)。這種方法可行，但效率很低，而且容易出錯(cuò)，因?yàn)橹匦聦?shí)現(xiàn)可能引入錯(cuò)誤，尤其是在開發(fā)人員不熟悉數(shù)據(jù)分析算法的情況下。另外，進(jìn)行外部迭代以改善整個(gè)系統(tǒng)，也取決于開發(fā)人員是否有足夠的能力來實(shí)現(xiàn)數(shù)據(jù)科學(xué)家的規(guī)范文檔。

幸好，很多數(shù)據(jù)科學(xué)家也想成為更好的軟件工程師，很多軟件工程師也有心成為更好的數(shù)據(jù)科學(xué)家。因此，我們已經(jīng)開始嘗試更加直接一點(diǎn)、有助于加快整個(gè)過程的合作模式。

例如，數(shù)據(jù)科學(xué)家和開發(fā)人員的代碼庫(kù)仍然可以分開，但數(shù)據(jù)科學(xué)家可通過一個(gè)明確定義的接口，把他們的算法和一部分的開發(fā)系統(tǒng)鉤連起來。顯然，與開發(fā)系統(tǒng)進(jìn)行通信的代碼必須遵守更嚴(yán)格的軟件開發(fā)實(shí)踐，但仍然由數(shù)據(jù)科學(xué)家負(fù)責(zé)。這樣一來，他們不僅能在內(nèi)部迅速迭代，還能在開發(fā)系統(tǒng)中迭代。

這種架構(gòu)模式的具體實(shí)現(xiàn)方式的一種，便是采用微服務(wù)架構(gòu)，并讓開發(fā)系統(tǒng)能夠查詢數(shù)據(jù)科學(xué)家的微服務(wù)以獲得建議。這樣一來，原本被數(shù)據(jù)科學(xué)家用于離線分析的整個(gè)管道也能同時(shí)用于執(zhí)行A/B測(cè)試，甚至可在無需開發(fā)人員重新實(shí)現(xiàn)所有代碼的狀態(tài)下直接添加進(jìn)開發(fā)系統(tǒng)。這也更強(qiáng)調(diào)數(shù)據(jù)科學(xué)家的軟件工程技能，但我們發(fā)現(xiàn)擁有那套技能的數(shù)據(jù)科學(xué)家越來越多。為了反映這一事實(shí)，Zalando公司已經(jīng)把數(shù)據(jù)科學(xué)家的頭銜改為了“研究工程師（數(shù)據(jù)科學(xué)方向）”。

依靠像這樣的方法，數(shù)據(jù)科學(xué)家能夠迅速行動(dòng)，用離線數(shù)據(jù)迭代，遵從軟件開發(fā)的具體要求迭代，整個(gè)團(tuán)隊(duì)能把穩(wěn)定的數(shù)據(jù)分析解決方案逐漸移植到開發(fā)系統(tǒng)中。

不斷適應(yīng)和改進(jìn)

到此為止，我已經(jīng)大致剖析了把數(shù)據(jù)科學(xué)引入軟件開發(fā)的典型架構(gòu)。大家必須弄明白一個(gè)關(guān)鍵的概念，那就是這類架構(gòu)需要不斷適應(yīng)和改進(jìn)（就像使用實(shí)時(shí)數(shù)據(jù)的所有數(shù)據(jù)驅(qū)動(dòng)項(xiàng)目一樣）。能夠迅速迭代、嘗試新方法和在A/B測(cè)試中用實(shí)時(shí)數(shù)據(jù)測(cè)試結(jié)果，這些是最重要的。

根據(jù)我的經(jīng)驗(yàn)來看，讓數(shù)據(jù)科學(xué)家和開發(fā)人員各自為政是無法做到這一點(diǎn)的。但同時(shí)，必須承認(rèn)他們的工作模式不同，因?yàn)樗麄兊哪繕?biāo)不同：數(shù)據(jù)科學(xué)家的工作更具探究性，而開發(fā)人員更關(guān)注于打造軟件和系統(tǒng)。如果讓雙方以一種最適合這些目標(biāo)的方式工作，并在他們之間定義一個(gè)明確的接口，就有可能把雙方結(jié)合在一起，迅速地嘗試新方法。這要求數(shù)據(jù)科學(xué)家具備更多的軟件工程技能，或者至少要有能夠架通兩個(gè)世界的工程師提供支持。