CDA數(shù)據(jù)分析師 出品

作者：徐楊老師

編輯：Mika

同學(xué)們大家好，我是徐楊老師，今天給大家分享一個(gè)現(xiàn)在前沿的業(yè)務(wù)分析方法。

現(xiàn)在有一個(gè)非常前沿的詞叫做數(shù)據(jù)漂移，可能有一部分同學(xué)聽(tīng)說(shuō)過(guò)，英文是Data Drift。

數(shù)據(jù)漂移是什么?

那么，什么叫做數(shù)據(jù)漂移呢？

我們舉個(gè)例子，現(xiàn)在有一個(gè)APP非?；穑凶鰢?guó)家反詐中心APP。

我們知道，如今網(wǎng)絡(luò)詐騙是一個(gè)很讓大家頭疼的問(wèn)題，那么假如說(shuō)你作為公司的分析師，也受命需要去開(kāi)發(fā)一套用來(lái)給你的企業(yè)識(shí)別異常用戶(hù)的一套分析模型。

經(jīng)常我們會(huì)碰到的一個(gè)問(wèn)題是，你花了很大的力氣把分析模型都構(gòu)造好了，上線(xiàn)以后很快發(fā)現(xiàn)，這個(gè)模型明明知道之前在測(cè)試集上跑的效果還不錯(cuò)，但是實(shí)際上線(xiàn)部署以后模型的效果會(huì)快速下降，這是為什么呢？

其實(shí)很簡(jiǎn)單。不止我們作為分析師的分析能力在進(jìn)化，那些犯罪分子的犯罪方法也是太進(jìn)化的。也就是說(shuō)如果我們用的是以前的分析方法來(lái)識(shí)別新的犯罪分子的犯罪手段，肯定效果是要大打折扣的。

從技術(shù)語(yǔ)言來(lái)說(shuō)，如果我們是用以前的數(shù)據(jù)訓(xùn)練出的模型來(lái)分析現(xiàn)在的一些新數(shù)據(jù)，那么這就是訓(xùn)練模型的時(shí)候，我們面對(duì)的數(shù)據(jù)分布和我們實(shí)際模型上線(xiàn)部署時(shí)，面對(duì)的數(shù)據(jù)分布是產(chǎn)生了變化的。

這種問(wèn)題就叫做數(shù)據(jù)漂移。

現(xiàn)在一般在業(yè)界解決數(shù)據(jù)漂移比較經(jīng)典的方法是引入自動(dòng)機(jī)器學(xué)習(xí)。

同學(xué)們知道我們一般做數(shù)據(jù)分析的時(shí)候是先收集數(shù)據(jù)，然后構(gòu)造模型，最后輸出分析結(jié)果。

那么我們就可以在最后輸出分析結(jié)果的地方，增加一般叫做monitor，或者說(shuō)叫做模型監(jiān)控的這樣一段代碼。

它的作用是實(shí)時(shí)分析，現(xiàn)在模型預(yù)測(cè)的效果是好是壞，然后調(diào)整的不是模型，調(diào)整的是誰(shuí)呢？

如果監(jiān)測(cè)出問(wèn)題，調(diào)整的是我們收集數(shù)據(jù)這個(gè)環(huán)節(jié)的工作。然后通過(guò)收集更新的數(shù)據(jù)，實(shí)時(shí)去調(diào)整模型里面的參數(shù)，然后再繼續(xù)去監(jiān)控我現(xiàn)在自動(dòng)更新出的模型效果如何。

總結(jié)一下就是，傳統(tǒng)的方法是我們?cè)谟?xùn)練模型的時(shí)候，拿到的數(shù)據(jù)集是固定的，我們動(dòng)的是我們選擇哪些模型，模型里的參數(shù)怎么調(diào)優(yōu)，怎么給出最后好的方法組合。這是我們傳統(tǒng)的方法，固定數(shù)據(jù)，動(dòng)模型，動(dòng)參數(shù)。

現(xiàn)在更新的方法是，我們首先要保證我們的模型訓(xùn)練的沒(méi)有問(wèn)題，然后固定模型，動(dòng)數(shù)據(jù)。

那么，應(yīng)該怎么動(dòng)數(shù)據(jù)？怎么去拿到新的數(shù)據(jù)？

是看我們監(jiān)控到的模型分析結(jié)果來(lái)，反過(guò)來(lái)決定我們要在哪些地方埋下更多的點(diǎn)，拿到更新的數(shù)據(jù)，以及拿到哪些有用的特征，去實(shí)時(shí)的更新模型里面的超參數(shù)。

這是現(xiàn)在用來(lái)解決數(shù)據(jù)漂移一個(gè)比較前沿的分析方法，希望對(duì)大家有幫助。

好，以上就是今天的分享。如果大家還有數(shù)據(jù)分析方面相關(guān)的疑問(wèn)，就在評(píng)論區(qū)留言。