數(shù)據(jù)模型多了，應(yīng)該怎么管

隨著近年來(lái)大數(shù)據(jù)挖掘概念的興起，數(shù)據(jù)分析建模的思想已經(jīng)深入人心，于是會(huì)建模、能建模的人也就越來(lái)越多。他們可能是資深大拿，分析建模、結(jié)果解讀手到擒來(lái)全搞定，但也可能是專(zhuān)業(yè)的“調(diào)包俠”，分析工具包拿來(lái)就用，有效沒(méi)效有個(gè)結(jié)果再說(shuō)?？傊诟髀穼?zhuān)家光臨之后，企業(yè)中的模型越來(lái)越多，接下來(lái)我們會(huì)面臨什么情況呢？

銷(xiāo)售經(jīng)理拿著數(shù)據(jù)專(zhuān)家小王新跑出來(lái)的營(yíng)銷(xiāo)名單開(kāi)始犯愁，模型新上線時(shí)效果確實(shí)不錯(cuò)，營(yíng)銷(xiāo)成功率大幅提升，但6個(gè)月過(guò)去了，營(yíng)銷(xiāo)名單的質(zhì)量有所下滑，銷(xiāo)售人員也開(kāi)始質(zhì)疑，銷(xiāo)售經(jīng)理拿著名單去找小王，小王說(shuō)這是數(shù)據(jù)挖掘模型出來(lái)的結(jié)果，不會(huì)有錯(cuò)的……

技術(shù)部門(mén)的小李最近有點(diǎn)叫苦不迭，小王做精準(zhǔn)營(yíng)銷(xiāo)模型催著要提數(shù)，小趙做客戶(hù)流失預(yù)警模型也催著要提數(shù)，連公司前臺(tái)小周也在要員工數(shù)據(jù)分析哪個(gè)星座的愛(ài)加班，總之公司的各路人馬都在找技術(shù)部門(mén)要數(shù)，小李本來(lái)數(shù)據(jù)運(yùn)行壓力就大這下更忙不過(guò)來(lái)了，他也搞不清楚怎么一下冒出來(lái)這么多挖掘請(qǐng)求……

公司領(lǐng)導(dǎo)老吳眼看著公司業(yè)績(jī)?cè)跀?shù)據(jù)分析的幫助下節(jié)節(jié)上升，心情大好。他想要了解目前公司到底做了多少模型，不調(diào)查不知道，一調(diào)查就犯了難。各個(gè)部門(mén)都在分別做模型，營(yíng)銷(xiāo)部門(mén)、風(fēng)險(xiǎn)部門(mén)、營(yíng)運(yùn)部門(mén)都在做，有些模型部署在公司系統(tǒng)上，有些模型部門(mén)在部門(mén)內(nèi)部。這些模型中有些是重復(fù)的，浪費(fèi)了公司大量的計(jì)算資源；有些模型已經(jīng)跑了兩年多沒(méi)人管了，當(dāng)初負(fù)責(zé)的人已經(jīng)離職了，目前這個(gè)模型誰(shuí)也說(shuō)不清楚，當(dāng)初建模的文檔也早已不知道丟到哪兒了。當(dāng)然也有很多模型存在個(gè)人電腦里……

以上問(wèn)題總結(jié)下來(lái)，就是模型管理混亂，缺乏完整的模型管理流程和制度，造成了不能及時(shí)滿(mǎn)足業(yè)務(wù)部門(mén)的需求；數(shù)據(jù)管理混亂，模型數(shù)據(jù)不能共享；模型文檔管理混亂，不能滿(mǎn)足管理或監(jiān)管的要求。

因此，變革的時(shí)候又來(lái)了！進(jìn)入大數(shù)據(jù)時(shí)代，變革就是來(lái)得這么措不及防。模型工廠已經(jīng)誕生，通俗講就是生產(chǎn)模型的工廠，在銀行業(yè)也把它叫為“模型實(shí)驗(yàn)室”，它的建設(shè)包括管理規(guī)范、運(yùn)營(yíng)團(tuán)隊(duì)、數(shù)據(jù)基礎(chǔ)、分析模型、系統(tǒng)平臺(tái)五大部分。它的范圍可大可小，可以是企業(yè)層面，也可以部門(mén)層面，總之，它的誕生就是為了保障模型管理的效率與質(zhì)量。

管理規(guī)范：包括工作流程、數(shù)據(jù)質(zhì)量管理、權(quán)限管理、知識(shí)管理等。標(biāo)準(zhǔn)化工作流程與模板，保證模型的全生命周期管理。以下是完整的模型全生命周期管理流程，不只是到模型上線部署就結(jié)束了，后續(xù)的模型持續(xù)監(jiān)控、驗(yàn)證也是必不可少的，一個(gè)預(yù)測(cè)能力下降的模型可能會(huì)給決策工作帶來(lái)負(fù)面影響。

模型監(jiān)控是指對(duì)模型自變量的監(jiān)控，需要與建模時(shí)的數(shù)據(jù)進(jìn)行對(duì)比分析，去看看變量的結(jié)構(gòu)是否穩(wěn)定，是否與當(dāng)初建模時(shí)已經(jīng)發(fā)生了變化，常用的統(tǒng)計(jì)指標(biāo)有變量穩(wěn)定性指數(shù)，轉(zhuǎn)移矩陣及SVD等。

模型驗(yàn)證是指對(duì)模型預(yù)測(cè)準(zhǔn)確性的判斷，常用的驗(yàn)證指標(biāo)模型穩(wěn)定性指數(shù)、KS統(tǒng)計(jì)量、CAP曲線和AR值、IV值、二項(xiàng)檢驗(yàn)與卡方檢驗(yàn)等。

冠軍模型和挑戰(zhàn)模型是對(duì)模型效果的一個(gè)輔助監(jiān)控手段。模型版本記錄了模型演變歷史，歷史模型也是重要的模型資產(chǎn)。

知識(shí)管理是指對(duì)模型建設(shè)過(guò)程中的經(jīng)驗(yàn)總結(jié)和知識(shí)積累，在模型開(kāi)發(fā)運(yùn)維過(guò)程中需要做好文檔管理工作，常用的分析方法、工具、代碼都可以進(jìn)入知識(shí)庫(kù)，有助于技能傳承和人才培養(yǎng)。

運(yùn)營(yíng)團(tuán)隊(duì)：模型工廠的角色通常至少需要包括業(yè)務(wù)分析、數(shù)據(jù)管理、模型開(kāi)發(fā)和模型驗(yàn)證四個(gè)角色。四個(gè)角色有不同的技能要求，承擔(dān)不同的工作職責(zé)，需要分別制訂不同的職業(yè)發(fā)展路徑。在銀行業(yè)，銀監(jiān)會(huì)要求模型開(kāi)發(fā)和模型驗(yàn)證必須由不同的團(tuán)隊(duì)來(lái)執(zhí)行。

數(shù)據(jù)基礎(chǔ)：模型工廠的數(shù)據(jù)基礎(chǔ)一般是數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市，也可以直接來(lái)自于前端業(yè)務(wù)系統(tǒng)。歷史數(shù)據(jù)的長(zhǎng)短、品質(zhì)和覆蓋面決定了模型好壞與估算的精確度。數(shù)據(jù)基礎(chǔ)的建設(shè)需要分目標(biāo)、分主題，同時(shí)需要盡可能考慮公共數(shù)據(jù)的建設(shè)，最大化數(shù)據(jù)成果的共享。為不同角色的用戶(hù)開(kāi)放不同的數(shù)據(jù)權(quán)限，建立數(shù)據(jù)管控機(jī)制，防止數(shù)據(jù)濫用，同時(shí)發(fā)揮前臺(tái)人員主觀能動(dòng)性，避免給數(shù)據(jù)部門(mén)帶來(lái)壓力。

分析模型：綜合考慮企業(yè)的戰(zhàn)略目標(biāo)、行業(yè)熱點(diǎn)、風(fēng)險(xiǎn)導(dǎo)向、監(jiān)管要求，制定企業(yè)的模型應(yīng)用體系，然后以見(jiàn)效的速度和需求的緊迫性?xún)蓚€(gè)角度來(lái)決定模型開(kāi)發(fā)的路徑。針對(duì)同一個(gè)建模需求，可能可以建立不同的模型，冠軍模型和挑戰(zhàn)模型并存。在建模過(guò)程中注重建模數(shù)據(jù)的有效性，建模過(guò)程的科學(xué)性，模型結(jié)果的可解釋性。

系統(tǒng)平臺(tái)：系統(tǒng)平臺(tái)是模型工廠的技術(shù)支撐，需要軟硬件的有效結(jié)合。系統(tǒng)平臺(tái)需要包括以下功能：數(shù)據(jù)管理、分析建模、報(bào)表展現(xiàn)、模型管理、權(quán)限管理、流程管理、文檔管理，除此之外還需要支持復(fù)雜算法開(kāi)發(fā)、數(shù)據(jù)可視化開(kāi)發(fā)、移動(dòng)端處理等個(gè)性化要求。建設(shè)系統(tǒng)平臺(tái)需要長(zhǎng)遠(yuǎn)規(guī)劃，建設(shè)過(guò)程中需要綜合考慮易用性、穩(wěn)定性、可擴(kuò)展性等。

在大數(shù)據(jù)分析如火如荼的今天，做好一個(gè)模型并不難，難的是通過(guò)模型提高企業(yè)的綜合管理水平。在您的企業(yè)中或許已經(jīng)多少有了模型工廠的影子，但稍微哪點(diǎn)做得不好，就容易遇上本文開(kāi)篇的那些問(wèn)題，希望本文能給您帶來(lái)啟發(fā)與幫助。