如何打造敏捷的數(shù)據(jù)挖掘能力

大家都知道數(shù)據(jù)挖掘是發(fā)現(xiàn)規(guī)律的一種手段，但在很多傳統(tǒng)企業(yè)里數(shù)據(jù)挖掘有點(diǎn)像奢侈品，因?yàn)?a href='/map/shujuwajue/' style='color:#000;font-size:inherit;'>數(shù)據(jù)挖掘的過(guò)程一般較長(zhǎng)，總體來(lái)講性?xún)r(jià)比不是那么高，規(guī)則取數(shù)往往成為了企業(yè)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的主流。

筆者一直在思考傳統(tǒng)企業(yè)敏捷數(shù)據(jù)挖掘的可能性，這里主要從挖掘引擎、數(shù)據(jù)準(zhǔn)備、訓(xùn)練方法、迭代方式、產(chǎn)品思維等方面進(jìn)行闡述，希望于你有啟示。

1、打造全流程挖掘引擎

諸如阿里等企業(yè)的機(jī)器學(xué)習(xí)平臺(tái)逐步形成了一個(gè)自有生態(tài)，其機(jī)器學(xué)習(xí)引擎一般是跟企業(yè)的整個(gè)IT環(huán)境無(wú)縫集成的，無(wú)論是在數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)輸入、算法選擇、模型訓(xùn)練、模型輸出或是生產(chǎn)部署等各個(gè)階段。

商用的數(shù)據(jù)挖掘引擎則一般只能做點(diǎn)的事情，強(qiáng)調(diào)的是算法的多樣選擇及模型訓(xùn)練的可視化體驗(yàn)，在數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)輸入、模型輸出、生產(chǎn)發(fā)布等數(shù)據(jù)挖掘的其它階段是游離在之外的，需要跟企業(yè)的數(shù)據(jù)環(huán)境進(jìn)行交互才能完成一個(gè)數(shù)據(jù)挖掘過(guò)程，而這些交互一般不是自動(dòng)的，也不具備可視化能力，這造成了整個(gè)數(shù)據(jù)挖掘流程的割裂，而企業(yè)在這些階段花費(fèi)的代價(jià)是很大的。

隨著一般算法使用門(mén)檻的降低，當(dāng)前商用挖掘引擎都在朝著人工智能算法+海量計(jì)算平臺(tái)化方向轉(zhuǎn)變，但其并不會(huì)變得更敏捷，因?yàn)檎麄€(gè)流程仍然是割裂的。

怎么辦？

一種就是全套采用諸如阿里云的方案，全部數(shù)據(jù)上云，還有一種就是自己定制，這里談?wù)劧ㄖ品椒ǖ乃悸贰?

所謂的定制方法就是將通用的數(shù)據(jù)挖掘引擎跟企業(yè)自身的數(shù)據(jù)開(kāi)發(fā)管理平臺(tái)無(wú)縫集成，復(fù)用原有企業(yè)的數(shù)據(jù)開(kāi)發(fā)整個(gè)流程，以下一張圖道盡了一切：

它的價(jià)值點(diǎn)就在于以企業(yè)的數(shù)據(jù)開(kāi)發(fā)流程為核心，而不是數(shù)據(jù)挖掘為核心，數(shù)據(jù)挖掘只是作為一個(gè)組件集成進(jìn)來(lái)，比如封裝R和Python的訓(xùn)練結(jié)果，最大限度的復(fù)用原有數(shù)據(jù)管理的能力。

因此，企業(yè)在采購(gòu)商用數(shù)據(jù)挖掘軟件的時(shí)候，除了考慮算法，還要強(qiáng)調(diào)開(kāi)放性，要考慮是否能深度集成到自身的數(shù)據(jù)環(huán)境中。

這是敏捷的第一個(gè)要點(diǎn)。

2、降低變量準(zhǔn)備時(shí)間

數(shù)據(jù)挖掘中數(shù)據(jù)準(zhǔn)備時(shí)間過(guò)長(zhǎng)，企業(yè)除了考慮數(shù)據(jù)倉(cāng)庫(kù)建模，還需要考慮是否在此基礎(chǔ)上建立一個(gè)數(shù)據(jù)挖掘的數(shù)據(jù)中臺(tái)，筆者在《企業(yè)的數(shù)據(jù)中臺(tái)的價(jià)值》、《數(shù)據(jù)中臺(tái)到底是什么？》、《如何清晰的實(shí)施“大中臺(tái)，小前臺(tái)” 大數(shù)據(jù)運(yùn)營(yíng)策略？》等文章中系統(tǒng)的介紹過(guò)數(shù)據(jù)中臺(tái)的價(jià)值，數(shù)據(jù)挖掘中臺(tái)屬于數(shù)據(jù)中臺(tái)的一部分，行業(yè)特性會(huì)比較明顯，比如電商有電商的數(shù)據(jù)挖掘中臺(tái)，運(yùn)營(yíng)商則有運(yùn)營(yíng)商的數(shù)據(jù)挖掘中臺(tái)，只要你在某個(gè)行業(yè)數(shù)據(jù)挖掘做多了，變量準(zhǔn)備做多了，你自然會(huì)找到一些共性的東西，如果能把它們沉淀下來(lái)，就能降低變量準(zhǔn)備時(shí)間，比如在運(yùn)營(yíng)商中經(jīng)常會(huì)設(shè)計(jì)平均ARPU這個(gè)變量，但到底是三個(gè)月平均，六個(gè)月平均還是什么，全賴(lài)歷史經(jīng)驗(yàn)。

建立數(shù)據(jù)挖掘中臺(tái)涉及IT戰(zhàn)略問(wèn)題，對(duì)于傳統(tǒng)被動(dòng)型的數(shù)據(jù)管理機(jī)制流程都是挑戰(zhàn)，比如要建立一支中臺(tái)團(tuán)隊(duì)就不容易。

這是敏捷的第二個(gè)要點(diǎn)。

3、選對(duì)模型提升的方法

一般來(lái)講，如果數(shù)據(jù)不變，數(shù)據(jù)挖掘訓(xùn)練的邊際效益并不高，同樣的一份數(shù)據(jù)用不同的算法反復(fù)訓(xùn)練，比如F1差值并不是很大大，如果要盡快的提升模型的效果，要講究點(diǎn)方法，盡量遵循以下優(yōu)先級(jí)：業(yè)務(wù)>數(shù)據(jù)>算法。

沒(méi)有深刻的業(yè)務(wù)理解去做數(shù)據(jù)挖掘往往是事倍功半，行業(yè)的業(yè)務(wù)理解越透徹，就越能抓住數(shù)據(jù)中本質(zhì)的特征，諸如圖像識(shí)別等場(chǎng)景已經(jīng)可以靠神經(jīng)網(wǎng)絡(luò)來(lái)自動(dòng)查找特征了，但大多數(shù)行業(yè)領(lǐng)域不行，還是要靠業(yè)務(wù)專(zhuān)家，多組織一次討論獲取的靈感可能遠(yuǎn)遠(yuǎn)好過(guò)于在算法上折騰一個(gè)月。

沒(méi)有更多更好的數(shù)據(jù)去訓(xùn)練模型，巧婦也難為無(wú)米之炊，一定要相信數(shù)據(jù)的重要性遠(yuǎn)遠(yuǎn)超過(guò)算法，很多初級(jí)的建模師算法能力很強(qiáng)，但就是做不成事，往往是因?yàn)槠鋵?duì)于自身企業(yè)的數(shù)據(jù)理解太淺所致，外來(lái)的和尚念不好經(jīng)也是這個(gè)道理。

一般企業(yè)的數(shù)據(jù)挖掘師都需要通過(guò)長(zhǎng)時(shí)間的取數(shù)訓(xùn)練，如果能做過(guò)數(shù)據(jù)倉(cāng)庫(kù)的更好，這樣對(duì)于企業(yè)的數(shù)據(jù)體系有個(gè)全局的認(rèn)識(shí)，在特征選擇時(shí)有更多的發(fā)揮空間，大數(shù)據(jù)中最強(qiáng)調(diào)的一個(gè)特征是維度多，也一定程度說(shuō)明了數(shù)據(jù)多樣的重要性。

比如基于運(yùn)營(yíng)商的語(yǔ)音通話數(shù)據(jù)可以初步判定欺詐電話，但這個(gè)準(zhǔn)確率還不高，如果加上社交網(wǎng)絡(luò)數(shù)據(jù)，判定就八九不離十了，這就是多維數(shù)據(jù)的力量，同時(shí)數(shù)據(jù)建模師如果不理解運(yùn)營(yíng)商的業(yè)務(wù)和數(shù)據(jù)，則可能無(wú)法想到這個(gè)維度。

這是敏捷的第三個(gè)要點(diǎn)。

4、快速迭代及時(shí)止損

大家都知道建模需要快速迭代，但傳統(tǒng)企業(yè)中數(shù)據(jù)挖掘的快速迭代總是起不來(lái)，原因當(dāng)然很多，包括渠道問(wèn)題、溝通問(wèn)題，流程問(wèn)題，外包問(wèn)題，機(jī)制問(wèn)題等等，這里筆者提一個(gè)數(shù)據(jù)挖掘“四個(gè)一”原則，即要為數(shù)據(jù)挖掘設(shè)置一些時(shí)間底線。

第一個(gè)“一”是一線溝通，就是業(yè)務(wù)理解要跟生產(chǎn)人員溝通，而不要只跟管理者溝通，確保能夠聽(tīng)到一線真實(shí)的炮聲。

第二個(gè)“一”是一周訓(xùn)練，整個(gè)模型的訓(xùn)練需要控制在一周完成（注意不是算法研發(fā)），如果訓(xùn)練倒騰超過(guò)一個(gè)月，性?xún)r(jià)比一般很低。

第三個(gè)“一”是一周驗(yàn)證，訓(xùn)練的結(jié)果要在一周內(nèi)讓一線反饋結(jié)果，傳統(tǒng)企業(yè)模型做不好往往是第一時(shí)間拿不到反饋數(shù)據(jù)所致，這牽涉到企業(yè)復(fù)雜的線下執(zhí)行流程，需要在管理層面進(jìn)行控制。

第四個(gè)“一”是一周優(yōu)化，確保能用反饋的數(shù)據(jù)進(jìn)行模型的快速優(yōu)化，第三和第四反復(fù)迭代。

當(dāng)然這里的一周更多是象征意義，企業(yè)可以基于自身的實(shí)際進(jìn)行周期的調(diào)整，關(guān)鍵是要有成本意識(shí)，及時(shí)止損，時(shí)間拖的越長(zhǎng)風(fēng)險(xiǎn)越高，因?yàn)槭袌?chǎng)變化很快，業(yè)務(wù)人員的耐心有限。

這是敏捷的第四個(gè)要點(diǎn)。

5、通過(guò)運(yùn)營(yíng)保有挖掘資產(chǎn)

據(jù)筆者統(tǒng)計(jì)，離網(wǎng)模型在某些企業(yè)做的次數(shù)會(huì)超過(guò)幾十次，重做有很多理由，比如市場(chǎng)環(huán)境變了，原來(lái)模型不好用了等等，但重做意味著對(duì)原有投入資源的極大浪費(fèi)，是最大的不敏捷。

“重建設(shè)，輕運(yùn)營(yíng)”是企業(yè)IT建設(shè)常見(jiàn)的毛病，由于數(shù)據(jù)挖掘的模型受業(yè)務(wù)和數(shù)據(jù)變化的影響很大，隨著時(shí)間推移效果下降是必然的事情，而且這個(gè)折損跟固定資產(chǎn)折損還不一樣，人家折損好歹還能正常用，但模型效果變差就意味著效益變差，模型更要拼運(yùn)營(yíng)能力。

從這個(gè)角度看，如果你覺(jué)得一個(gè)模型重要，就要把它當(dāng)成一個(gè)產(chǎn)品，用產(chǎn)品化的思維去運(yùn)營(yíng)它，比如設(shè)置獨(dú)立的模型經(jīng)理，從用戶(hù)、流量和效果等角度去持續(xù)的做提升，很多企業(yè)模型建完推廣完了就成鳥(niǎo)獸散，這注定了模型的悲劇。

模型運(yùn)營(yíng)投入的代價(jià)是巨大的，一個(gè)有1000個(gè)挖掘模型的公司，負(fù)擔(dān)和壓力會(huì)非常大，如果很輕松，基本也就是些僵尸模型了。

這是敏捷的第五個(gè)要點(diǎn)。

就談以上五點(diǎn)，一家之言，但的確是感到困惑且想解決的，希望于你有啟示。