數(shù)據(jù)挖掘九律，看完不后悔

一位挖掘?qū)＜?tom khabaza 提出了挖掘九律，挺好的東西，特別是九這個(gè)數(shù)字，深得中華文化精髓，有點(diǎn)獨(dú)孤九劍的意思：

第一，目標(biāo)律。數(shù)據(jù)挖掘是一個(gè)業(yè)務(wù)過(guò)程，必須得有業(yè)務(wù)目標(biāo)。無(wú)目的，無(wú)過(guò)程。

第二，知識(shí)律。業(yè)務(wù)知識(shí)貫穿在挖掘這個(gè)業(yè)務(wù)過(guò)程的各環(huán)節(jié)。

第三，準(zhǔn)備律。數(shù)據(jù)獲取、數(shù)據(jù)準(zhǔn)備等數(shù)據(jù)處理耗時(shí)占整個(gè)挖掘過(guò)程的一半。

第四，NFL律。NFL，沒(méi)有免費(fèi)的午餐。沒(méi)有一個(gè)固定的算法適用所有的業(yè)務(wù)問(wèn)題，特定應(yīng)用適合的模型只能通過(guò)經(jīng)驗(yàn)發(fā)現(xiàn)。

第五，大衛(wèi)律。要相信，數(shù)中必有業(yè)務(wù)規(guī)律。大衛(wèi)·沃爾金斯最早提出的，故此名。

第六，洞察律。數(shù)據(jù)挖掘本質(zhì)上是增強(qiáng)對(duì)業(yè)務(wù)領(lǐng)域的認(rèn)知。

第七，預(yù)測(cè)律。數(shù)據(jù)挖掘基于過(guò)去得出模式，并泛化到類(lèi)似新事物上，這就是預(yù)測(cè)，但這是統(tǒng)計(jì)概念的。

第八，價(jià)值律。挖掘模型的最終價(jià)值并非模型精度或穩(wěn)定性，而是驅(qū)動(dòng)業(yè)務(wù)行動(dòng)或通過(guò)新洞察導(dǎo)致策略改善。

第九，變化律。人不會(huì)兩次踏入同一條河流。業(yè)務(wù)在變，目標(biāo)在變，認(rèn)識(shí)也在變，甚至規(guī)律本身也在變，挖掘模型也得與時(shí)俱進(jìn)。

很好, 挖掘者習(xí)此九律，必將功力大增，殺敵于無(wú)形之中，乃升遷加薪必備胸器。咱可以設(shè)想一些場(chǎng)景，看看這九律是怎么靈活運(yùn)用的。運(yùn)用這九律的心法是，敵不動(dòng)我不動(dòng)，見(jiàn)招拆招，以無(wú)招勝有照。

故事開(kāi)始........：S，挖掘新手，M 為其導(dǎo)師，挖掘高手。一日，S接到任務(wù)，走一趟挖掘。過(guò)了段時(shí)間，他找到 M，M 正在閉目打坐。發(fā)生一場(chǎng)對(duì)話(huà)。

S：師傅，徒兒接到任務(wù)，已經(jīng)開(kāi)始干了，不出一個(gè)月就可大功告成。

M：嗯，不錯(cuò)，什么進(jìn)展了？

S：我已經(jīng)安排下去，現(xiàn)在數(shù)據(jù)準(zhǔn)備已經(jīng)完成，并且建了一個(gè)小模。哎呀，您是不知道啊，那個(gè)數(shù)據(jù)太爛，一堆問(wèn)題，到處是空值，很多信息也是假的，balabala….

M：先別說(shuō)你的數(shù)據(jù)，數(shù)據(jù)準(zhǔn)備干了多長(zhǎng)時(shí)間了？

S：干了一個(gè)多月，還蠻符合準(zhǔn)備率的吧！

M：這個(gè)任務(wù)到底要干什么？

S：嗨，就是要找出想搞破壞的人，放心，第一律我牢記于胸。現(xiàn)在還有兩個(gè)人幫我一起做，一個(gè)準(zhǔn)備數(shù)據(jù)，一個(gè)建模。

M：那你干什么？

S：我搞業(yè)務(wù)理解啊，并且運(yùn)用知識(shí)律，搞了一個(gè)挖掘過(guò)程模板，我們?nèi)齻€(gè)就用這個(gè)模板進(jìn)行過(guò)程交互，挺好的，什么時(shí)候給您瞅瞅。

M：嗯，聽(tīng)起來(lái)不錯(cuò)，那你今天來(lái)此打擾我清修作甚？

S：您是不知道啊。不是跟你說(shuō)了，我們還建了一個(gè)小模嘛。唉，效果不太好。用分類(lèi)預(yù)測(cè)訓(xùn)練了數(shù)據(jù)，但那個(gè)數(shù)據(jù)實(shí)在太差了，感覺(jué)那個(gè)模型一點(diǎn)都不靠譜，沒(méi)反應(yīng)出來(lái)什么規(guī)律。我們用那個(gè)結(jié)論在我們?nèi)齻€(gè)身上試了一下，結(jié)果大家都覺(jué)得不對(duì)，我們都成了想搞破壞的人，一點(diǎn)都不符合實(shí)際情況。

M：你忘了大衛(wèi)律了？要相信。還有預(yù)測(cè)律，你這個(gè)模型在你們?nèi)齻€(gè)身上試驗(yàn)，能證明什么？

S：是啊，我沒(méi)忘啊。不過(guò)要找到規(guī)律還需要時(shí)間啊。我們要計(jì)劃在找更多的樣本去驗(yàn)證。不過(guò)…今天來(lái)…確實(shí)是無(wú)事不登三寶殿…有個(gè)事兒…

M：啥事？

S：您前年不是搞了一個(gè)犯罪預(yù)測(cè)嘛，現(xiàn)在很多地方都在用，我想跟這次任務(wù)的目標(biāo)類(lèi)似，我想能不能就直接把您的模型拉過(guò)來(lái)訓(xùn)練一下就行了…您那個(gè)模型實(shí)在是太絕了…

M：哈哈，看來(lái)你想偷懶啊，但你怎么能夠知道這個(gè)模型適用你的任務(wù)呢？

S：您的模型我還擔(dān)心什么啊。主要是這次任務(wù)時(shí)間緊，我也沒(méi)辦法，先解決了問(wèn)題吧，能精確定位目標(biāo)人群就行了，您的模型，肯定很準(zhǔn)的。

M：雖然你拍我馬屁，但我還是對(duì)你很失望啊。挖掘的本質(zhì)是什么？

S：呃…洞察…我也知道天下沒(méi)有免費(fèi)的午餐...但時(shí)間太緊，任務(wù)太重啊，沒(méi)您不行啊，您的模型就是我們的法寶啊。

M：唉，不說(shuō)那是兩年前的模型，現(xiàn)在你遇到的情況跟我遇到的情況不一樣，現(xiàn)在的犯罪手段也變了各種花樣，變化率怎么說(shuō)的？再說(shuō)，你為什么如此看重模型的精度，那并非挖掘的終極價(jià)值?。⌒盐虬?！我代表客戶(hù)鄙視你！

S：老家伙，你到底是給還是不給？你是想看著我死嗎？

M：（仰天長(zhǎng)嘆）唉，師徒一場(chǎng)，罷了罷了，拿去吧。但你此一去，我們師徒恩斷義絕，以后再也不要來(lái)見(jiàn)我，再也不要叫我?guī)煾?，也不要再別人面前妄稱(chēng)我是你的師傅。走吧，走吧…