要搞好數(shù)據(jù)挖掘，還是得先整明白這張圖……

《哈佛商業(yè)評(píng)論》稱數(shù)據(jù)科學(xué)家為21世紀(jì)最性感的職業(yè)，性感一詞，充分表達(dá)著其中說不出的誘惑和吸引。而數(shù)據(jù)，作為這一切的根源，更是扮演著極其重要且神秘的角色。沒有數(shù)據(jù)，一切皆是空談，有了數(shù)據(jù)，所有的分析和挖掘都有了寄托。

然而，要搞好數(shù)據(jù)挖掘，可沒那么簡(jiǎn)單，你得有一套正確的招式款待她！一套完善的流程招呼她！

何為CRISP-DM？

CRISP-DM(cross-industry standard process for data mining), 即"跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程"，它是由NCR、OHRA、SPSS、Daimler-Benz等企業(yè)一起開發(fā)出來的、目前業(yè)界使用最為廣泛的數(shù)據(jù)挖掘方法論。 

CRISP-DM模型為一個(gè)KDD（知識(shí)發(fā)現(xiàn)）工程提供了一個(gè)完整的過程描述，將一個(gè)KDD工程分為6個(gè)不同的、但順序并非完全不變的階段。CRISP-DM沒有特定的工具限制，也沒有特定領(lǐng)域局限，是適用于所有行業(yè)的標(biāo)準(zhǔn)方法論。

1.商業(yè)理解

首先，我們必須從商業(yè)的角度了解項(xiàng)目的要求和最終目的是什么，并將這些目的與數(shù)據(jù)挖掘的定義以及結(jié)果結(jié)合起來。任何脫離業(yè)務(wù)的數(shù)據(jù)分析和挖掘都是瞎胡鬧。

本階段的主要工作包括：確定商業(yè)目標(biāo)，發(fā)現(xiàn)影響結(jié)果的重要因素，從商業(yè)角度描繪客戶的首要目標(biāo)，評(píng)估形勢(shì)，查找所有的資源、局限、設(shè)想以及在確定數(shù)據(jù)分析目標(biāo)和項(xiàng)目方案時(shí)考慮到的各種其他的因素，包括風(fēng)險(xiǎn)和意外、相關(guān)術(shù)語、成本和收益等等，接下來確定數(shù)據(jù)挖掘的目標(biāo)，并制定項(xiàng)目計(jì)劃。

2.數(shù)據(jù)理解

數(shù)據(jù)理解階段開始于數(shù)據(jù)的收集工作。接下來就是熟悉數(shù)據(jù)，具體如：檢測(cè)數(shù)據(jù)的量，對(duì)數(shù)據(jù)有初步的理解，探測(cè)數(shù)據(jù)中比較有趣的數(shù)據(jù)子集，進(jìn)而形成對(duì)潛在信息的假設(shè)。收集原始數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行裝載，描繪數(shù)據(jù)，并且探索數(shù)據(jù)特征，進(jìn)行簡(jiǎn)單的特征統(tǒng)計(jì)，檢驗(yàn)數(shù)據(jù)的質(zhì)量，包括數(shù)據(jù)的完整性和正確性，缺失值的填補(bǔ)等。

3.數(shù)據(jù)準(zhǔn)備

在建立數(shù)據(jù)挖掘模型之前對(duì)數(shù)據(jù)做最后的準(zhǔn)備工作，主要是把收集到的各部分?jǐn)?shù)據(jù)關(guān)聯(lián)起來，形成一張最終數(shù)據(jù)寬表。這個(gè)階段其實(shí)是耗時(shí)最長(zhǎng)的階段，一般會(huì)占據(jù)整個(gè)數(shù)據(jù)挖掘項(xiàng)目的70%左右的時(shí)間，包括數(shù)據(jù)導(dǎo)入、數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)合并、新變量計(jì)算等。 

數(shù)據(jù)準(zhǔn)備工作有可能被實(shí)施多次，而且其實(shí)施順序并不是預(yù)先規(guī)定好的。

4.模型構(gòu)建

模型構(gòu)建是數(shù)據(jù)挖掘工作的核心階段。主要包括準(zhǔn)備模型的訓(xùn)練集和驗(yàn)證集、選擇并使用適當(dāng)?shù)慕＜夹g(shù)和算法、模型建立、模型效果對(duì)比等工作。

在這一階段，各種各樣的建模方法將被加以選擇和使用。通過建造、評(píng)估模型將其參數(shù)校準(zhǔn)為最為理想的值。比較典型的是，對(duì)于同一個(gè)數(shù)據(jù)挖掘的問題類型，可以有多種方法選擇使用。如果有多重技術(shù)要使用，那么在這一任務(wù)中，對(duì)于每一個(gè)要使用的技術(shù)要分別對(duì)待。 

有一些建模方法對(duì)數(shù)據(jù)的形式有具體的要求，因此，在這一階段，重新回到數(shù)據(jù)準(zhǔn)備階段執(zhí)行某些任務(wù)有時(shí)是非常必要的。

5.模型評(píng)估

從數(shù)據(jù)分析的角度考慮，在這一階段中，已經(jīng)建立了一個(gè)或多個(gè)高質(zhì)量的模型。但在進(jìn)行最終的模型部署之前，更加徹底地評(píng)估模型，回顧在構(gòu)建模型過程中所執(zhí)行的每一個(gè)步驟，是非常重要的，這樣可以確保這些模型是否達(dá)到了企業(yè)的目標(biāo)。

一個(gè)關(guān)鍵的評(píng)價(jià)指標(biāo)就是，看是否仍然有一些重要的企業(yè)問題還沒有被充分地加以注意和考慮。在這一階段結(jié)束之時(shí)，有關(guān)數(shù)據(jù)挖掘結(jié)果的使用應(yīng)達(dá)成一致的決定。

模型評(píng)估主要從兩個(gè)方面進(jìn)行評(píng)價(jià)：

技術(shù)層面：設(shè)計(jì)對(duì)照組進(jìn)行比較；根據(jù)常用的模型評(píng)估指標(biāo)進(jìn)行評(píng)價(jià)，如命中率、覆蓋率、提升度等；

業(yè)務(wù)經(jīng)驗(yàn)：業(yè)務(wù)專家憑借業(yè)務(wù)經(jīng)驗(yàn)對(duì)數(shù)據(jù)挖掘結(jié)果進(jìn)行評(píng)估。

6.模型部署

將數(shù)據(jù)挖掘成果程序化，將模型寫成存儲(chǔ)過程固化到IT平臺(tái)上，并持續(xù)觀察模型衰退變化，在發(fā)生模型衰退時(shí)，引入新的變量進(jìn)行模型優(yōu)化。