一小時了解數(shù)據(jù)挖掘⑤數(shù)據(jù)挖掘步驟＆常用的聚類、決策樹和CRISP-DM概念

數(shù)據(jù)挖掘有很多不同的實施方法，如果只是把數(shù)據(jù)拉到Excel表格中計算一下，那只是數(shù)據(jù)分析，不是數(shù)據(jù)挖掘。本文主要講解數(shù)據(jù)挖掘的基本規(guī)范流程。CRISP-DM和SEMMA是兩種常用的數(shù)據(jù)挖掘流程。

數(shù)據(jù)挖掘的一般步驟

從數(shù)據(jù)本身來考慮，數(shù)據(jù)挖掘通常需要有信息收集、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約、數(shù)據(jù)清理、數(shù)據(jù)變換、數(shù)據(jù)挖掘實施過程、模式評估和知識表示8個步驟。

步驟（1）信息收集：數(shù)據(jù)分析師根據(jù)確定的數(shù)據(jù)分析對象，抽象出在數(shù)據(jù)分析中所需要的特征信息，然后選擇合適的信息收集方法，將收集到的信息存入數(shù)據(jù)庫。對于海量數(shù)據(jù)，選擇一個合適的數(shù)
據(jù)存儲和管理的數(shù)據(jù)倉庫是至關(guān)重要的。

步驟（2）數(shù)據(jù)集成：數(shù)據(jù)分析師把不同來源、格式、特點性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機地集中，從而為企業(yè)提供全面的數(shù)據(jù)共享。

步驟（3）數(shù)據(jù)規(guī)約：數(shù)據(jù)分析師如果執(zhí)行多數(shù)的數(shù)據(jù)挖掘算法，即使是在少量數(shù)據(jù)上也需要很長的時間，而做商業(yè)運營數(shù)據(jù)挖掘時數(shù)據(jù)量往往非常大。數(shù)據(jù)規(guī)約技術(shù)可以用來得到數(shù)據(jù)集的規(guī)約表示，它小得多，但仍然接近于保持原數(shù)據(jù)的完整性，并且規(guī)約后執(zhí)行數(shù)據(jù)挖掘結(jié)果與規(guī)約前執(zhí)行結(jié)果相同或幾乎相同。

步驟（4）數(shù)據(jù)清理：在數(shù)據(jù)庫中的數(shù)據(jù)有一些是不完整的（有些感興趣的屬性缺少屬性值）、含噪聲的（包含錯誤的屬性值），并且是不一致的（同樣的信息不同的表示方式），因此需要進行數(shù)據(jù)清理，將完整、正確、一致的數(shù)據(jù)信息存入數(shù)據(jù)倉庫中。不然，挖掘的結(jié)果會差強人意。

步驟（5）數(shù)據(jù)變換：通過平滑聚集、數(shù)據(jù)概化、規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)挖掘的形式。對于有些實數(shù)型數(shù)據(jù)，通過概念分層和數(shù)據(jù)的離散化來轉(zhuǎn)換數(shù)據(jù)也是重要的一步。

步驟（6）數(shù)據(jù)挖掘過程：根據(jù)數(shù)據(jù)倉庫中的數(shù)據(jù)信息，選擇合適的分析工具，應(yīng)用統(tǒng)計方法、事例推理、決策樹、規(guī)則推理、模糊集，甚至神經(jīng)網(wǎng)絡(luò)、遺傳算法的方法處理信息，得出有
用的分析信息。

步驟（7）模式評估：從商業(yè)角度，由行業(yè)專家來驗證數(shù)據(jù)挖掘結(jié)果的正確性。

步驟（8）知識表示：將數(shù)據(jù)挖掘所得到的分析信息以可視化的方式呈現(xiàn)給用戶，或作為新的知識存放在知識庫中，供其他應(yīng)用程序使用。

數(shù)據(jù)挖掘過程是一個反復(fù)循環(huán)的過程，每一個步驟如果沒有達到預(yù)期目標，都需要回到前面的步驟，重新調(diào)整并執(zhí)行。不是每件數(shù)據(jù)挖掘的工作都需要這里列出的每一步，例如在某個工作
中不存在多個數(shù)據(jù)源的時候，步驟（2）便可以省略。步驟（3）數(shù)據(jù)規(guī)約、步驟（4）數(shù)據(jù)清理、步驟（5）數(shù)據(jù)變換又合稱數(shù)據(jù)預(yù)處理。在數(shù)據(jù)挖掘中，至少60%的費用可能要花在步驟（1）信息收集階段，而其中至少60%以上的精力和時間花在了數(shù)據(jù)預(yù)處理過程中。

幾個數(shù)據(jù)挖掘中常用的概念

除了之前我們提到的分類，還有一些概念是我們在數(shù)據(jù)挖掘中常用的，比如聚類算法、時間序列算法、估計和預(yù)測以及關(guān)聯(lián)算法等。我們將在本節(jié)中介紹幾個常用概念以加深讀者對數(shù)據(jù)挖
掘的理解。

聚類

所謂聚類，就是類或簇（Cluster）的聚合，而類是一個數(shù)據(jù)對象的集合。

和分類一樣，聚類的目的也是把所有的對象分成不同的群組，但和分類算法的最大不同在于采用聚類算法劃分之前并不知道要把數(shù)據(jù)分成幾組，也不知道依賴哪些變量來劃分。

聚類有時也稱分段，是指將具有相同特征的人歸結(jié)為一組，將特征平均，以形成一個“特征矢量”或“矢心”。聚類系統(tǒng)通常能夠把相似的對象通過靜態(tài)分類的方法分成不同的組別或者更多的子集（Subset），這樣在同一個子集中的成員對象都有相似的一些屬性。聚類被一些提供商用來直接提供不同訪客群組或者客戶群組特征的報告。聚類算法是數(shù)據(jù)挖掘的核心技術(shù)之一，而除了本身的算法應(yīng)用之外，聚類分析也可以作為數(shù)據(jù)挖掘算法中其他分析算法的一個預(yù)處理步驟。

下圖是聚類算法的一種展示。圖中的Cluster1和Cluster2分別代表聚類算法計算出的兩類樣本。打“+”號的是Cluster1，而打“○”標記的是Cluster2。

在商業(yè)中，聚類可以幫助市場分析人員從消費者數(shù)據(jù)庫中區(qū)分出不同的消費群體，并且概括出每一類消費者的消費模式或者消費習慣。它作為數(shù)據(jù)挖掘中的一個模塊，可以作為一個單獨的工具以發(fā)現(xiàn)數(shù)據(jù)庫中分布的一些深層次的信息，或者把注意力放在某一個特定的類上以作進一步的分析并概括出每一類數(shù)據(jù)的特點。

在商業(yè)中，聚類可以幫助市場分析人員從消費者數(shù)據(jù)庫中區(qū)分出不同的消費群體，并且概括出每一類消費者的消費模式或者消費習慣。它作為數(shù)據(jù)挖掘中的一個模塊，可以作為一個單獨的工具以發(fā)現(xiàn)數(shù)據(jù)庫中分布的一些深層次的信息，或者把注意力放在某一個特定的類上以作進一步的分析并概括出每一類數(shù)據(jù)的特點。

聚類分析的算法可以分為劃分法（Partitioning Methods）、 層次法（Hierarchical Methods）、基于密度的方法（Density-Based Methods）、基于網(wǎng)格的方法（Grid-Based Methods）和基于模型的方法（Model-Based Methods）等。

比如，下面幾個場景比較適合應(yīng)用聚類算法，同時又有相應(yīng)的商業(yè)應(yīng)用：

哪些特定癥狀的聚集可能預(yù)示什么特定的疾??？

租同一類型車的是哪一類客戶？

網(wǎng)絡(luò)游戲上增加什么功能可以吸引哪些人來？

哪些客戶是我們想要長期保留的客戶？

聚類算法除了本身的應(yīng)用之外還可以作為其他數(shù)據(jù)挖掘方法的補充，比如聚類算法可以用在數(shù)據(jù)挖掘的第一步，因為不同聚類中的個體相似度可能差別比較大。例如，哪一種類的促銷對客戶響應(yīng)最好？對于這一類問題，首先對整個客戶做聚集，將客戶分組在各自的聚集里，然后對每個不同的聚集，再通過其他數(shù)據(jù)挖掘算法來分析，效果會更好。

后面的文章中我們還會詳細介紹聚類算法是如何實現(xiàn)的。本文中多次提到的RFM模型也是基于聚類算法的數(shù)據(jù)挖掘模型。而在營銷領(lǐng)域的客戶關(guān)系管理中，RFM聚類模型也是最經(jīng)常被使用的一種模型。

估測和預(yù)測

估測（Estimation）和預(yù)測（Prediction）是數(shù)據(jù)挖掘中比較常用的應(yīng)用。估測應(yīng)用是用來猜測現(xiàn)在的未知值，而預(yù)測應(yīng)用是預(yù)測未來的某一個未知值。估測和預(yù)測在很多時候可以使用同樣的算法。估測通常用來為一個存在但是未知的數(shù)值填空，而預(yù)測的數(shù)值對象發(fā)生在將來，往往目前并不存在。舉例來說，如果我們不知道某人的收入，可以通過與收入密切相關(guān)的量來估測，然后找到具有類似特征的其他人，利用他們的收入來估測未知者的收入和信用值。還是以某人的未來收入為例來談預(yù)測，我們可以根據(jù)歷史數(shù)據(jù)來分析收入和各種變量的關(guān)系以及時間序列的變化，從而預(yù)測他在未來某個時間點的具體收入會是多少。

估測和預(yù)測在很多時候也可以連起來應(yīng)用。比如我們可以根據(jù)購買模式來估測一個家庭的孩子個數(shù)和家庭人口結(jié)構(gòu)?；蛘吒鶕?jù)購買模式，估測一個家庭的收入，然后預(yù)測這個家庭將來最需要的產(chǎn)品和數(shù)量，以及需要這些產(chǎn)品的時間點。

對于估測和預(yù)測所做的數(shù)據(jù)分析可以稱作預(yù)測分析（Predictive Analysis），而因為應(yīng)用非常普遍，現(xiàn)在預(yù)測分析被不少商業(yè)客戶和數(shù)據(jù)挖掘行業(yè)的從業(yè)人員當作數(shù)據(jù)挖掘的同義詞。

我們在數(shù)據(jù)分析中經(jīng)常聽到的回歸分析（Regression Analysis）就是經(jīng)常被用來做估測和預(yù)測的分析方法。所謂回歸分析，或者簡稱回歸，指的是預(yù)測多個變量之間相互關(guān)系的技術(shù)，而這門技術(shù)在數(shù)據(jù)挖掘中的應(yīng)用是非常廣泛的。

決策樹

在所有的數(shù)據(jù)挖掘算法中，最早在提到的決策樹可能是最容易讓人理解的數(shù)據(jù)挖掘過程。決策樹本質(zhì)上是導(dǎo)致做出某項決策的問題或數(shù)據(jù)點的流程圖。比如購買汽車的決策樹可以從是否需要2012年的新型汽車開始，接著詢問所需車型，然后詢問用戶需要動力型車還是經(jīng)濟型車等，直到確定用戶所最需要的車為止。決策樹系統(tǒng)設(shè)法創(chuàng)建最優(yōu)路徑，將問題排序，這樣，經(jīng)過最少的步驟，便可以做出決定。

據(jù)統(tǒng)計，在2012年，被數(shù)據(jù)挖掘業(yè)者使用頻率最高的三類算法是決策樹、回歸和聚類分析。而且因為決策樹的直觀性，幾乎所有的數(shù)據(jù)挖掘的專業(yè)書籍都是從某一個決策樹算法開始講起的：如ID3/C4.5/C5.0，CART，QUEST，CHAID等。

有些決策樹做得很精細，用到了數(shù)據(jù)大部分的屬性，這時，我們可能闖入了一個誤區(qū)，因為在決策樹算法上我們需要避免的一個問題是把決策樹構(gòu)建得過大，過于復(fù)雜。過于復(fù)雜的決策樹往往會過度擬合（Over-Fitting），不穩(wěn)定，而且有時候無法詮釋。

這時我們可以把一棵大的決策樹分解成多棵較小的決策樹來解決這一問題。

我們來看一個商用的決策樹實例。下圖中展示的是用IBM SPSS Modeler數(shù)據(jù)挖掘軟件構(gòu)建的一棵決策樹，是美國商業(yè)銀行用以判斷客戶的信用等級的決策樹模型。

上圖是根據(jù)收入、信用卡數(shù)量和年齡構(gòu)建的決策樹，并以80%的準確率作為劃分的閾值。第一個分支查的是收入，設(shè)立了兩個關(guān)鍵數(shù)據(jù)分隔點，按照收入把人群先劃分成3組：低收入、中等收入和高收入。其中低收入的節(jié)點直接變成葉子節(jié)點，這組人中82.0976%的人的信用等級是差的（Bad），而且信用卡個數(shù)或者年齡對信用等級的分類沒有幫助。決策樹的第二層判斷是根據(jù)已經(jīng)擁有的信用卡個數(shù)。以此作為判斷，高收入人群可以再做劃分。其中擁有卡個數(shù)在5個或以上的82.4176%信用等級是優(yōu)質(zhì)的（Good），而擁有卡的數(shù)量在5張以下的，高達96.8944%的人信用等級是優(yōu)質(zhì)的。因為這棵樹一共有6個葉子節(jié)點，所我們最終劃分出6組人群，其中有一組信用等級為優(yōu)質(zhì)的人群占比56.3147%，是無法判斷的。其中在數(shù)據(jù)上表現(xiàn)最好的是高收入而信用卡個數(shù)在5張以下的人，把他們判斷為優(yōu)質(zhì)信用等級有96.8944%的準確率。

如果我們手里還有別的數(shù)據(jù)，比如是否有房有車，是否結(jié)婚等，那么通過測試，可以進一步提高這棵決策樹的精度。

CRISP-DM

1999年，在歐盟（European Commission）的資助下，由SPSS、DaimlerChrysler、NCR和OHRA發(fā)起的CRISP-DM Special Interest Group 組織開發(fā)并提煉出CRISP-DM（CRoss-Industry Standard Process for Data Mining），進行了大規(guī)模數(shù)據(jù)挖掘項目的實際試用。

CRISP-DM提供了一個數(shù)據(jù)挖掘生命周期的全面評述。它包括項目的相應(yīng)周期，它們的各自任務(wù)和這些任務(wù)的關(guān)系。在這個描述層，識別出所有關(guān)系是不可能的。所有數(shù)據(jù)挖掘任務(wù)之間關(guān)系的存在是依賴用戶的目的、背景和興趣，最重要的還有數(shù)據(jù)。SIG組織已經(jīng)發(fā)布了CRISP-DM Process Guide and User Manual的電子版。在這個組織中，除了SPSS是數(shù)據(jù)挖掘軟件提供商，其他的幾個發(fā)起者都是數(shù)據(jù)挖掘的應(yīng)用方。所以CRISP-DM和SPSS自有開發(fā)的SPSS Modeler契合度非常好。

一個數(shù)據(jù)挖掘項目的生命周期包含六個階段。這六個階段的順序是不固定的，我們經(jīng)常需要前后調(diào)整這些階段。這依賴每個階段或是階段中特定任務(wù)的產(chǎn)出物是否是下一個階段必須的輸入，下圖中箭頭指出了最重要的和依賴度高的階段關(guān)系。

上中最外面這一圈表示數(shù)據(jù)挖掘自身的循環(huán)本質(zhì)，每一個解決方案發(fā)布之后代表另一個數(shù)據(jù)挖掘的過程也已經(jīng)開始了。在這個過程中得到的知識可以觸發(fā)新的，經(jīng)常是更聚焦的商業(yè)問題。后續(xù)的過程可以從前一個過程中得到益處。

我們把CRISP-DM的數(shù)據(jù)挖掘生命周期中的六個階段，也就是上圖中的概念解釋如下：

業(yè)務(wù)理解（Business Understanding）

最初的階段集中在理解項目目標和從業(yè)務(wù)的角度理解需求，同時將這個知識轉(zhuǎn)化為數(shù)據(jù)挖掘問題的定義和完成目標的初步計劃。

數(shù)據(jù)理解（Data Understanding）

數(shù)據(jù)理解階段從初始的數(shù)據(jù)收集開始，通過一些活動的處理，目的是熟悉數(shù)據(jù)，識別數(shù)據(jù)的質(zhì)量問題，首次發(fā)現(xiàn)數(shù)據(jù)的內(nèi)部屬性，或是探測引起興趣的子集去形成隱含信息的假設(shè)。

數(shù)據(jù)準備（Data Preparation）

數(shù)據(jù)準備階段包括從未處理的數(shù)據(jù)中構(gòu)造最終數(shù)據(jù)集的所有活動。這些數(shù)據(jù)將是模型工具的輸入值。這個階段的任務(wù)能執(zhí)行多次，沒有任何規(guī)定的順序。任務(wù)包括表、記錄和屬性的選擇，以及為模型工具轉(zhuǎn)換和清洗數(shù)據(jù)。

建模（Modeling）

在這個階段，可以選擇和應(yīng)用不同的模型技術(shù)，模型參數(shù)被調(diào)整到最佳的數(shù)值。一般，有些技術(shù)可以解決一類相同的數(shù)據(jù)挖掘問題。有些技術(shù)在數(shù)據(jù)形成上有特殊要求，因此需要經(jīng)常跳回到數(shù)據(jù)準備階段。

評估（Evaluation）

到這個階段，數(shù)據(jù)分析師已經(jīng)從數(shù)據(jù)分析的角度建立了一個高質(zhì)量顯示的模型。在開始最后部署模型之前，重要的事情是徹底地評估模型，檢查構(gòu)造模型的步驟，確保模型可以完成業(yè)務(wù)目標。這個階段的關(guān)鍵目的是確定是否有重要業(yè)務(wù)問題沒有被充分的考慮。在這個階段結(jié)束后，一個數(shù)據(jù)挖掘結(jié)果使用的決定必須達成。