數(shù)據(jù)挖掘有很多不同的實(shí)施方法，如果只是把數(shù)據(jù)拉到Excel表格中計(jì)算一下，那只是數(shù)據(jù)分析，不是數(shù)據(jù)挖掘。本文主要講解數(shù)據(jù)挖掘的基本規(guī)范流程。CRISP-DM和SEMMA是兩種常用的數(shù)據(jù)挖掘流程。

數(shù)據(jù)挖掘的一般步驟

從數(shù)據(jù)本身來考慮，數(shù)據(jù)挖掘通常需要有信息收集、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約、數(shù)據(jù)清理、數(shù)據(jù)變換、數(shù)據(jù)挖掘實(shí)施過程、模式評估和知識表示8個(gè)步驟。

步驟（1）信息收集：根據(jù)確定的數(shù)據(jù)分析對象，抽象出在數(shù)據(jù)分析中所需要的特征信息，然后選擇合適的信息收集方法，將收集到的信息存入數(shù)據(jù)庫。對于海量數(shù)據(jù)，選擇一個(gè)合適的數(shù)
據(jù)存儲(chǔ)和管理的數(shù)據(jù)倉庫是至關(guān)重要的。

步驟（2）數(shù)據(jù)集成：把不同來源、格式、特點(diǎn)性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機(jī)地集中，從而為企業(yè)提供全面的數(shù)據(jù)共享。

步驟（3）數(shù)據(jù)規(guī)約：如果執(zhí)行多數(shù)的數(shù)據(jù)挖掘算法，即使是在少量數(shù)據(jù)上也需要很長的時(shí)間，而做商業(yè)運(yùn)營數(shù)據(jù)挖掘時(shí)數(shù)據(jù)量往往非常大。數(shù)據(jù)規(guī)約技術(shù)可以用來得到數(shù)據(jù)集的規(guī)約表示，它小得多，但仍然接近于保持原數(shù)據(jù)的完整性，并且規(guī)約后執(zhí)行數(shù)據(jù)挖掘結(jié)果與規(guī)約前執(zhí)行結(jié)果相同或幾乎相同。

步驟（4）數(shù)據(jù)清理：在數(shù)據(jù)庫中的數(shù)據(jù)有一些是不完整的（有些感興趣的屬性缺少屬性值）、含噪聲的（包含錯(cuò)誤的屬性值），并且是不一致的（同樣的信息不同的表示方式），因此需要進(jìn)行數(shù)據(jù)清理，將完整、正確、一致的數(shù)據(jù)信息存入數(shù)據(jù)倉庫中。不然，挖掘的結(jié)果會(huì)差強(qiáng)人意。

步驟（5）數(shù)據(jù)變換：通過平滑聚集、數(shù)據(jù)概化、規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)挖掘的形式。對于有些實(shí)數(shù)型數(shù)據(jù)，通過概念分層和數(shù)據(jù)的離散化來轉(zhuǎn)換數(shù)據(jù)也是重要的一步。

步驟（6）數(shù)據(jù)挖掘過程：根據(jù)數(shù)據(jù)倉庫中的數(shù)據(jù)信息，選擇合適的分析工具，應(yīng)用統(tǒng)計(jì)方法、事例推理、決策樹、規(guī)則推理、模糊集，甚至神經(jīng)網(wǎng)絡(luò)、遺傳算法的方法處理信息，得出有
用的分析信息。

步驟（7）模式評估：從商業(yè)角度，由行業(yè)專家來驗(yàn)證數(shù)據(jù)挖掘結(jié)果的正確性。

步驟（8）知識表示：將數(shù)據(jù)挖掘所得到的分析信息以可視化的方式呈現(xiàn)給用戶，或作為新的知識存放在知識庫中，供其他應(yīng)用程序使用。

數(shù)據(jù)挖掘過程是一個(gè)反復(fù)循環(huán)的過程，每一個(gè)步驟如果沒有達(dá)到預(yù)期目標(biāo)，都需要回到前面的步驟，重新調(diào)整并執(zhí)行。不是每件數(shù)據(jù)挖掘的工作都需要這里列出的每一步，例如在某個(gè)工作
中不存在多個(gè)數(shù)據(jù)源的時(shí)候，步驟（2）便可以省略。步驟（3）數(shù)據(jù)規(guī)約、步驟（4）數(shù)據(jù)清理、步驟（5）數(shù)據(jù)變換又合稱數(shù)據(jù)預(yù)處理。在數(shù)據(jù)挖掘中，至少60%的費(fèi)用可能要花在步驟（1）信息收集階段，而其中至少60%以上的精力和時(shí)間花在了數(shù)據(jù)預(yù)處理過程中。

幾個(gè)數(shù)據(jù)挖掘中常用的概念

除了之前我們提到的分類，還有一些概念是我們在數(shù)據(jù)挖掘中常用的，比如聚類算法、時(shí)間序列算法、估計(jì)和預(yù)測以及關(guān)聯(lián)算法等。我們將在本節(jié)中介紹幾個(gè)常用概念以加深讀者對數(shù)據(jù)挖
掘的理解。

聚類

所謂聚類，就是類或簇（Cluster）的聚合，而類是一個(gè)數(shù)據(jù)對象的集合。

和分類一樣，聚類的目的也是把所有的對象分成不同的群組，但和分類算法的最大不同在于采用聚類算法劃分之前并不知道要把數(shù)據(jù)分成幾組，也不知道依賴哪些變量來劃分。

聚類有時(shí)也稱分段，是指將具有相同特征的人歸結(jié)為一組，將特征平均，以形成一個(gè)“特征矢量”或“矢心”。聚類系統(tǒng)通常能夠把相似的對象通過靜態(tài)分類的方法分成不同的組別或者更多的子集（Subset），這樣在同一個(gè)子集中的成員對象都有相似的一些屬性。聚類被一些提供商用來直接提供不同訪客群組或者客戶群組特征的報(bào)告。聚類算法是數(shù)據(jù)挖掘的核心技術(shù)之一，而除了本身的算法應(yīng)用之外，聚類分析也可以作為數(shù)據(jù)挖掘算法中其他分析算法的一個(gè)預(yù)處理步驟。

下圖是聚類算法的一種展示。圖中的Cluster1和Cluster2分別代表聚類算法計(jì)算出的兩類樣本。打“+”號的是Cluster1，而打“○”標(biāo)記的是Cluster2。

在商業(yè)中，聚類可以幫助市場分析人員從消費(fèi)者數(shù)據(jù)庫中區(qū)分出不同的消費(fèi)群體，并且概括出每一類消費(fèi)者的消費(fèi)模式或者消費(fèi)習(xí)慣。它作為數(shù)據(jù)挖掘中的一個(gè)模塊，可以作為一個(gè)單獨(dú)的工具以發(fā)現(xiàn)數(shù)據(jù)庫中分布的一些深層次的信息，或者把注意力放在某一個(gè)特定的類上以作進(jìn)一步的分析并概括出每一類數(shù)據(jù)的特點(diǎn)。

在商業(yè)中，聚類可以幫助市場分析人員從消費(fèi)者數(shù)據(jù)庫中區(qū)分出不同的消費(fèi)群體，并且概括出每一類消費(fèi)者的消費(fèi)模式或者消費(fèi)習(xí)慣。它作為數(shù)據(jù)挖掘中的一個(gè)模塊，可以作為一個(gè)單獨(dú)的工具以發(fā)現(xiàn)數(shù)據(jù)庫中分布的一些深層次的信息，或者把注意力放在某一個(gè)特定的類上以作進(jìn)一步的分析并概括出每一類數(shù)據(jù)的特點(diǎn)。

聚類分析的算法可以分為劃分法（Partitioning Methods）、 層次法（Hierarchical Methods）、基于密度的方法（Density-Based Methods）、基于網(wǎng)格的方法（Grid-Based Methods）和基于模型的方法（Model-Based Methods）等。

比如，下面幾個(gè)場景比較適合應(yīng)用聚類算法，同時(shí)又有相應(yīng)的商業(yè)應(yīng)用：

哪些特定癥狀的聚集可能預(yù)示什么特定的疾??？

租同一類型車的是哪一類客戶？

網(wǎng)絡(luò)游戲上增加什么功能可以吸引哪些人來？

哪些客戶是我們想要長期保留的客戶？

聚類算法除了本身的應(yīng)用之外還可以作為其他數(shù)據(jù)挖掘方法的補(bǔ)充，比如聚類算法可以用在數(shù)據(jù)挖掘的第一步，因?yàn)椴煌垲愔械膫€(gè)體相似度可能差別比較大。例如，哪一種類的促銷對客戶響應(yīng)最好？對于這一類問題，首先對整個(gè)客戶做聚集，將客戶分組在各自的聚集里，然后對每個(gè)不同的聚集，再通過其他數(shù)據(jù)挖掘算法來分析，效果會(huì)更好。

后面的文章中我們還會(huì)詳細(xì)介紹聚類算法是如何實(shí)現(xiàn)的。本文中多次提到的RFM模型也是基于聚類算法的數(shù)據(jù)挖掘模型。而在營銷領(lǐng)域的客戶關(guān)系管理中，RFM聚類模型也是最經(jīng)常被使用的一種模型。

估測和預(yù)測

估測（Estimation）和預(yù)測（Prediction）是數(shù)據(jù)挖掘中比較常用的應(yīng)用。估測應(yīng)用是用來猜測現(xiàn)在的未知值，而預(yù)測應(yīng)用是預(yù)測未來的某一個(gè)未知值。估測和預(yù)測在很多時(shí)候可以使用同樣的算法。估測通常用來為一個(gè)存在但是未知的數(shù)值填空，而預(yù)測的數(shù)值對象發(fā)生在將來，往往目前并不存在。舉例來說，如果我們不知道某人的收入，可以通過與收入密切相關(guān)的量來估測，然后找到具有類似特征的其他人，利用他們的收入來估測未知者的收入和信用值。還是以某人的未來收入為例來談?lì)A(yù)測，我們可以根據(jù)歷史數(shù)據(jù)來分析收入和各種變量的關(guān)系以及時(shí)間序列的變化，從而預(yù)測他在未來某個(gè)時(shí)間點(diǎn)的具體收入會(huì)是多少。

估測和預(yù)測在很多時(shí)候也可以連起來應(yīng)用。比如我們可以根據(jù)購買模式來估測一個(gè)家庭的孩子個(gè)數(shù)和家庭人口結(jié)構(gòu)。或者根據(jù)購買模式，估測一個(gè)家庭的收入，然后預(yù)測這個(gè)家庭將來最需要的產(chǎn)品和數(shù)量，以及需要這些產(chǎn)品的時(shí)間點(diǎn)。

對于估測和預(yù)測所做的數(shù)據(jù)分析可以稱作預(yù)測分析（Predictive Analysis），而因?yàn)閼?yīng)用非常普遍，現(xiàn)在預(yù)測分析被不少商業(yè)客戶和數(shù)據(jù)挖掘行業(yè)的從業(yè)人員當(dāng)作數(shù)據(jù)挖掘的同義詞。

我們在數(shù)據(jù)分析中經(jīng)常聽到的回歸分析（Regression Analysis）就是經(jīng)常被用來做估測和預(yù)測的分析方法。所謂回歸分析，或者簡稱回歸，指的是預(yù)測多個(gè)變量之間相互關(guān)系的技術(shù)，而這門技術(shù)在數(shù)據(jù)挖掘中的應(yīng)用是非常廣泛的。

決策樹

在所有的數(shù)據(jù)挖掘算法中，最早在 http://www.36dsj.com/archives/15292 提到的決策樹可能是最容易讓人理解的數(shù)據(jù)挖掘過程。決策樹本質(zhì)上是導(dǎo)致做出某項(xiàng)決策的問題或數(shù)據(jù)點(diǎn)的流程圖。比如購買汽車的決策樹可以從是否需要2012年的新型汽車開始，接著詢問所需車型，然后詢問用戶需要?jiǎng)恿π蛙囘€是經(jīng)濟(jì)型車等，直到確定用戶所最需要的車為止。決策樹系統(tǒng)設(shè)法創(chuàng)建最優(yōu)路徑，將問題排序，這樣，經(jīng)過最少的步驟，便可以做出決定。

據(jù)統(tǒng)計(jì)，在2012年，被數(shù)據(jù)挖掘業(yè)者使用頻率最高的三類算法是決策樹、回歸和聚類分析。而且因?yàn)?a href='/map/jueceshu/' style='color:#000;font-size:inherit;'>決策樹的直觀性，幾乎所有的數(shù)據(jù)挖掘的專業(yè)書籍都是從某一個(gè)決策樹算法開始講起的：如ID3/C4.5/C5.0，CART，QUEST，CHAID等。

有些決策樹做得很精細(xì)，用到了數(shù)據(jù)大部分的屬性，這時(shí)，我們可能闖入了一個(gè)誤區(qū)，因?yàn)樵?a href='/map/jueceshu/' style='color:#000;font-size:inherit;'>決策樹算法上我們需要避免的一個(gè)問題是把決策樹構(gòu)建得過大，過于復(fù)雜。過于復(fù)雜的決策樹往往會(huì)過度擬合（Over-Fitting），不穩(wěn)定，而且有時(shí)候無法詮釋。

這時(shí)我們可以把一棵大的決策樹分解成多棵較小的決策樹來解決這一問題。

我們來看一個(gè)商用的決策樹實(shí)例。下圖中展示的是用IBM SPSS Modeler數(shù)據(jù)挖掘軟件構(gòu)建的一棵決策樹，是美國商業(yè)銀行用以判斷客戶的信用等級的決策樹模型。