從定義到應(yīng)用 數(shù)據(jù)挖掘的一次權(quán)威定義之旅

　什么是數(shù)據(jù)挖掘

　　前兩天看到群里有人問(wèn)，什么是數(shù)據(jù)挖掘，現(xiàn)在就數(shù)據(jù)挖掘的概念做一下分析，并且盡量用大白話說(shuō)一下數(shù)據(jù)挖掘到底是個(gè)啥東西，為啥大數(shù)據(jù)來(lái)了數(shù)據(jù)挖掘也火了（其實(shí)原來(lái)就挺火）。

　　先看一上概念：

　　數(shù)據(jù)挖掘（英語(yǔ)：Data mining），又譯為資料探勘、數(shù)據(jù)采礦。它是數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)（英語(yǔ)：Knowledge-Discovery in Databases，簡(jiǎn)稱：KDD)中的一個(gè)步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過(guò)算法搜索隱藏于其中信息的過(guò)程。數(shù)據(jù)挖掘通常與計(jì)算機(jī)科學(xué)有關(guān)，并通過(guò)統(tǒng)計(jì)、在線分析處理、情報(bào)檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)（依靠過(guò)去的經(jīng)驗(yàn)法則）和模式識(shí)別等諸多方法來(lái)實(shí)現(xiàn)上述目標(biāo)。

　　數(shù)據(jù)挖掘簡(jiǎn)介

　　數(shù)據(jù)挖掘說(shuō)的直白些就是在海量的數(shù)據(jù)中找到有價(jià)值的數(shù)據(jù)，為企業(yè)經(jīng)營(yíng)決策提供依據(jù)。

　　價(jià)值包括以下幾類：

　　1、相關(guān)性

　　相關(guān)性分析是指對(duì)兩個(gè)或多個(gè)具備相關(guān)性的變量元素進(jìn)行分析，從而衡量?jī)蓚€(gè)變量因素的相關(guān)密切程度。相關(guān)性的元素之間需要存在一定的聯(lián)系或者概率才可以進(jìn)行相關(guān)性分析。相關(guān)性不等于因果性，也不是簡(jiǎn)單的個(gè)性化，相關(guān)性所涵蓋的范圍和領(lǐng)域幾乎覆蓋了我們所見(jiàn)到的方方面面，相關(guān)性在不同的學(xué)科里面的定義也有很大的差異。用于確定數(shù)據(jù)之間的變化情況，即其中一個(gè)屬性或幾個(gè)屬性變化的是否會(huì)對(duì)其它屬性造成影響，影響有多大。

　　下圖就是相關(guān)性的示例：

　　2、趨勢(shì)

　　是指將實(shí)際達(dá)到的結(jié)果，與不同時(shí)期財(cái)務(wù)報(bào)表中同類指標(biāo)的歷史數(shù)據(jù)進(jìn)行比較，從而確定財(cái)務(wù)狀況，經(jīng)營(yíng)成果和現(xiàn)金流量的變化趨勢(shì)和變化規(guī)律的一種分析方法。可以通過(guò)拆線圖預(yù)測(cè)數(shù)據(jù)的走向和趨勢(shì)，也可以通過(guò)環(huán)比、同比的方式對(duì)比較的結(jié)果進(jìn)行說(shuō)明。

　　如下圖所示：

　　3、特征

　　看具體分析的內(nèi)容是什么，比如互聯(lián)網(wǎng)類，就是用戶畫(huà)像這類的需求，根據(jù)不同的用戶給用戶群打相應(yīng)的標(biāo)簽。

　　下圖是一個(gè)示意圖：

　　展現(xiàn)形式

　　數(shù)據(jù)挖掘的結(jié)果一般有幾種展現(xiàn)形式：

　　1、表格

　　最早的一種展現(xiàn)方式，交叉表的展示，如下圖：

　　2、圖表

　　相比于圖表更具展現(xiàn)力，讓人很直觀的就能看出數(shù)據(jù)的整體情況，如下圖：

　　3、決策樹(shù)

　　套用俗語(yǔ)，決策樹(shù)分類的思想類似于找對(duì)象?，F(xiàn)想象一個(gè)女孩的母親要給這個(gè)女孩介紹男朋友，于是有了下面的對(duì)話：

　　女兒：多大年紀(jì)了？

　　母親：26。

　　女兒：長(zhǎng)的帥不帥？

　　母親：挺帥的。

　　女兒：收入高不？

　　母親：不算很高，中等情況。

　　女兒：是公務(wù)員不？

　　母親：是，在稅務(wù)局上班呢。

　　女兒：那好，我去見(jiàn)見(jiàn)。

　　這個(gè)女孩的決策過(guò)程就是典型的分類樹(shù)決策。相當(dāng)于通過(guò)年齡、長(zhǎng)相、收入和是否公務(wù)員對(duì)將男人分為兩個(gè)類別：見(jiàn)和不見(jiàn)。假設(shè)這個(gè)女孩對(duì)男人的要求是：30歲以下、長(zhǎng)相中等以上并且是高收入者或中等以上收入的公務(wù)員，那么這個(gè)可以用下圖表示女孩的決策邏輯：

　　數(shù)據(jù)挖掘涉及的領(lǐng)域

　　數(shù)據(jù)挖掘是計(jì)算機(jī)學(xué)科中的一個(gè)交叉研究領(lǐng)域，其研究方法與多個(gè)其他科學(xué)緊密相連，如：統(tǒng)計(jì)、機(jī)2器學(xué)習(xí)、專家系統(tǒng)、信息檢索、社會(huì)網(wǎng)絡(luò)、自然語(yǔ)言處理和模式識(shí)別等等。

　　什么是數(shù)據(jù)倉(cāng)庫(kù)？

　　數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的( Subject Oriented) 、集成的( Integrate) 、相對(duì)穩(wěn)定的(NonVolatile) 、反映歷史變化( Time Variant)的數(shù)據(jù)集合,用于支持管理決策。對(duì)于數(shù)據(jù)倉(cāng)庫(kù)的概念我們可以從兩個(gè)層次予以理：

　?、?a href='/map/shujucangku/' style='color:#000;font-size:inherit;'>數(shù)據(jù)倉(cāng)庫(kù)用于支持決策,面向分析型數(shù)據(jù)處理,它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫(kù)；

　?、?a href='/map/shujucangku/' style='color:#000;font-size:inherit;'>數(shù)據(jù)倉(cāng)庫(kù)是對(duì)多個(gè)異構(gòu)數(shù)據(jù)源的有效集成,集成后按照主題進(jìn)行了重組,并包含歷史數(shù)據(jù),而且存放在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一般不再修改。

　　企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是以現(xiàn)有企業(yè)業(yè)務(wù)系統(tǒng)和大量業(yè)務(wù)數(shù)據(jù)的積累為基礎(chǔ)。數(shù)據(jù)倉(cāng)庫(kù)不是靜態(tài)的概念,只有把信息及時(shí)交給需要這些信息的使用者,供他們作出改善其業(yè)務(wù)經(jīng)營(yíng)的決策,信息才能發(fā)揮作用,信息才有意義。而把信息加以整理、歸納和重組,并及時(shí)提供給相應(yīng)的管理決策人員是數(shù)據(jù)倉(cāng)庫(kù)的根本任務(wù)。

　　數(shù)據(jù)立方體與OLAP

　　數(shù)據(jù)立斱體以多維對(duì)數(shù)據(jù)迚行建模和觀察。

　　下圖就是客戶、產(chǎn)品和銷(xiāo)售的數(shù)據(jù)立方體：

　　OLAP的多維分析操作包括：鉆?。―rill-down）、上卷（Roll-up）、切片（Slice）、切塊（Dice）以及旋轉(zhuǎn)（Pivot）等。

　　鉆?。―rill-down）：在維的不同層次間的變化，從上層降到下一層，或者說(shuō)是將匯總數(shù)據(jù)拆分到更細(xì)節(jié)的數(shù)據(jù)，比如通過(guò)對(duì)2010年第二季度的總銷(xiāo)售數(shù)據(jù)進(jìn)行鉆取來(lái)查看2010年第二季度4、5、6每個(gè)月的消費(fèi)數(shù)據(jù)。

　　上卷（Roll-up）：鉆取的逆操作，即從細(xì)粒度數(shù)據(jù)向高層的聚合，如將江蘇省、上海市和浙江省的銷(xiāo)售數(shù)據(jù)進(jìn)行匯總來(lái)查看江浙滬地區(qū)的銷(xiāo)售數(shù)據(jù)。

　　切片（Slice）：選擇維中特定的值進(jìn)行分析，比如只選擇電子產(chǎn)品的銷(xiāo)售數(shù)據(jù)，或者2010年第二季度的數(shù)據(jù)。

　　切塊（Dice）：選擇維中特定區(qū)間的數(shù)據(jù)或者某批特定值進(jìn)行分析，比如選擇2010年第一季度到2010年第二季度的銷(xiāo)售數(shù)據(jù)，或者是電子產(chǎn)品和日用品的銷(xiāo)售數(shù)據(jù)。

　　旋轉(zhuǎn)（Pivot）：即維的位置的互換，就像是二維表的行列轉(zhuǎn)換，如圖中通過(guò)旋轉(zhuǎn)實(shí)現(xiàn)產(chǎn)品維和地域維的互換。

　　數(shù)據(jù)挖掘解決的四大類問(wèn)題

　　1、分類

　　分類技術(shù)在很多領(lǐng)域都有應(yīng)用，例如可以通過(guò)客戶分類構(gòu)造一個(gè)分類模型來(lái)對(duì)銀行貸款進(jìn)行風(fēng)險(xiǎn)評(píng)估；當(dāng)前的市場(chǎng)營(yíng)銷(xiāo)中很重要的一個(gè)特點(diǎn)是強(qiáng)調(diào)客戶細(xì)分?？蛻纛悇e分析的功能也在于此，采用數(shù)據(jù)挖掘中的分類技術(shù)，可以將客戶分成不同的類別，比如呼叫中心設(shè)計(jì)時(shí)可以分為：呼叫頻繁的客戶、偶然大量呼叫的客戶、穩(wěn)定呼叫的客戶、其他，幫助呼叫中心尋找出這些不同種類客戶之間的特征，這樣的分類模型可以讓用戶了解不同行為類別客戶的分布特征；其他分類應(yīng)用如文獻(xiàn)檢索和搜索引擎中的自動(dòng)文本分類技術(shù)；安全領(lǐng)域有基于分類技術(shù)的入侵檢測(cè)等等。機(jī)器學(xué)習(xí)、專家系統(tǒng)、統(tǒng)計(jì)學(xué)和神經(jīng)網(wǎng)絡(luò)等領(lǐng)域的研究人員已經(jīng)提出了許多具體的分類預(yù)測(cè)方法。下面對(duì)分類流程作個(gè)簡(jiǎn)要描述：

　　訓(xùn)練：訓(xùn)練集——>特征選取——>訓(xùn)練——>分類器

　　分類：新樣本——>特征選取——>分類——>判決

　　下面看一個(gè)基于決策樹(shù)的分類器的示例：

　　2、聚類

　　聚類：將數(shù)據(jù)對(duì)象劃分為若干類，同一類的對(duì)象具有較高的相似度，不同類的對(duì)象相似度較低。從這個(gè)簡(jiǎn)單的描述中，可以看出聚類的關(guān)鍵是如何度量對(duì)象間的相似性。較為常見(jiàn)的用于度量對(duì)象的相似度的方法有距離、密度等。

　　聚類分析的原理可以根據(jù)下圖來(lái)看：

　　對(duì)牌進(jìn)行分組：

　　按花色分：

　　按符號(hào)分：

　　按顏色分：

　　按大小程度相近分：

　　下面就是一個(gè)聚類的示例：

　　3、預(yù)測(cè)

　　數(shù)據(jù)挖掘預(yù)測(cè)與周易預(yù)測(cè)有相似之處。周易建立在陰陽(yáng)二元論基礎(chǔ)上，對(duì)天地萬(wàn)物進(jìn)行性狀歸類（天干地支五行論），精確到可以對(duì)事物的未來(lái)發(fā)展做出較為準(zhǔn)確的預(yù)測(cè)。許多學(xué)者認(rèn)為周易理論依據(jù)是萬(wàn)事萬(wàn)物的相似性、關(guān)聯(lián)性和全息性原理。這三個(gè)原理已被現(xiàn)代科學(xué)所證實(shí)。全息性是指事物的某一局部包含了整體的信息。例如，法醫(yī)工作者對(duì)一根毛發(fā)進(jìn)行化驗(yàn)，得出受害者或嫌疑人的許多身體特征。

　　周易預(yù)測(cè)通過(guò)對(duì)歷史事件的學(xué)習(xí)來(lái)積累經(jīng)驗(yàn)，得出事物間的相似性和關(guān)聯(lián)性，從而對(duì)事物的未來(lái)狀況做出預(yù)測(cè)。數(shù)據(jù)挖掘預(yù)測(cè)則是通過(guò)對(duì)樣本數(shù)據(jù)（歷史數(shù)據(jù)）的輸入值和輸出值關(guān)聯(lián)性的學(xué)習(xí)，得到預(yù)測(cè)模型，再利用該模型對(duì)未來(lái)的輸入值進(jìn)行輸出值預(yù)測(cè)。一般地，可以通過(guò)機(jī)器學(xué)習(xí)方法建立預(yù)測(cè)模型。DM（Data Mining）的技術(shù)基礎(chǔ)是人工智能（機(jī)器學(xué)習(xí)），但是DM僅僅利用了人工智能（AI）中一些已經(jīng)成熟的算法和技術(shù)，因而復(fù)雜度和難度都比AI小很多。

　　機(jī)器學(xué)習(xí)：假定事物的輸入、輸出之間存在一種函數(shù)關(guān)系y=f(x, β)，其中β是待定參數(shù)，x是輸入變量，則y=f(x, β)稱為學(xué)習(xí)機(jī)器。通過(guò)數(shù)據(jù)建模，由樣本數(shù)據(jù)（一般是歷史數(shù)據(jù)，包含輸入值和輸出值）學(xué)習(xí)得到參數(shù)β的取值，就確定了具體表達(dá)式y(tǒng)=f(x, β)，這樣就可以對(duì)新的x預(yù)測(cè)y了。這個(gè)過(guò)程稱作機(jī)器學(xué)習(xí)。

　　數(shù)據(jù)建模不同于數(shù)學(xué)建模，它是基于數(shù)據(jù)建立數(shù)學(xué)模型，它是相對(duì)于基于物理、化學(xué)和其他專業(yè)基本原理建立數(shù)學(xué)模型（即機(jī)理建模）而言的。對(duì)于預(yù)測(cè)來(lái)說(shuō)，如果所研究的對(duì)象有明晰的機(jī)理，可以依其進(jìn)行數(shù)學(xué)建模，這當(dāng)然是最好的選擇。但是實(shí)際問(wèn)題中，一般無(wú)法進(jìn)行機(jī)理建模。但是歷史數(shù)據(jù)往往是容易獲得的，這時(shí)就可使用數(shù)據(jù)建模。

　　典型的機(jī)器學(xué)習(xí)方法包括：決策樹(shù)方法、人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、正則化方法。其他常見(jiàn)的預(yù)測(cè)方法還有近鄰法、樸素貝葉斯（屬于統(tǒng)計(jì)學(xué)習(xí)方法）等。

　　預(yù)測(cè)的模型可以參考下圖：

　　4、關(guān)聯(lián)

　　分析各個(gè)物品或者商品之間同時(shí)出現(xiàn)的機(jī)率。

　　在各種數(shù)據(jù)挖掘算法中，關(guān)聯(lián)規(guī)則挖掘算是比較重要的一種，尤其是受購(gòu)物籃分析的影響，關(guān)聯(lián)規(guī)則被應(yīng)用到很多實(shí)際業(yè)務(wù)中。

　　首先，和聚類算法一樣，關(guān)聯(lián)規(guī)則挖掘?qū)儆?a href='/map/wujianduxuexi/' style='color:#000;font-size:inherit;'>無(wú)監(jiān)督學(xué)習(xí)方法，它描述的是在一個(gè)事物中物品間同時(shí)出現(xiàn)的規(guī)律的知識(shí)模式，現(xiàn)實(shí)生活中，比如超市購(gòu)物時(shí)，顧客購(gòu)買(mǎi)記錄常常隱含著很多關(guān)聯(lián)規(guī)則，比如購(gòu)買(mǎi)圓珠筆的顧客中有65%也購(gòu)買(mǎi)了筆記本，利用這些規(guī)則，商場(chǎng)人員可以很好的規(guī)劃商品擺放問(wèn)題。在電商網(wǎng)站中，利用關(guān)聯(lián)規(guī)則可以發(fā)現(xiàn)哪些用戶更喜歡哪類的商品，當(dāng)發(fā)現(xiàn)有類似的客戶的時(shí)候，可以將其它客戶購(gòu)買(mǎi)的商品推薦給相類似的客戶，以提高網(wǎng)站的收入。

　　下圖就是一個(gè)關(guān)聯(lián)的示例：

　　CRISP-DM

　　CRISP-DM 模型為一個(gè)KDD工程提供了一個(gè)完整的過(guò)程描述.該模型將一個(gè)KDD工程分為6個(gè)不同的,但順序并非完全不變的階段。

　　1: business understanding: 即商業(yè)理解. 在第一個(gè)階段我們必須從商業(yè)的角度上面了解項(xiàng)目的要求和最終目的是什么. 并將這些目的與數(shù)據(jù)挖掘的定義以及結(jié)果結(jié)合起來(lái)。

　　2: data understanding: 數(shù)據(jù)的理解以及收集,對(duì)可用的數(shù)據(jù)進(jìn)行評(píng)估。

　　3: data preperation: 數(shù)據(jù)的準(zhǔn)備,對(duì)可用的原始數(shù)據(jù)進(jìn)行一系列的組織以及清洗,使之達(dá)到建模需求。

　　4: modeling: 即應(yīng)用數(shù)據(jù)挖掘工具建立模型。

　　5: evaluation: 對(duì)建立的模型進(jìn)行評(píng)估,重點(diǎn)具體考慮得出的結(jié)果是否符合第一步的商業(yè)目的。

　　6: deployment: 部署（方案實(shí)施）,即將其發(fā)現(xiàn)的結(jié)果以及過(guò)程組織成為可讀文本形式.(數(shù)據(jù)挖掘報(bào)告)。

　　商業(yè)理解(Business understanding)：商業(yè)理解階段應(yīng)算是數(shù)據(jù)挖掘中最重要的一個(gè)部分，在這個(gè)階段里我們需要明確商業(yè)目標(biāo)、評(píng)估商業(yè)環(huán)境、確定挖掘目標(biāo)以及產(chǎn)生一個(gè)項(xiàng)目計(jì)劃。

　　數(shù)據(jù)理解(Data understanding)：數(shù)據(jù)是我們挖掘過(guò)程的“原材料”，在數(shù)據(jù)理解過(guò)程中我們要知道都有些什么數(shù)據(jù)，這些數(shù)據(jù)的特征是什么，可以通過(guò)對(duì)數(shù)據(jù)的描述性分析得到數(shù)據(jù)的特點(diǎn)。

　　數(shù)據(jù)準(zhǔn)備(Date preparation)：在數(shù)據(jù)準(zhǔn)備階段我們需要對(duì)數(shù)據(jù)作出選擇、清洗、重建、合并等工作。選出要進(jìn)行分析的數(shù)據(jù)，并對(duì)不符合模型輸入要求的數(shù)據(jù)進(jìn)行規(guī)范化操作。

　　建模(Modeling)：建模過(guò)程也是數(shù)據(jù)挖掘中一個(gè)比較重要的過(guò)程。我們需要根據(jù)分析目的選出適合的模型工具，通過(guò)樣本建立模型并對(duì)模型進(jìn)行評(píng)估。

　　模型評(píng)估(Evaluation)：并不是每一次建模都能與我們的目的吻合，評(píng)價(jià)階段旨在對(duì)建模結(jié)果進(jìn)行評(píng)估，對(duì)效果較差的結(jié)果我們需要分析原因，有時(shí)還需要返回前面的步驟對(duì)挖掘過(guò)程重新定義。

　　結(jié)果部署(Deployment)：這個(gè)階段是用建立的模型去解決實(shí)際中遇到的問(wèn)題，它還包括了監(jiān)督、維持、產(chǎn)生最終報(bào)表、重新評(píng)估模型等過(guò)程。

　　總結(jié)

　　這里簡(jiǎn)單的介紹了一下數(shù)據(jù)挖掘的概念以及數(shù)據(jù)挖掘的展現(xiàn)形式和數(shù)據(jù)挖掘到底能做一些什么。

　　數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)立方體，并且介紹了數(shù)據(jù)挖掘要解決的四大類問(wèn)題，任何跟數(shù)據(jù)挖掘相關(guān)的問(wèn)題都可以先歸類到這四大類問(wèn)題中，然后再根據(jù)相應(yīng)的算法進(jìn)行解決。

　　最后介紹了CRISP-DM 模型，是IBM提出的標(biāo)準(zhǔn)模型，可以對(duì)數(shù)據(jù)挖掘的過(guò)程進(jìn)行理論的指導(dǎo)。在接下來(lái)會(huì)針對(duì)用戶產(chǎn)生的數(shù)據(jù)來(lái)探討如何進(jìn)行用戶畫(huà)像。