數(shù)據(jù)挖掘分類技術(shù)

從分類問(wèn)題的提出至今，已經(jīng)衍生出了很多具體的分類技術(shù)。下面主要簡(jiǎn)單介紹四種最常用的分類技術(shù)，不過(guò)因?yàn)樵砗途唧w的算法實(shí)現(xiàn)及優(yōu)化不是本書(shū)的重點(diǎn)，所以我們盡量用應(yīng)用人員能夠理解的語(yǔ)言來(lái)表述這些技術(shù)。

在我們學(xué)習(xí)這些算法之前必須要清楚一點(diǎn)，分類算法不會(huì)百分百準(zhǔn)確。每個(gè)算法在測(cè)試集上的運(yùn)行都會(huì)有一個(gè)準(zhǔn)確率的指標(biāo)。用不同的算法做成的分類器（Classifier）在不同的數(shù)據(jù)集上也會(huì)有不同的表現(xiàn)。

KNN，K最近鄰算法

K最近鄰（K-Nearest Neighbor，KNN）分類算法可以說(shuō)是整個(gè)數(shù)據(jù)挖掘分類技術(shù)中最簡(jiǎn)單的方法。所謂K最近鄰，就是K個(gè)最近的鄰居，說(shuō)的是每個(gè)樣本都可以用它最接近的K個(gè)鄰居來(lái)代表。

我們用一個(gè)簡(jiǎn)單的例子來(lái)說(shuō)明KNN算法的概念。如果您住在一個(gè)市中心的住宅內(nèi)，周圍若干個(gè)小區(qū)的同類大小房子售價(jià)都在280萬(wàn)到300萬(wàn)之間，那么我們可以把你的房子和它的近鄰們歸類到一起，估計(jì)也可以售280萬(wàn)到300萬(wàn)之間。同樣，您的朋友住在郊區(qū)，他周圍的同類房子售價(jià)都在110萬(wàn)到120萬(wàn)之間，那么他的房子和近鄰的同類房子歸類之后，售價(jià)也在110 萬(wàn)到120萬(wàn)之間。

KNN算法的核心思想是如果一個(gè)樣本在特征空間中的K個(gè)最相似的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別，并具有這個(gè)類別上樣本的特性。該方法在確定分類決策上只依據(jù)最鄰近的一個(gè)或者幾個(gè)樣本的類別來(lái)決定待分樣本所屬的類別。

KNN方法在類別決策時(shí)，只與極少量的相鄰樣本有關(guān)。由于KNN方法主要靠周圍有限的鄰近樣本，而不是靠判別類域的方法來(lái)確定所屬類別，因此對(duì)于類域的交叉或重疊較多的待分樣本集來(lái)說(shuō)，KNN方法較其他方法更為適合。

決策樹(shù)（Decision Tree）

如果說(shuō)KNN是最簡(jiǎn)單的方法，那決策樹(shù)應(yīng)該是最直觀最容易理解的分類算法。最簡(jiǎn)單的決策樹(shù)的形式是If-Then（如果-就）式的決策方式的樹(shù)形分叉。比如下面這樣一棵決策樹(shù)，根據(jù)樣本的相貌和財(cái)富兩個(gè)屬性把所有樣本分成“高富帥”、“帥哥”、“高富”和“屌絲”四類。

決策樹(shù)上的每個(gè)節(jié)點(diǎn)要么是一個(gè)新的決策節(jié)點(diǎn)，要么就是一個(gè)代表分類的葉子，而每一個(gè)分支則代表一個(gè)測(cè)試的輸出。決策節(jié)點(diǎn)上做的是對(duì)屬性的判斷，而所有的葉子節(jié)點(diǎn)就是一個(gè)類別。決策樹(shù)要解決的問(wèn)題就是用哪些屬性充當(dāng)這棵樹(shù)的各個(gè)節(jié)點(diǎn)的問(wèn)題，而其中最關(guān)鍵的是根節(jié)點(diǎn)（Root Node），在它的上面沒(méi)有其他節(jié)點(diǎn)，其他所有的屬性都是它的后續(xù)節(jié)點(diǎn)。在上面的例子中，（obj.相貌==“帥”）就是根節(jié)點(diǎn)，兩個(gè)（obj.財(cái)富>=1000000000）是根節(jié)點(diǎn)下一層的兩個(gè)決策節(jié)點(diǎn)，四個(gè)print標(biāo)志著四個(gè)葉子節(jié)點(diǎn)，各自對(duì)應(yīng)一個(gè)類別。

所有的對(duì)象在進(jìn)入決策樹(shù)之后根據(jù)各自的“相貌”和“財(cái)富”屬性都會(huì)被歸到四個(gè)分類中的某一類。

大多數(shù)分類算法（如下面要提的神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等）都是一種類似于黑盒子式的輸出結(jié)果，你無(wú)法搞清楚具體的分類方式，而決策樹(shù)讓人一目了然，十分方便。決策樹(shù)按分裂準(zhǔn)則的不同可分為基于信息論的方法和最小GINI指標(biāo) （Gini Index）方法等。

神經(jīng)網(wǎng)絡(luò)（Neural Net）

在KNN算法和決策樹(shù)算法之后，我們來(lái)看一下神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)就像是一個(gè)愛(ài)學(xué)習(xí)的孩子，你教他的知識(shí)他不會(huì)忘記，而且會(huì)學(xué)以致用。我們把學(xué)習(xí)集（Learning Set）中的每個(gè)輸入加到神經(jīng)網(wǎng)絡(luò)中，并告訴神經(jīng)網(wǎng)絡(luò)輸出應(yīng)該是什么分類。在全部學(xué)習(xí)集都運(yùn)行完成之后，神經(jīng)網(wǎng)絡(luò)就根據(jù)這些例子總結(jié)出他自己的想法，到底他是怎么歸納的就是一個(gè)黑盒了。之后我們就可以把測(cè)試集（Testing Set）中的測(cè)試?yán)佑?a href='/map/shenjingwangluo/' style='color:#000;font-size:inherit;'>神經(jīng)網(wǎng)絡(luò)來(lái)分別作測(cè)試，如果測(cè)試通過(guò)（比如80%或90%的正確率），那么神經(jīng)網(wǎng)絡(luò)就構(gòu)建成功了。我們之后就可以用這個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)判斷事務(wù)的分類。

神經(jīng)網(wǎng)絡(luò)是通過(guò)對(duì)人腦的基本單元——神經(jīng)元的建模和連接，探索模擬人腦神經(jīng)系統(tǒng)功能的模型，并研制一種具有學(xué)習(xí)、聯(lián)想、記憶和模式識(shí)別等智能信息處理功能的人工系統(tǒng)。神經(jīng)網(wǎng)絡(luò)的一個(gè)重要特性是它能夠從環(huán)境中學(xué)習(xí)，并把學(xué)習(xí)的結(jié)果分別存儲(chǔ)于網(wǎng)絡(luò)的突觸連接中。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是一個(gè)過(guò)程，在其所處環(huán)境的激勵(lì)下，相繼給網(wǎng)絡(luò)輸入一些樣本模式，并按照一定的規(guī)則（學(xué)習(xí)算法）調(diào)整網(wǎng)絡(luò)各層的權(quán)值矩陣，待網(wǎng)絡(luò)各層權(quán)值都收斂到一定值，學(xué)習(xí)過(guò)程結(jié)束。然后我們就可以用生成的神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)真實(shí)數(shù)據(jù)做分類。

支持向量機(jī)SVM（Support Vector Machine）

和上面三種算法相比，支持向量機(jī)的說(shuō)法可能會(huì)有一些抽象。我們可以這樣理解，盡量把樣本中的從更高的維度看起來(lái)在一起的樣本合在一起，比如在一維（直線）空間里的樣本從二維平面上可以把它們分成不同類別，而在二維平面上分散的樣本如果我們從第三維空間上來(lái)看就可以對(duì)它們做分類。支持向量機(jī)算法的目的是找到一個(gè)最優(yōu)超平面，使分類間隔最大。最優(yōu)超平面就是要求分類面不但能將兩類正確分開(kāi)，而且使分類間隔最大。在兩類樣本中離分類面最近且位于平行于最優(yōu)超平面的超平面上的點(diǎn)就是支持向量，為找到最優(yōu)超平面，只要找到所有的支持向量即可。對(duì)于非線性支持向量機(jī)，通常做法是把線性不可分轉(zhuǎn)化成線性可分，通過(guò)一個(gè)非線性映射將低維輸入空間中的數(shù)據(jù)特征映射到高維線性特征空間中，在高維空間中求線性最優(yōu)分類超平面。

支持向量機(jī)算法是我們?cè)谧?a href='/map/shujuwajue/' style='color:#000;font-size:inherit;'>數(shù)據(jù)挖掘應(yīng)用時(shí)很看重的一個(gè)算法，而原因是該算法自問(wèn)世以來(lái)就被認(rèn)為是效果最好的分類算法之一。

分類算法的評(píng)估

在整個(gè)分類數(shù)據(jù)挖掘工作的最后階段，分類器（Classifier）的效果評(píng)價(jià)所占據(jù)的地位不容小視，正如前文所述，沒(méi)有任何分類器能夠百分百的正確，任何分類算法都會(huì)發(fā)生一定的誤差，而在大數(shù)據(jù)的情況下，有些數(shù)據(jù)的分類本身就是比較模糊的。因此在實(shí)際應(yīng)用之前對(duì)分類器的效果進(jìn)行評(píng)估顯得很重要。

對(duì)分類器的效果評(píng)價(jià)方法有很多，由于圖形化的展示方式更能為大家所接受，這里介紹兩種最常用的方式，ROC曲線和Lift曲線來(lái)做分類器的評(píng)估。

在介紹兩種曲線之前，為了方便說(shuō)明，假設(shè)一個(gè)用于二分類的分類器最終得出的結(jié)果如表所示。

這張表通常被稱為混淆矩陣（Confusion Matrix）。在實(shí)際應(yīng)用中，常常把二分類中的具體類別用0和1表示，其中1又常常代表我們關(guān)注的類別，比如直郵營(yíng)銷中的最終消費(fèi)客戶可以設(shè)定為1，沒(méi)有轉(zhuǎn)化成功的客戶設(shè)為0。通信行業(yè)客戶流失模型中的流失客戶可設(shè)置為1，沒(méi)有流失的客戶設(shè)置為0。矩陣中的各個(gè)數(shù)字的具體含義為，A表示實(shí)際是0預(yù)測(cè)也是0的個(gè)數(shù)，B表示實(shí)際是0卻預(yù)測(cè)成1的個(gè)數(shù)，C表示實(shí)際是1預(yù)測(cè)是0的個(gè)數(shù)，D表示實(shí)際是1預(yù)測(cè)也是1的個(gè)數(shù)。

下圖是一張ROC曲線圖，ROC曲線（Receiver Operating Characteristic Curve）是受試者工作特征曲線的縮寫(xiě)，該曲線常用于醫(yī)療臨床診斷，數(shù)據(jù)挖掘興起后也被用于分類器的效果評(píng)價(jià)。

如上圖所示為一張很典型的ROC曲線圖，從圖中可以看出該曲線的橫軸是FPR（False Positive Rate）， 縱 軸是 TPR（True Positive Rate）。首先解釋一下這兩個(gè)指標(biāo)的含義：TPR指的是實(shí)際為1預(yù)測(cè)也是1的概率，也就是混淆矩陣的D/(C+D)，即正類（1）的查全率。FPR指的是實(shí)際為0預(yù)測(cè)為1的概率即B/(A+B)。

前面說(shuō)過(guò)，分類中比較關(guān)心的都是正類的預(yù)測(cè)情況，而且分類結(jié)果常常是以概率的形式出現(xiàn)的，設(shè)定一個(gè)閾值，如果概率大于這個(gè)閾值那么結(jié)果就會(huì)是1。而ROC曲線的繪制過(guò)程就是根據(jù)這個(gè)閾值的變化而來(lái)的，當(dāng)閾值為0時(shí)，所有的分類結(jié)果都是1，此時(shí)混淆矩陣中的C和A是0，那 么TPR=1，而FPR也是1，這樣曲線達(dá)到終點(diǎn)。隨著閾值的不斷增大，被預(yù)測(cè)為1的個(gè)數(shù)會(huì)減少，TPR和FPR同時(shí)減少，當(dāng)閾值增大到1時(shí)，沒(méi)有樣本被預(yù)測(cè)為1，此時(shí)TPR和FPR都為0。由此可知，TPR和FPR是
同方向變化的，這點(diǎn)在上圖中可以得到體現(xiàn)。

由于我們常常要求一個(gè)分類器的TPR盡量高，F(xiàn)PR盡量小，表現(xiàn)在圖中就是曲線離縱軸越近，預(yù)測(cè)效果就越好。為了更具體化，人們也通過(guò)計(jì)算AUC（ROC曲線下方的面積）來(lái)評(píng)判分類器效果，一般AUC超過(guò)0.7就說(shuō)明分類器有一定效果。在上圖中的ROC曲線中，曲線下方的面積AUC數(shù)值超過(guò)了0.7，所以分類器是有一定效果的。

下面我們?cè)賮?lái)看Lift曲線的繪制。Lift曲線的繪制方法與ROC曲線是一樣的，不同的是Lift曲線考慮的是分類器的準(zhǔn)確性，也就是使用分類器獲得的正類數(shù)量和不使用分類器隨機(jī)獲取正類數(shù)量的比例。以直郵營(yíng)銷為例，分類器的好壞就在于與直接隨機(jī)抽取郵寄相比，采用分類器的結(jié)果會(huì)給公司帶來(lái)多少響應(yīng)客戶（即產(chǎn)生多少最終消費(fèi)），所以Lift分類器在直郵營(yíng)銷領(lǐng)域的應(yīng)用是相對(duì)比較廣泛的。

由下圖可以發(fā)現(xiàn)，Lift曲線的縱軸是Lift值，它的計(jì)算公式是，其中

 ，這個(gè)參數(shù)的含義是如果采用了分類器，正類的識(shí)別比例；而

，表示如果不用分類器，用隨機(jī)的方式抽取出正類的比例。這二者相比自然就解決了如果使用者用分類器分類會(huì)使得正類產(chǎn)生的比例會(huì)增加多少的問(wèn)題。Lift曲線的橫軸RPP（正類預(yù)測(cè)比例，Rate of Positive Predictions）的計(jì)算公式是

Lift曲線的繪制過(guò)程與ROC曲線類似，不同的是Lift值和RPP是反方向變化的，這才形成Lift 曲線與ROC曲線相反的形式。

CDA數(shù)據(jù)分析師培訓(xùn)官網(wǎng)