決策樹(shù)算法真的越復(fù)雜越好嗎？

凡是在統(tǒng)計(jì)分析或機(jī)器學(xué)習(xí)領(lǐng)域從業(yè)的朋友們，對(duì)決策樹(shù)這個(gè)名詞肯定都不陌生吧。

決策樹(shù)是一種解決分類問(wèn)題的絕好方法，顧名思義，它正像一棵大樹(shù)一樣，由根部不斷生長(zhǎng)出很多枝葉；它的優(yōu)點(diǎn)實(shí)在太多，比如可以避免缺失值的影響、可以處理混合預(yù)測(cè)、模型容易展示等。然而，決策樹(shù)的實(shí)際應(yīng)用也絕不簡(jiǎn)單，如果樹(shù)根稍有不穩(wěn)、或者枝干略有差池，樹(shù)就可能會(huì)徹底長(zhǎng)偏啦，我們總是需要仔細(xì)挑選單棵決策樹(shù)、或適當(dāng)?shù)慕M合。

單棵決策樹(shù)

這是統(tǒng)計(jì)分析領(lǐng)域比較常用、機(jī)器學(xué)習(xí)領(lǐng)域也用得爛熟的分類算法：一棵大樹(shù)上每支葉子自成一類。在實(shí)際業(yè)務(wù)中，大家最關(guān)心的問(wèn)題包括：在每一個(gè)節(jié)點(diǎn)該選擇哪個(gè)屬性進(jìn)行分割？該怎樣分割才能效果最好？這些問(wèn)題通常都可以通過(guò)SAS Enterprise Miner中強(qiáng)大的交互決策樹(shù)功能解決，選擇最大的logworth值來(lái)選擇拆分變量、創(chuàng)建拆分規(guī)則。

不過(guò)，這樣的分類過(guò)程到底應(yīng)該在什么時(shí)候結(jié)束呢？最直觀的方式當(dāng)然是在每個(gè)子節(jié)點(diǎn)只有一種類型的記錄時(shí)停止分類，但是這樣可能會(huì)使得樹(shù)的節(jié)點(diǎn)過(guò)多，導(dǎo)致過(guò)擬合問(wèn)題（overfitting），即該決策樹(shù)對(duì)訓(xùn)練數(shù)據(jù)可以得到很低的錯(cuò)誤率，但是運(yùn)用到驗(yàn)證數(shù)據(jù)上時(shí)卻錯(cuò)誤率極高。所以，剪枝是優(yōu)化和解決這類問(wèn)題的必要做法，我們之前介紹過(guò)的K折交叉驗(yàn)證（點(diǎn)擊閱讀）也可用來(lái)對(duì)原始決策樹(shù)進(jìn)行驗(yàn)證和裁減，從而得到最優(yōu)決策樹(shù)。單棵決策樹(shù)的實(shí)現(xiàn)在SAS Enterprise Miner中有現(xiàn)成的節(jié)點(diǎn)可直接使用。

除了剪枝、交叉驗(yàn)證等手段外，為了有效減少單決策樹(shù)帶來(lái)的問(wèn)題，與決策樹(shù)相關(guān)的組合分類（比如Bagging, Boosting等算法）也逐漸被引入進(jìn)來(lái)，這些算法的精髓都是通過(guò)生成N棵樹(shù)（N可能高達(dá)幾百）、最終形成一棵最適合的結(jié)果分類樹(shù)。有人戲稱這是三個(gè)臭皮匠頂一個(gè)諸葛亮的算法：雖然這幾百棵決策樹(shù)中的每一棵相對(duì)于C4.5算法來(lái)說(shuō)可能都很簡(jiǎn)單，但是他們組合起來(lái)卻真的很強(qiáng)大。下面我們就來(lái)簡(jiǎn)單介紹幾種常見(jiàn)的組合算法：

Bagging組合算法

Bagging組合算法是bootstrap aggregating的縮寫。我們可以讓上述決策樹(shù)學(xué)習(xí)算法訓(xùn)練多輪，每輪的訓(xùn)練集由從初始的訓(xùn)練集中有放回地隨機(jī)抽取n個(gè)訓(xùn)練樣本組成，某個(gè)初始訓(xùn)練樣本在某輪訓(xùn)練集中可以出現(xiàn)多次或根本不出現(xiàn)，訓(xùn)練之后就可以得到一個(gè)決策樹(shù)群h_1,……h(huán)_n ，也類似于一個(gè)森林。最終的決策樹(shù)H對(duì)分類問(wèn)題采用投票方式，對(duì)回歸問(wèn)題采用簡(jiǎn)單平均方法對(duì)新示例進(jìn)行判別。

Boosting組合算法

此類算法中其中應(yīng)用最廣的是AdaBoost(Adaptive Boosting)。在此算法中，初始化時(shí)以等權(quán)重有放回抽樣方式進(jìn)行訓(xùn)練，接下來(lái)每次訓(xùn)練后要特別關(guān)注前一次訓(xùn)練失敗的訓(xùn)練樣本，并賦以較大的權(quán)重進(jìn)行抽樣，從而得到一個(gè)預(yù)測(cè)函數(shù)序列h_1,?, h_m , 其中h_i也有一定的權(quán)重，預(yù)測(cè)效果好的預(yù)測(cè)函數(shù)權(quán)重較大，反之較小。最終的預(yù)測(cè)函數(shù)H對(duì)分類問(wèn)題采用有權(quán)重的投票方式，所以Boosting更像是一個(gè)人學(xué)習(xí)的過(guò)程，剛開(kāi)始學(xué)習(xí)時(shí)會(huì)做一些習(xí)題，常常連一些簡(jiǎn)單的題目都會(huì)弄錯(cuò)，但經(jīng)過(guò)對(duì)這些題目的針對(duì)性練習(xí)之后，解題能力自然會(huì)有所上升，就會(huì)去做更復(fù)雜的題目；等到他完成足夠多題目后，不管是難題還是簡(jiǎn)單題都可以解決掉了。

隨機(jī)森林(Random forest)

隨機(jī)森林，顧名思義，是用隨機(jī)的方式建立一個(gè)森林，所以它對(duì)輸入數(shù)據(jù)集要進(jìn)行行、列的隨機(jī)采樣。行采樣采用有放回的隨機(jī)抽樣方式，即采樣樣本中可能有重復(fù)的記錄；列采樣就是隨機(jī)抽取部分分類特征，然后使用完全分裂的方式不斷循環(huán)建立決策樹(shù)群。當(dāng)有新的輸入樣本進(jìn)入的時(shí)候，也要通過(guò)投票方式?jīng)Q定最終的分類器。

一般的單棵決策樹(shù)都需要進(jìn)行剪枝操作，但隨機(jī)森林在經(jīng)過(guò)兩個(gè)隨機(jī)采樣后，就算不剪枝也不會(huì)出現(xiàn)overfitting。我們可以這樣比喻隨機(jī)森林算法：從M個(gè)feature中選擇m個(gè)讓每一棵決策樹(shù)進(jìn)行學(xué)習(xí)時(shí)，就像是把它們分別培養(yǎng)成了精通于某一個(gè)窄領(lǐng)域的專家，因此在隨機(jī)森林中有很多個(gè)不同領(lǐng)域的專家，對(duì)一個(gè)新的問(wèn)題（新的輸入數(shù)據(jù)）可以從不同的角度去看待，最終由各位專家投票得到結(jié)果。

至此，我們已經(jīng)簡(jiǎn)單介紹了各類算法的原理，這些組合算法們看起來(lái)都很酷炫?？墒撬鼈冎g究竟有哪些差異呢？

隨機(jī)森林與Bagging算法的區(qū)別主要有兩點(diǎn)：

1. 隨機(jī)森林算法會(huì)以輸入樣本數(shù)目作為選取次數(shù)，一個(gè)樣本可能會(huì)被選取多次，一些樣本也可能不會(huì)被選取到；而B(niǎo)agging一般選取比輸入樣本的數(shù)目少的樣本；
2. Bagging算法中使用全部特征來(lái)得到分類器，而隨機(jī)森林算法需要從全部特征中選取其中的一部分來(lái)訓(xùn)練得到分類器。從我們的實(shí)際經(jīng)驗(yàn)來(lái)看，隨機(jī)森林算法常常優(yōu)于Bagging算法。

Boosting和Bagging算法之間的主要區(qū)別是取樣方式的不同。Bagging采用均勻取樣，而B(niǎo)oosting根據(jù)錯(cuò)誤率來(lái)取樣，因此Boosting的分類精度要優(yōu)于Bagging。Bagging和Boosting都可以有效地提高分類的準(zhǔn)確性。在多數(shù)數(shù)據(jù)集中，Boosting的準(zhǔn)確性比Bagging高一些，不過(guò)Boosting在某些數(shù)據(jù)集中會(huì)引起退化——過(guò)擬合。

俗話說(shuō)三個(gè)臭皮匠賽過(guò)諸葛亮，各類組合算法的確有其優(yōu)越之處；我們也認(rèn)為，模型效果從好到差的排序通常依次為：隨機(jī)森林>Boosting > Bagging > 單棵決策樹(shù)。但歸根結(jié)底，這只是一種一般性的經(jīng)驗(yàn)、而非定論，應(yīng)根據(jù)實(shí)際數(shù)據(jù)情況具體分析。就單棵決策樹(shù)和組合算法相比較而言，決策樹(shù)相關(guān)的組合算法在提高模型區(qū)分能力和預(yù)測(cè)精度方面比較有效，對(duì)于像決策樹(shù)、神經(jīng)網(wǎng)絡(luò)這樣的“不穩(wěn)定”算法有明顯的提升效果，所以有時(shí)會(huì)表現(xiàn)出優(yōu)于單棵決策樹(shù)的效果。但復(fù)雜的模型未必一定是最好的，我們要在具體的分析案例中，根據(jù)業(yè)務(wù)需求和數(shù)據(jù)情況在算法復(fù)雜性和模型效果之間找到平衡點(diǎn)。

下面就通過(guò)一個(gè)實(shí)際案例來(lái)說(shuō)明我們的觀點(diǎn)吧。在筆者多年的數(shù)據(jù)分析工作中，無(wú)論哪種分析都難以離開(kāi)鐘愛(ài)的SAS Enterprise Miner軟件，這里我們也以SAS EM來(lái)實(shí)現(xiàn)各分類算法在實(shí)際案例中的具體應(yīng)用和分類效果。

本文使用的樣例數(shù)據(jù)是一組2015年第三季度的房屋貸款數(shù)據(jù)，大約共5960條數(shù)據(jù)，其中貸款逾期的客戶數(shù)占比為19.95%, 分析變量包含所需的貸款金額、貸款客戶的職業(yè)類別、當(dāng)前工作年限、押品的到期價(jià)值等13個(gè)屬性特征。我們的目標(biāo)是要通過(guò)上述數(shù)據(jù)來(lái)擬合貸款客戶是否會(huì)出現(xiàn)逾期行為的分類模型，進(jìn)而判斷和預(yù)測(cè)2015年第四季度的房貸客戶是否會(huì)出現(xiàn)逾期情況。

在建立各類模型前，筆者同樣利用數(shù)據(jù)分區(qū)節(jié)點(diǎn)將全量的建模樣本一分為二，其中70%作為訓(xùn)練樣本、30%作為驗(yàn)證樣本，然后再來(lái)逐個(gè)建立、驗(yàn)證決策樹(shù)的單棵樹(shù)模型和組合分類模型，并進(jìn)行模型之間的比較分析和評(píng)估。

模型建設(shè)和分析的整個(gè)流程圖邏輯如下：

熟悉SAS EM的小伙伴會(huì)發(fā)現(xiàn)，三種組合算法都使用了開(kāi)始組這樣的節(jié)點(diǎn)，目的有三：

傳統(tǒng)的Bagging和Boosting算法在操作中都需要在開(kāi)始組節(jié)點(diǎn)中設(shè)置屬性；

對(duì)于隨機(jī)森林的實(shí)現(xiàn)，可添加SAS code節(jié)點(diǎn)通過(guò)手工coding方式實(shí)現(xiàn)隨機(jī)森林；

對(duì)不同算法設(shè)置盡可能相同的模型屬性，方便比較模型預(yù)測(cè)效果，比如組合算法中循環(huán)次數(shù)都選擇為10次。

說(shuō)到這里，大家大概迫不及待要看看四類模型對(duì)新樣本的預(yù)測(cè)準(zhǔn)確性了吧，下圖就是利用上述四種分類模型對(duì)2015年第四季度房貸新樣本客戶的貸款逾期情況的預(yù)測(cè)概率分布結(jié)果：

四張圖中分別是單棵決策樹(shù)、Bagging算法、Boosting算法和隨機(jī)森林算法的結(jié)果。圖中的橫軸代表逾期概率，縱軸代表客戶數(shù)量，顯然，高柱狀分布越是靠向右邊，說(shuō)明預(yù)測(cè)得到逾期客戶越多；高柱狀分布越是靠向左邊，說(shuō)明貸款客戶信用較好。整體來(lái)看，新樣本中預(yù)期逾期客戶較少，但也有一部分客戶比較集中地分布在逾期概率為0.7和0.85附近，這些客戶需要特別關(guān)注。

對(duì)于這樣的分類結(jié)果，又如何來(lái)判斷它的預(yù)測(cè)準(zhǔn)確性是好是差呢？這時(shí)就要推出誤分類率和和均方誤差這兩個(gè)統(tǒng)計(jì)量了。從下面的結(jié)果可以看出，四類模型的誤分類率都很小，相比較而言，單棵決策樹(shù)最終勝出。

是不是完全沒(méi)想到？上文看起來(lái)不太高大上的單棵決策樹(shù)，在這個(gè)案例中倒是效果格外好。再來(lái)看看其他統(tǒng)計(jì)量的比較吧：

從上面的結(jié)果看，四類模型中ROC統(tǒng)計(jì)量的值都在0.8以上，KS值也都在0.6以上，說(shuō)明它們的效果都比較好。我們使用的樣本數(shù)據(jù)分布本身較為理想，單決策樹(shù)模型的效果已經(jīng)就相當(dāng)理想，即使使用其他組合算法進(jìn)行優(yōu)化，模型效果的差異不會(huì)太明顯，而三類組合算法之間的差異也不太突出。

我們同時(shí)發(fā)現(xiàn)，組合算法在提升度上確實(shí)比單個(gè)決策樹(shù)效果要好，尤其Boosting算法表現(xiàn)更為明顯。但是SAS EM的模型比較節(jié)點(diǎn)還是認(rèn)為單決策樹(shù)模型是最優(yōu)模型，其驗(yàn)證集誤判率最小。

就這一案例而言，盡管單決策樹(shù)模型的區(qū)分能力和提升度都沒(méi)有Boosting算法和隨機(jī)森林算法效果好，但其本身的效果已經(jīng)在合理且效果較好的范圍之內(nèi)了，而且模型本身運(yùn)行效率較高、可解釋性也很高。組合算法雖然看起來(lái)更厲害，但在應(yīng)用實(shí)際業(yè)務(wù)場(chǎng)景和實(shí)際數(shù)據(jù)分布時(shí)，找到模型復(fù)雜度和模型效果之間的平衡取舍也是需要慎重考慮的。

我一向認(rèn)為，一名數(shù)據(jù)分析工作者的重要素質(zhì)不但在于深入掌握多種方法，更在于做出合適的選擇，為不同的業(yè)務(wù)情境選擇最恰當(dāng)?shù)姆椒?。畢竟，沒(méi)有哪種算法是解決所有問(wèn)題的萬(wàn)靈藥，而模型的運(yùn)行效率、甚至可解釋性等評(píng)判指標(biāo)，在實(shí)際工作中可能與模型效果同等重要。復(fù)雜未必一定優(yōu)于簡(jiǎn)單，而真正考驗(yàn)功力的，永遠(yuǎn)是化繁為簡(jiǎn)。