2.回歸樹(shù)vs分類樹(shù)

我們都知道,終端節(jié)點(diǎn)(或樹(shù)葉)位于決策樹(shù)的底部。這意味著我們通常會(huì)顛倒繪制決策樹(shù),即葉子在底部根在頂部(如下所示)。

這些模型的功能幾乎相似,讓我們看看回歸樹(shù)和分類樹(shù)主要的差異和相似點(diǎn):

①用于回歸樹(shù)的因變量是連續(xù)的，而用于分類樹(shù)的因變量是無(wú)條件的。

②在回歸樹(shù)中,訓(xùn)練數(shù)據(jù)中的終端節(jié)點(diǎn)的價(jià)值獲取是觀測(cè)值落在該區(qū)域的平均響應(yīng)。因此,如果一個(gè)看不見(jiàn)的數(shù)據(jù)觀察落在那個(gè)區(qū)域,我們將它估算為平均值。

③在分類樹(shù)中, 訓(xùn)練數(shù)據(jù)中終端節(jié)點(diǎn)獲得的價(jià)值是觀測(cè)值落在該區(qū)域的模式。因此,如果一個(gè)看不見(jiàn)的數(shù)據(jù)落在該地區(qū),我們會(huì)使用眾數(shù)值作為其預(yù)測(cè)值。

④這兩個(gè)樹(shù)將預(yù)測(cè)空間(獨(dú)立變量)劃分為明顯的非重疊區(qū)域。為了簡(jiǎn)單起見(jiàn),你可以認(rèn)為這些區(qū)域是高維盒子或箱子。

⑤這兩種樹(shù)模型都遵循的自上而下的貪婪的方法稱為遞歸二分分裂。我們之所以叫它為“自上而下”,是因?yàn)楫?dāng)所有的觀察值都在單個(gè)區(qū)域時(shí)它先從樹(shù)的頂端開(kāi)始,然后向下將預(yù)測(cè)空間分為兩個(gè)分支。它被稱為“貪婪”,是因?yàn)樵撍惴?尋找最佳變量可用)關(guān)心的只有目前的分裂,而不是構(gòu)建一個(gè)更好的樹(shù)的未來(lái)的分裂。

⑥這個(gè)分裂的過(guò)程一直持續(xù)到達(dá)到一個(gè)用戶定義的停止標(biāo)準(zhǔn)。例如:我們可以告訴該算法一旦觀察每個(gè)節(jié)點(diǎn)的數(shù)量少于50就停止。

⑦在這兩種情況下,分裂過(guò)程達(dá)到停止標(biāo)準(zhǔn)后就會(huì)構(gòu)建出一個(gè)成年樹(shù)。但是,成年樹(shù)可能會(huì)過(guò)度適應(yīng)數(shù)據(jù),導(dǎo)致對(duì)未知數(shù)據(jù)的低準(zhǔn)確性。這就帶來(lái)了“修剪”。修剪是一個(gè)解決過(guò)度擬合的技術(shù)。我們會(huì)在以下部分了解更多關(guān)于它的內(nèi)容。

3.樹(shù)模型是如何決定在哪分裂的?

制造戰(zhàn)略性的分裂決定將嚴(yán)重影響樹(shù)的準(zhǔn)確性。分類樹(shù)和回歸樹(shù)的決策標(biāo)準(zhǔn)是不同的。

決策樹(shù)算法使用多個(gè)算法決策將一個(gè)節(jié)點(diǎn)分裂成兩個(gè)或兩個(gè)以上的子節(jié)點(diǎn)。子節(jié)點(diǎn)的創(chuàng)建增加了合成子節(jié)點(diǎn)的同質(zhì)性。換句話說(shuō),我們可以說(shuō)節(jié)點(diǎn)的純度隨著對(duì)目標(biāo)變量得尊重而增加。決策樹(shù)在所有可用的變量上分裂節(jié)點(diǎn),然后選擇產(chǎn)生最均勻的子節(jié)點(diǎn)的分裂。

算法的選擇也要基于目標(biāo)變量的類型。讓我們來(lái)看看這四個(gè)最常用的決策樹(shù)算法:

基尼系數(shù)

基尼系數(shù)表示,如果總量是純粹的，我們從總量中隨機(jī)選擇兩項(xiàng)，那么這兩項(xiàng)必須是同一級(jí)別的,而且概率為1。

①它影響著無(wú)條件的分類目標(biāo)變量的“成功”或“失敗”。

②它只執(zhí)行二進(jìn)制分裂。

③基尼值越高同質(zhì)性越高。

④CART (分類樹(shù)和回歸樹(shù))使用基尼系數(shù)方法創(chuàng)建二進(jìn)制分裂。

通過(guò)計(jì)算尼基系數(shù)來(lái)產(chǎn)生分裂的步驟：

①計(jì)算子節(jié)點(diǎn)的尼基系數(shù),使用公式計(jì)算成功和失敗的概率的平方和 (p ^ 2 + ^ 2)。

②使用加權(quán)尼基系數(shù)計(jì)算每個(gè)節(jié)點(diǎn)的分裂。

例子:參照上面使用的例子,我們要基于目標(biāo)變量(或不玩板球)隔離學(xué)生。在下面的快照中,我們使用了性別和班級(jí)兩個(gè)輸入變量。現(xiàn)在,我想使用基尼系數(shù)確定哪些分裂產(chǎn)生了更均勻的子節(jié)點(diǎn)。

性別節(jié)點(diǎn):

①計(jì)算,女性子節(jié)點(diǎn)的基尼=(0.2)*(0.2)+(0.8)*(0.8)= 0.68

②男性子節(jié)點(diǎn)的基尼=(0.65)*(0.65)+(0.35)*(0.35)= 0.55

③為性別節(jié)點(diǎn)計(jì)算加權(quán)基尼=(10/30)* 0.68 +(20/30)* 0.55 = 0.59

班級(jí)節(jié)點(diǎn)的相似性:

①IX子節(jié)點(diǎn)的基尼=(0.43)*(0.43)+(0.57)*(0.57)= 0.51

②X子節(jié)點(diǎn)的基尼=(0.56)*(0.56)+(0.44)*(0.44)= 0.51

③計(jì)算班級(jí)節(jié)點(diǎn)的加權(quán)基尼=(14/30)* 0.51 +(16/30)* 0.51 = 0.51

以上,你可以看到基尼得分在性別上高于班級(jí),因此,節(jié)點(diǎn)分裂將取于性別。

l卡方

這是一個(gè)用來(lái)找出子節(jié)點(diǎn)和父節(jié)點(diǎn)之間差異的統(tǒng)計(jì)學(xué)意義的算法。我們測(cè)量它的方法是，計(jì)算觀察和期望頻率與目標(biāo)變量之間標(biāo)準(zhǔn)差的平方和。

①它影響到無(wú)條件分類目標(biāo)變量的“成功”或“失敗”。

②它可以執(zhí)行兩個(gè)或更多的分裂。

③卡方值越高，子節(jié)點(diǎn)和父節(jié)點(diǎn)之間差異的統(tǒng)計(jì)學(xué)顯著性越明顯。

④每個(gè)節(jié)點(diǎn)的卡方檢驗(yàn)都是使用公式計(jì)算。

⑤卡方=((實(shí)際-預(yù)期)^ 2 /預(yù)期)^ 1/2

⑥它生成樹(shù)稱為CHAID(卡方自動(dòng)交互檢測(cè)器)

卡方計(jì)算節(jié)點(diǎn)分裂的步驟:

①通過(guò)計(jì)算成功與失敗的偏差為單個(gè)節(jié)點(diǎn)計(jì)算卡方。

②通過(guò)計(jì)算每個(gè)節(jié)點(diǎn)成功和失敗的卡方和來(lái)計(jì)算卡方分割點(diǎn)。

例子:讓我們使用上面用來(lái)計(jì)算基尼系數(shù)的例子。

性別節(jié)點(diǎn)：

①首先我們填充女性節(jié)點(diǎn),填充的實(shí)際內(nèi)容為“打板球”和“不打板球”,這些分別為2和8。

②計(jì)算期望值“打板球”和“不打板球”,這對(duì)雙方而言都是5，因?yàn)楦腹?jié)點(diǎn)有相同的50%的概率,我們應(yīng)用相同的概率在女性計(jì)數(shù)上(10)。

③通過(guò)使用公式計(jì)算偏差,實(shí)際—預(yù)期。實(shí)際上就是“打板球”(2 – 5 = -3),“不打板球”(8 – 5 = 3)。

④計(jì)算卡方節(jié)點(diǎn)的“打板球”和“不打板球”的公式=((實(shí)際-預(yù)期)^ 2 /預(yù)期)^ 1/2。您可以參考下表計(jì)算。

⑤遵循同樣的步驟計(jì)算男性節(jié)點(diǎn)卡方值。

⑥現(xiàn)在添加所有卡方值來(lái)計(jì)算卡方性別分裂點(diǎn)。

班級(jí)節(jié)點(diǎn)：

執(zhí)行以上類似的步驟來(lái)計(jì)算班級(jí)分裂點(diǎn),你就會(huì)得出下面的表。

以上,你也可以看到,卡方識(shí)別性別分裂比班級(jí)更重要。

l信息增益

看看下面的圖片,你認(rèn)為哪個(gè)節(jié)點(diǎn)容易描述。我相信你的答案是C,因?yàn)樗枰俚男畔?所有的值是相似的。另一方面,B需要更多的信息來(lái)描述它,A需要最大的信息。換句話說(shuō),我們可以說(shuō),C是一個(gè)純粹的節(jié)點(diǎn),B是較不純粹的，而A是最不純粹的。

現(xiàn)在,我們可以提出一個(gè)結(jié)論：較不純粹的節(jié)點(diǎn)需要更少的信息來(lái)描述它，而純粹度越高需要的信息越多。定義這一個(gè)系統(tǒng)的無(wú)序程度的信息理論稱為熵。如果樣品完全均勻,那么熵為0,如果樣品是同等劃分(50% – 50%),那么它的熵為1 。

熵可以使用公式計(jì)算:

這里的p和q分別為成功和失敗的概率節(jié)點(diǎn)。熵也用于分類目標(biāo)變量。選擇相比父節(jié)點(diǎn)和其他節(jié)點(diǎn)分裂最低的熵。熵越小越好。

計(jì)算熵分割的步驟:

①計(jì)算父節(jié)點(diǎn)的熵。

②計(jì)算每個(gè)獨(dú)立節(jié)點(diǎn)分割的熵，并計(jì)算分裂中所有子節(jié)點(diǎn)得加權(quán)平均值。

例子:我們用這種方法來(lái)為學(xué)生例子確定最佳分割點(diǎn)。

①父節(jié)點(diǎn)的熵= – (15/30)log2(15/30)-(15/30)log2(15/30)= 1。1表示這是一個(gè)不純潔的節(jié)點(diǎn)。

②女性節(jié)點(diǎn)的熵= -(2/10)log2(2/10)-(8/10)log2(8/10)= 0.72和男性節(jié)點(diǎn),-(13/20)log2(13/20)(7/20)log2(7/20)= 0.93

③子節(jié)點(diǎn)性別分割的熵=加權(quán)熵=(10/30)* 0.72 +(20/30)* 0.72 = 0.86

④IX班級(jí)子節(jié)點(diǎn)的熵,-(6/14)log2(6/14)(8/14)log2(8/14)= 0.99 X班級(jí)子節(jié)點(diǎn),-(9/16)log2(9/16)(7/16)log2(7/16)= 0.99。

⑤班級(jí)分割的熵=(14/30)* 0.99 +(16/30)* 0.99 = 0.99

以上,你可以看到性別分裂的熵在所有之中是最低的,所以這個(gè)樹(shù)模型將在性別上分裂。我們可以得出信息熵作為1 -熵。

l減少方差

到現(xiàn)在,我們已經(jīng)討論了分類目標(biāo)變量的算法。減少方差算法用于連續(xù)目標(biāo)變量(回歸問(wèn)題)。該算法使用標(biāo)準(zhǔn)方差公式選擇最佳分裂。選擇方差較低的分裂作為總量分裂的標(biāo)準(zhǔn):

以上X指的是值,X是實(shí)際得值，n是值的數(shù)量。

方差的計(jì)算方法:

①為每個(gè)節(jié)點(diǎn)計(jì)算方差。

②為每個(gè)節(jié)點(diǎn)方差做加權(quán)平均。

例子:——讓我們分配數(shù)值1為打板球和0為不玩板球?，F(xiàn)在按以下步驟確定正確的分割:

①方差為根節(jié)點(diǎn),這意味著值是(15 * 1 + 15 * 0)/ 30 = 0.5，我們有15個(gè) 1和15個(gè) 0?，F(xiàn)在方差是((1 – 0.5)^ 2 +(1 – 0.5)^ 2 +…。+ 15倍(0 – 0.5)^ 2 +(0 – 0.5)^ 2 +…)/ 30的15倍,這可以寫成(15 *(1 – 0.5)^ 2 + 15 *(0 – 0.5)^ 2)/ 30 = 0.25

②女性節(jié)點(diǎn)的平均值=(2 * 1 + 8 * 0)/ 10 = 0.2和方差=(2 *(1 – 0.2)^ 2 + 8 *(0 – 0.2)^ 2)/ 10 = 0.16

③男性節(jié)點(diǎn)的平均值=(13 * 1 + 7 * 0)/ 20 = 0.65,方差=(13 *(1 – 0.65)^ 2 + 7 *(0 – 0.65)^ 2)/ 20 = 0.23

④分割性別的方差=子節(jié)點(diǎn)的加權(quán)方差=(10/30)* 0.16 +(20/30)* 0.16 = 0.21

⑤IX班級(jí)節(jié)點(diǎn)的平均值=(6 * 1 + 8 * 0)/ 14 = 0.43,方差=(6 *(1 – 0.43)^ 2 + 8 *(0 – 0.43)^ 2)/ 14 = 0.24

⑥X班級(jí)節(jié)點(diǎn)的平均值=(9 * 1 + 7 * 0)/ 16 = 0.56和方差=(9 *(1 – 0.56)^ 2 + 7 *(0 – 0.56)^ 2)/ 16 = 0.25

⑦分割性別的方差=(14/30)* 0.24 +(16/30)* 0.25 = 0.25

以上,你可以看到性別分割方差比父節(jié)點(diǎn)低,所以分割會(huì)發(fā)生在性別變量。

到這里,我們就學(xué)會(huì)了基本的決策樹(shù)和選擇最好的分裂建立樹(shù)模型的決策過(guò)程。就像我說(shuō)的,決策樹(shù)可以應(yīng)用在回歸和分類問(wèn)題上。讓我們?cè)敿?xì)了解這些方面。