2.回歸樹vs分類樹

我們都知道,終端節(jié)點(或樹葉)位于決策樹的底部。這意味著我們通常會顛倒繪制決策樹,即葉子在底部根在頂部(如下所示)。

這些模型的功能幾乎相似,讓我們看看回歸樹和分類樹主要的差異和相似點:

①用于回歸樹的因變量是連續(xù)的，而用于分類樹的因變量是無條件的。

②在回歸樹中,訓練數(shù)據(jù)中的終端節(jié)點的價值獲取是觀測值落在該區(qū)域的平均響應。因此,如果一個看不見的數(shù)據(jù)觀察落在那個區(qū)域,我們將它估算為平均值。

③在分類樹中, 訓練數(shù)據(jù)中終端節(jié)點獲得的價值是觀測值落在該區(qū)域的模式。因此,如果一個看不見的數(shù)據(jù)落在該地區(qū),我們會使用眾數(shù)值作為其預測值。

④這兩個樹將預測空間(獨立變量)劃分為明顯的非重疊區(qū)域。為了簡單起見,你可以認為這些區(qū)域是高維盒子或箱子。

⑤這兩種樹模型都遵循的自上而下的貪婪的方法稱為遞歸二分分裂。我們之所以叫它為“自上而下”,是因為當所有的觀察值都在單個區(qū)域時它先從樹的頂端開始,然后向下將預測空間分為兩個分支。它被稱為“貪婪”,是因為該算法(尋找最佳變量可用)關心的只有目前的分裂,而不是構建一個更好的樹的未來的分裂。

⑥這個分裂的過程一直持續(xù)到達到一個用戶定義的停止標準。例如:我們可以告訴該算法一旦觀察每個節(jié)點的數(shù)量少于50就停止。

⑦在這兩種情況下,分裂過程達到停止標準后就會構建出一個成年樹。但是,成年樹可能會過度適應數(shù)據(jù),導致對未知數(shù)據(jù)的低準確性。這就帶來了“修剪”。修剪是一個解決過度擬合的技術。我們會在以下部分了解更多關于它的內容。

3.樹模型是如何決定在哪分裂的?

制造戰(zhàn)略性的分裂決定將嚴重影響樹的準確性。分類樹和回歸樹的決策標準是不同的。

決策樹算法使用多個算法決策將一個節(jié)點分裂成兩個或兩個以上的子節(jié)點。子節(jié)點的創(chuàng)建增加了合成子節(jié)點的同質性。換句話說,我們可以說節(jié)點的純度隨著對目標變量得尊重而增加。決策樹在所有可用的變量上分裂節(jié)點,然后選擇產(chǎn)生最均勻的子節(jié)點的分裂。

算法的選擇也要基于目標變量的類型。讓我們來看看這四個最常用的決策樹算法:

基尼系數(shù)

基尼系數(shù)表示,如果總量是純粹的，我們從總量中隨機選擇兩項，那么這兩項必須是同一級別的,而且概率為1。

①它影響著無條件的分類目標變量的“成功”或“失敗”。

②它只執(zhí)行二進制分裂。

③基尼值越高同質性越高。

④CART (分類樹和回歸樹)使用基尼系數(shù)方法創(chuàng)建二進制分裂。

通過計算尼基系數(shù)來產(chǎn)生分裂的步驟：

①計算子節(jié)點的尼基系數(shù),使用公式計算成功和失敗的概率的平方和 (p ^ 2 + ^ 2)。

②使用加權尼基系數(shù)計算每個節(jié)點的分裂。

例子:參照上面使用的例子,我們要基于目標變量(或不玩板球)隔離學生。在下面的快照中,我們使用了性別和班級兩個輸入變量。現(xiàn)在,我想使用基尼系數(shù)確定哪些分裂產(chǎn)生了更均勻的子節(jié)點。

性別節(jié)點:

①計算,女性子節(jié)點的基尼=(0.2)*(0.2)+(0.8)*(0.8)= 0.68

②男性子節(jié)點的基尼=(0.65)*(0.65)+(0.35)*(0.35)= 0.55

③為性別節(jié)點計算加權基尼=(10/30)* 0.68 +(20/30)* 0.55 = 0.59

班級節(jié)點的相似性:

①IX子節(jié)點的基尼=(0.43)*(0.43)+(0.57)*(0.57)= 0.51

②X子節(jié)點的基尼=(0.56)*(0.56)+(0.44)*(0.44)= 0.51

③計算班級節(jié)點的加權基尼=(14/30)* 0.51 +(16/30)* 0.51 = 0.51

以上,你可以看到基尼得分在性別上高于班級,因此,節(jié)點分裂將取于性別。

l卡方

這是一個用來找出子節(jié)點和父節(jié)點之間差異的統(tǒng)計學意義的算法。我們測量它的方法是，計算觀察和期望頻率與目標變量之間標準差的平方和。

①它影響到無條件分類目標變量的“成功”或“失敗”。

②它可以執(zhí)行兩個或更多的分裂。

③卡方值越高，子節(jié)點和父節(jié)點之間差異的統(tǒng)計學顯著性越明顯。

④每個節(jié)點的卡方檢驗都是使用公式計算。

⑤卡方=((實際-預期)^ 2 /預期)^ 1/2

⑥它生成樹稱為CHAID(卡方自動交互檢測器)

卡方計算節(jié)點分裂的步驟:

①通過計算成功與失敗的偏差為單個節(jié)點計算卡方。

②通過計算每個節(jié)點成功和失敗的卡方和來計算卡方分割點。

例子:讓我們使用上面用來計算基尼系數(shù)的例子。

性別節(jié)點：

①首先我們填充女性節(jié)點,填充的實際內容為“打板球”和“不打板球”,這些分別為2和8。

②計算期望值“打板球”和“不打板球”,這對雙方而言都是5，因為父節(jié)點有相同的50%的概率,我們應用相同的概率在女性計數(shù)上(10)。

③通過使用公式計算偏差,實際—預期。實際上就是“打板球”(2 – 5 = -3),“不打板球”(8 – 5 = 3)。

④計算卡方節(jié)點的“打板球”和“不打板球”的公式=((實際-預期)^ 2 /預期)^ 1/2。您可以參考下表計算。

⑤遵循同樣的步驟計算男性節(jié)點卡方值。

⑥現(xiàn)在添加所有卡方值來計算卡方性別分裂點。

班級節(jié)點：

執(zhí)行以上類似的步驟來計算班級分裂點,你就會得出下面的表。

以上,你也可以看到,卡方識別性別分裂比班級更重要。

l信息增益

看看下面的圖片,你認為哪個節(jié)點容易描述。我相信你的答案是C,因為它需要更少的信息,所有的值是相似的。另一方面,B需要更多的信息來描述它,A需要最大的信息。換句話說,我們可以說,C是一個純粹的節(jié)點,B是較不純粹的，而A是最不純粹的。

現(xiàn)在,我們可以提出一個結論：較不純粹的節(jié)點需要更少的信息來描述它，而純粹度越高需要的信息越多。定義這一個系統(tǒng)的無序程度的信息理論稱為熵。如果樣品完全均勻,那么熵為0,如果樣品是同等劃分(50% – 50%),那么它的熵為1 。

熵可以使用公式計算:

這里的p和q分別為成功和失敗的概率節(jié)點。熵也用于分類目標變量。選擇相比父節(jié)點和其他節(jié)點分裂最低的熵。熵越小越好。

計算熵分割的步驟:

①計算父節(jié)點的熵。

②計算每個獨立節(jié)點分割的熵，并計算分裂中所有子節(jié)點得加權平均值。

例子:我們用這種方法來為學生例子確定最佳分割點。

①父節(jié)點的熵= – (15/30)log2(15/30)-(15/30)log2(15/30)= 1。1表示這是一個不純潔的節(jié)點。

②女性節(jié)點的熵= -(2/10)log2(2/10)-(8/10)log2(8/10)= 0.72和男性節(jié)點,-(13/20)log2(13/20)(7/20)log2(7/20)= 0.93

③子節(jié)點性別分割的熵=加權熵=(10/30)* 0.72 +(20/30)* 0.72 = 0.86

④IX班級子節(jié)點的熵,-(6/14)log2(6/14)(8/14)log2(8/14)= 0.99 X班級子節(jié)點,-(9/16)log2(9/16)(7/16)log2(7/16)= 0.99。

⑤班級分割的熵=(14/30)* 0.99 +(16/30)* 0.99 = 0.99

以上,你可以看到性別分裂的熵在所有之中是最低的,所以這個樹模型將在性別上分裂。我們可以得出信息熵作為1 -熵。

l減少方差

到現(xiàn)在,我們已經(jīng)討論了分類目標變量的算法。減少方差算法用于連續(xù)目標變量(回歸問題)。該算法使用標準方差公式選擇最佳分裂。選擇方差較低的分裂作為總量分裂的標準:

以上X指的是值,X是實際得值，n是值的數(shù)量。

方差的計算方法:

①為每個節(jié)點計算方差。

②為每個節(jié)點方差做加權平均。

例子:——讓我們分配數(shù)值1為打板球和0為不玩板球?，F(xiàn)在按以下步驟確定正確的分割:

①方差為根節(jié)點,這意味著值是(15 * 1 + 15 * 0)/ 30 = 0.5，我們有15個 1和15個 0。現(xiàn)在方差是((1 – 0.5)^ 2 +(1 – 0.5)^ 2 +…。+ 15倍(0 – 0.5)^ 2 +(0 – 0.5)^ 2 +…)/ 30的15倍,這可以寫成(15 *(1 – 0.5)^ 2 + 15 *(0 – 0.5)^ 2)/ 30 = 0.25

②女性節(jié)點的平均值=(2 * 1 + 8 * 0)/ 10 = 0.2和方差=(2 *(1 – 0.2)^ 2 + 8 *(0 – 0.2)^ 2)/ 10 = 0.16

③男性節(jié)點的平均值=(13 * 1 + 7 * 0)/ 20 = 0.65,方差=(13 *(1 – 0.65)^ 2 + 7 *(0 – 0.65)^ 2)/ 20 = 0.23

④分割性別的方差=子節(jié)點的加權方差=(10/30)* 0.16 +(20/30)* 0.16 = 0.21

⑤IX班級節(jié)點的平均值=(6 * 1 + 8 * 0)/ 14 = 0.43,方差=(6 *(1 – 0.43)^ 2 + 8 *(0 – 0.43)^ 2)/ 14 = 0.24

⑥X班級節(jié)點的平均值=(9 * 1 + 7 * 0)/ 16 = 0.56和方差=(9 *(1 – 0.56)^ 2 + 7 *(0 – 0.56)^ 2)/ 16 = 0.25

⑦分割性別的方差=(14/30)* 0.24 +(16/30)* 0.25 = 0.25

以上,你可以看到性別分割方差比父節(jié)點低,所以分割會發(fā)生在性別變量。

到這里,我們就學會了基本的決策樹和選擇最好的分裂建立樹模型的決策過程。就像我說的,決策樹可以應用在回歸和分類問題上。讓我們詳細了解這些方面。