分類-回歸樹模型（CART）在R語(yǔ)言中的實(shí)現(xiàn)

CART模型 ，即Classification And Regression Trees。它和一般回歸分析類似，是用來(lái)對(duì)變量進(jìn)行解釋和預(yù)測(cè)的工具，也是數(shù)據(jù)挖掘中的一種常用算法。如果因變量是連續(xù)數(shù)據(jù)，相對(duì)應(yīng)的分析稱為回歸樹，如果因變量是分類數(shù)據(jù)，則相應(yīng)的分析稱為分類樹。 
決策樹是一種倒立的樹結(jié)構(gòu)，它由內(nèi)部節(jié)點(diǎn)、葉子節(jié)點(diǎn)和邊組成。其中最上面的一個(gè)節(jié)點(diǎn)叫根節(jié)點(diǎn)。 構(gòu)造一棵決策樹需要一個(gè)訓(xùn)練集，一些例子組成，每個(gè)例子用一些屬性（或特征）和一個(gè)類別標(biāo)記來(lái)描述。構(gòu)造決策樹的目的是找出屬性和類別間的關(guān)系，一旦這種關(guān)系找出，就能用它來(lái)預(yù)測(cè)將來(lái)未知類別的記錄的類別。這種具有預(yù)測(cè)功能的系統(tǒng)叫決策樹分類器。其算法的優(yōu)點(diǎn)在于:

1)可以生成可以理解的規(guī)則。

2)計(jì)算量相對(duì)來(lái)說(shuō)不是很大。

3)可以處理多種數(shù)據(jù)類型。

4)決策樹可以清晰的顯示哪些變量較重要。 
下面以一個(gè)例子來(lái)講解如何在R語(yǔ)言中建立樹模型。為了預(yù)測(cè)身體的肥胖程度，可以從身體的其它指標(biāo)得到線索，例如：腰圍、臀圍、肘寬、膝寬、年齡。 

#首先載入所需軟件包 
library(mboost) 
library(rpart) 
library(maptree) 

#讀入樣本數(shù)據(jù) 
data('bodyfat') 

#建立公式 
formular=DEXfat~age+waistcirc+hipcirc+elbowbreadth+kneebreadth 

#用rpart命令構(gòu)建樹模型，結(jié)果存在fit變量中 
fit=rpart(formula,method='avova',data=bodyfat) 

#直接調(diào)用fit可以看到結(jié)果 
n= 71 
node), split, n, deviance, yval 
     * denotes terminal node 

1) root 71 8535.98400 30.78282 
  2) waistcirc< 88.4 40 1315.35800 22.92375 
    4) hipcirc< 96.25 17  285.91370 18.20765 * 
    5) hipcirc>=96.25 23  371.86530 26.40957 
     10) waistcirc< 80.75 13  117.60710 24.13077 * 
     11) waistcirc>=80.75 10   98.99016 29.37200 * 
  3) waistcirc>=88.4 31 1562.16200 40.92355 
    6) hipcirc< 109.9 13  136.29600 35.27846 * 
    7) hipcirc>=109.9 18  712.39870 45.00056 * 

#也可以用畫圖方式將結(jié)果表達(dá)得更清楚一些 
draw.tree(fit) 

#建立樹模型要權(quán)衡兩方面問(wèn)題，一個(gè)是要擬合得使分組后的變異較小，另一個(gè)是要防止過(guò)度擬合，而使模型的誤差過(guò)大，前者的參數(shù)是CP，后者的參數(shù)是Xerror。所以要在Xerror最小的情況下，也使CP盡量小。如果認(rèn)為樹模型過(guò)于復(fù)雜，我們需要對(duì)其進(jìn)行修剪

#首先觀察模型的誤差等數(shù)據(jù)
printcp(fit)

Regression tree:
rpart(formula = formula, data = bodyfat)

Variables actually used in tree construction:
[1] hipcirc   waistcirc

Root node error: 8536/71 = 120.23

n= 71

       CP nsplit rel error  xerror     xstd
1 0.662895      0   1.00000 1.01364 0.164726
2 0.083583      1   0.33710 0.41348 0.094585
3 0.077036      2   0.25352 0.42767 0.084572
4 0.018190      3   0.17649 0.31964 0.062635
5 0.010000      4   0.15830 0.28924 0.062949

#調(diào)用CP（complexity parameter）與xerror的相關(guān)圖，一種方法是尋找最小xerror點(diǎn)所對(duì)應(yīng)的CP值，并由此CP值決定樹的大小，另一種方法是利用1SE方法，尋找xerror+SE的最小點(diǎn)對(duì)應(yīng)的CP值。
plotcp(fit)

#用prune命令對(duì)樹模型進(jìn)行修剪(本例的樹模型不復(fù)雜，并不需要修剪)

pfit=prune(fit,cp= fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])

#模型初步解釋：腰圍和臀圍較大的人，肥胖程度較高，而其中腰圍是最主要的因素。
#利用模型預(yù)測(cè)某個(gè)人的肥胖程度
ndata=data.frame(waistcirc=99,hipcirc=110,elbowbreadth=6,kneebreadth=8,age=60)
predict(fit,newdata=ndata)