用R軟件做分類樹和回歸樹（CART）

決策樹（Decision Tree）又稱為判定樹，是運(yùn)用于分類的一種樹結(jié)構(gòu)。其中的每個(gè)內(nèi)部結(jié)點(diǎn)（internal node）代表對(duì)某個(gè)屬性的一次測(cè)試，每條邊代表一個(gè)測(cè)試結(jié)果，葉結(jié)點(diǎn)（leaf）代表某個(gè)類（class）或者類的分布（class distribution），最上面的結(jié)點(diǎn)是根結(jié)點(diǎn)。決策樹提供了一種展示類似在什么條件下會(huì)得到什么值這類規(guī)則的方法。

構(gòu)造決策樹是采用自上而下的遞歸構(gòu)造方法。以多叉樹為例，如果一個(gè)訓(xùn)練數(shù)據(jù)集中的數(shù)據(jù)有幾種屬性值，則按照屬性的各種取值把這個(gè)訓(xùn)練數(shù)據(jù)集再劃分為對(duì)應(yīng)的幾個(gè)子集（分支），然后再依次遞歸處理各個(gè)子集。反之，則作為葉結(jié)點(diǎn)。

決策樹構(gòu)造的結(jié)果是一棵二叉或多叉樹，它的輸入是一組帶有類別標(biāo)記的訓(xùn)練數(shù)據(jù)。二叉樹的內(nèi)部結(jié)點(diǎn)（非葉結(jié)點(diǎn)）一般表示為一個(gè)邏輯判斷，如形式為(a = b)的邏輯判斷，其中a 是屬性，b是該屬性的某個(gè)屬性值；樹的邊是邏輯判斷的分支結(jié)果。多叉樹（ID3）的內(nèi)部結(jié)點(diǎn)是屬性，邊是該屬性的所有取值，有幾個(gè)屬性值，就有幾條邊。樹的葉結(jié)點(diǎn)都是類別標(biāo)記。

使用決策樹進(jìn)行分類分為兩步：

第1步：利用訓(xùn)練集建立并精化一棵決策樹，建立決策樹模型。這個(gè)過程實(shí)際上是一個(gè)從數(shù)據(jù)中獲取知識(shí)，進(jìn)行機(jī)器學(xué)習(xí)的過程。

第2步：利用生成完畢的決策樹對(duì)輸入數(shù)據(jù)進(jìn)行分類。對(duì)輸入的記錄，從根結(jié)點(diǎn)依次測(cè)試記錄的屬性值，直到到達(dá)某個(gè)葉結(jié)點(diǎn)，從而找到該記錄所在的類。

問題的關(guān)鍵是建立一棵決策樹。這個(gè)過程通常分為兩個(gè)階段：

第一階段，建樹（Tree Building）：決策樹建樹算法見下，這是一個(gè)遞歸的過程，最終將得到一棵樹。

第二階段，剪枝（Tree Pruning）：剪枝的目的是降低由于訓(xùn)練集存在噪聲而產(chǎn)生的起伏。

分類樹和回歸樹（CART:Classification and Regression）

描述給定預(yù)測(cè)變量X后，變量Y條件分布的一種方法，使用二叉樹將預(yù)測(cè)空間遞歸地劃分為若干個(gè)子集，Y在這些子集上的分布是連續(xù)均勻的，樹中的葉節(jié)點(diǎn)對(duì)應(yīng)著劃分的不同區(qū)域，劃分是由與每個(gè)內(nèi)部節(jié)點(diǎn)相關(guān)的分支規(guī)則（Splitting rules）確定的.通過從樹的根節(jié)點(diǎn)逐漸到葉節(jié)點(diǎn)移動(dòng)，每個(gè)預(yù)測(cè)樣本被賦予一個(gè)葉節(jié)點(diǎn)，Y在該節(jié)點(diǎn)上的分布也被確定。利用CART進(jìn)行預(yù)測(cè)同樣需要一個(gè)學(xué)習(xí)樣本（訓(xùn)練樣本）對(duì)CART進(jìn)行建樹和評(píng)估，然后利用其進(jìn)行預(yù)測(cè)。以下面的數(shù)據(jù)結(jié)構(gòu)為例：

其中，為屬性變量，可以是連續(xù)或離散的；為類別變量，當(dāng)為離散時(shí)該模型為分類樹，當(dāng)為有序變量時(shí)，模型為回歸樹。

根據(jù)給定的訓(xùn)練樣本進(jìn)行建模的步驟主要有：

1. 使用構(gòu)建樹，使得中每個(gè)葉節(jié)點(diǎn)要么很小（節(jié)點(diǎn)內(nèi)所含樣本數(shù)小于給定的值），要么是純節(jié)點(diǎn)（節(jié)點(diǎn)內(nèi)部樣本的屬性一樣），要么只有唯一屬性變量作為分支選擇。
2. 使用修剪算法構(gòu)建一個(gè)有限的節(jié)點(diǎn)數(shù)遞減有序子樹序列
3. 使用評(píng)估算法從（2）步中產(chǎn)生的子樹序列中選擇一棵最優(yōu)樹作為最終的決策樹。

CART的原理或細(xì)節(jié)，相關(guān)數(shù)據(jù)挖掘或機(jī)器學(xué)習(xí)書籍都有闡述，另外，百度了相關(guān)博客，個(gè)人感覺RaySaint的博客把握了CART的關(guān)鍵因素。詳見：

http://underthehood.blog.51cto.com/2531780/564685

R軟件完成CART

1. 分類樹

#1調(diào)用rpart包進(jìn)行CART建模

library(rpart)

#1前列腺癌數(shù)據(jù)stagec

head(stagec)

progstat = factor(stagec$pgstat, levels = 0:1, labels = c("No", "Prog"))

#2建樹,method主要有 "anova", "poisson", "class"  "exp"。通常作生存分析選exp,因變量是因子變量選class,作poisson回歸選poisson,其他情況通常選擇anova;

cfit = rpart(progstat ~ age + eet + g2 + grade + gleason + ploidy,data = stagec, method ='class')

#輸出結(jié)果

print(cfit)

#作樹圖

par(mar = rep(0.1, 4))

plot(cfit)

#添加標(biāo)簽

text(cfit)

#對(duì)分類結(jié)果作混淆矩陣

(temp = with(stagec, table(cut(grade, c(0, 2.5, 4)),

cut(gleason, c(2, 5.5, 10)),exclude = NULL)))

#3剪枝

cfit2=prune(cfit,cp=.02)

plot(cfit2)

text(cfit2)

printcp(cfit2)#輸出剪枝表格

summary(cfit2)#輸出CART完整細(xì)節(jié)，包括printcp內(nèi)容

#4rpart中相關(guān)參數(shù)，rpart(,..,parms=())

"Anova"分類沒有參數(shù)

"Poisson"分類只有單一參數(shù)：率的先驗(yàn)分布的變異系數(shù)，默認(rèn)為1

"Exp"分類參數(shù)同poisson

"Class"分類包含的參數(shù)最為復(fù)雜，包括先驗(yàn)概率、損失矩陣或分類指標(biāo)（Gini或Information）。#4.1比較Gini和Information分類指標(biāo)，以自帶汽車消費(fèi)數(shù)據(jù)為例cu.summary

head(cu.summary)#查閱數(shù)據(jù)

fit1 = rpart(Reliability ~ Price + Country + Mileage + Type, data = cu.summary, parms = list(split = 'gini'))

fit2 = rpart(Reliability ~ Price + Country + Mileage + Type,data = cu.summary, parms = list(split = 'information'))

par(mfrow = c(1,2), mar = rep(0.1, 4))

plot(fit1, margin = 0.05); text(fit1, use.n = TRUE, cex = 0.8)

plot(fit2, margin = 0.05); text(fit2, use.n = TRUE, cex = 0.8)

#4.2比較parms中的先驗(yàn)概率（prior）和損失矩陣（loss）參數(shù)，以rpart自帶駝背數(shù)據(jù)kyphosis為例

#查閱數(shù)據(jù)

head(kyphosis)

#默認(rèn)的先驗(yàn)概率為Kyphosis兩類的頻率比fit1 = rpart(Kyphosis ~ Age + Number + Start, data = kyphosis)#定義先驗(yàn)概率prior=c(..,..)fit2 = rpart(Kyphosis ~ Age + Number + Start, data = kyphosis, parms = list(prior = c(0.65, 0.35)))

##loss參數(shù)設(shè)置，首先一個(gè)損失矩陣lmat

lmat = matrix(c(0,3, 4,0), nrow = 2, ncol = 2, byrow = FALSE)fit3 = rpart(Kyphosis ~ Age + Number + Start, data = kyphosis,parms = list(loss = lmat))par(mfrow = c(1, 3), mar = rep(0.1, 4))plot(fit1); text(fit1, use.n = TRUE, all = TRUE, cex = 0.8)plot(fit2); text(fit2, use.n = TRUE, all = TRUE, cex = 0.8)plot(fit3); text(fit3, use.n = TRUE, all = TRUE, cex = 0.8)

二、回歸樹

1.通常默認(rèn)anova用來作回歸樹，以汽車消費(fèi)數(shù)據(jù)car90為例,該數(shù)據(jù)包括34個(gè)變量110條觀察值。

#查閱car90數(shù)據(jù)

head(car90);str(car90)

#剔除輪胎尺寸、型號(hào)等3個(gè)因素型變量(factor variable):"Rim", "Tires", "Model2"

cars = car90[, -match(c("Rim", "Tires", "Model2"), names(car90))]#建立回歸樹模型carfit = rpart(Price/1000 ~ ., data=cars)carfit;printcp(carfit);summary(carfit,cp=0.1)plot(carfit);text(carfit)

#圖示不同分類的誤差,par(mfrow=c(1,2)); rsq.rpart(carfit)

2.Poisson回歸樹

以數(shù)據(jù)solder為例

#查看數(shù)據(jù)，變量屬性

head(solder);str(solder)

#建立poisson回歸樹

sfit = rpart(skips ~ Opening + Solder + Mask + PadType + Panel,data = solder, method = 'poisson',control = rpart.control(cp = 0.05, maxcompete = 2))sfit;printcp(sfit);summary(sfit,cp=.1)

3.生存模型回歸樹

#以前列腺癌數(shù)據(jù)stagec為例，調(diào)用survival包進(jìn)行生存分析

library(survival)temp = coxph(Surv(pgtime, pgstat) ~ 1, stagec)newtime = predict(temp, type = 'expected')

pfit <- rpart(Surv(pgtime, pgstat) ~ age + eet + g2 + grade +gleason + ploidy, data = stagec)

pfit2 <- prune(pfit, cp = 0.016)#進(jìn)行減枝

par(mar = rep(0.2, 4))

plot(pfit2, uniform = TRUE, branch = 0.4, compress = TRUE)

text(pfit2, use.n = TRUE)