這一節(jié)學(xué)習(xí)使用包party里面的函數(shù)ctree()為數(shù)據(jù)集iris建立一個(gè)決策樹。屬性Sepal.Length（萼片長度）、Sepal.Width（萼片寬度）、Petal.Length（花瓣長度）以及Petal.Width（花瓣寬度）被用來預(yù)測鳶尾花的Species（種類）。在這個(gè)包里面，函數(shù)ctree()建立了一個(gè)決策樹，predict()預(yù)測另外一個(gè)數(shù)據(jù)集。

    在建立模型之前，iris（鳶尾花）數(shù)據(jù)集被分為兩個(gè)子集：訓(xùn)練集（70%）和測試集（30%）。使用隨機(jī)種子設(shè)置固定的隨機(jī)數(shù)，可以使得隨機(jī)選取的數(shù)據(jù)是可重復(fù)利用的。

iris的決策樹分析（二）

---------------------------------------------------------------------------------------------

決策樹（decision tree）            決策樹是使用類似于一棵樹的結(jié)構(gòu)來表示類的劃分，樹的構(gòu)建可以看成是變量（屬性）選擇的過程，內(nèi)部節(jié)點(diǎn)表示樹選擇那幾個(gè)變量（屬性）作為劃分，每棵樹的葉節(jié)點(diǎn)表示為一個(gè)類的標(biāo)號(hào)，樹的最頂層為根節(jié)點(diǎn)。
           ID3， C4.5和CART均采用貪心算法，自頂向下遞歸的分治方式構(gòu)造，從訓(xùn)練數(shù)據(jù)集和他們相關(guān)聯(lián)的類標(biāo)號(hào)開始構(gòu)造樹。隨著樹的構(gòu)造，訓(xùn)練數(shù)據(jù)集遞歸的劃分成較小的子集。
            算法當(dāng)中三個(gè)重要的參數(shù)：D 訓(xùn)練數(shù)據(jù)集和類標(biāo)號(hào) ，Attitude_list 描述觀測的變量（屬性）列表，Attribute_selection_list變量（屬性）選擇度量，確定一個(gè)分裂準(zhǔn)側(cè)（splitting criterion）,這種分裂準(zhǔn)則選擇哪些變量（屬性）為按類“最好的”進(jìn)行劃分，也確定分枝選擇哪些觀測的為“最好的劃分”。即分裂準(zhǔn)則可以確定分裂 變量（屬性），也可以確定分裂點(diǎn)（splitting--point），使最后分裂的準(zhǔn)則盡可能的“純”，“純”表示所有觀測都屬于同一類，常用的有信息 增益，增益率，Gini指標(biāo)作為度量。
            信息增益：ID3使用信息增益，假定D中類標(biāo)號(hào)變量（屬性）具有m個(gè)值，定義m個(gè)不同的類C(i)(i=1,2---m)，C(i,d)是D中C(i)類的元組的集合，|D|和|C(i,D)|分別是D,C(i,D)中的個(gè)數(shù)。

                 決策樹在構(gòu)造過程中，由于數(shù)據(jù)中含有噪聲和離群點(diǎn)等異常數(shù)據(jù)，訓(xùn)練出來的樹的分枝會(huì)過分?jǐn)M合數(shù)據(jù)，處理過分?jǐn)M合的辦法是對樹進(jìn)行剪枝，剪枝后的樹更 小，復(fù)雜度更低，而且容易理解，常用的剪枝辦法有，先剪枝和后剪枝。                 R語言中實(shí)現(xiàn)決策樹的包rpart;     1,生成樹：rpart()函數(shù) raprt(formular,data,weight,subset,na.action=na.rpart,method,model=FALSE,x=FALSE,y=TRUE,parms,control,cost,...)         fomula ：模型格式形如outcome~predictor1+predictor2+predictor3+ect。         data     ：數(shù)據(jù)。         na.action：缺失數(shù)據(jù)的處理辦法，默認(rèn)為刪除因變量缺失的觀測而保留自變量缺失的觀測。         method：樹的末端數(shù)據(jù)類型選擇相應(yīng)的變量分割方法，連續(xù)性method=“anova”,離散型使用method=“class”,，計(jì)數(shù)型 method=“poisson”,生存分析型method=“exp”。          parms：設(shè)置三個(gè)參數(shù)，先驗(yàn)概率，損失矩陣，分類矩陣的度量方法。          control：控制每個(gè)節(jié)點(diǎn)上的最小樣本量，交叉驗(yàn)證的次數(shù)，復(fù)雜性參量：cp:complexity pamemeter。      2，剪枝使用          prune(tree,cp,....)           tree常是rpart()的結(jié)果對象，cp 復(fù)雜性參量       3 顯示結(jié)果的語句printcp(fit)顯示復(fù)雜性表plotcp(fit)畫交叉驗(yàn)證結(jié)果圖rsq.rpart(fit)R-squared 和 relative error for different splits (2 plots). labels are only appropriate for  "anova" method.print(fit)打印結(jié)果summary(fit)基本信息plot(fit)畫決策樹text(fit)給樹添加標(biāo)簽post(fit,file=)保存結(jié)果ps，pdf，等格式  # Classification Tree with rpart
library(rpart)

# grow tree
fit <- rpart(Kyphosis ~ Age + Number + Start,
method="class", data=kyphosis)

printcp(fit) # display the results
plotcp(fit) # visualize cross-validation results
summary(fit) # detailed summary of splits

# plot tree
plot(fit, uniform=TRUE,
main="Classification Tree for Kyphosis")
text(fit, use.n=TRUE, all=TRUE, cex=.8)

# create attractive postscript plot of tree
post(fit, file = "G:/dataplay/tree.ps",
title = "Classification Tree for Kyphosis")pfit<- prune(fit, cp= fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])

# plot the pruned tree
plot(pfit, uniform=TRUE,
main="Pruned Classification Tree for Kyphosis")
text(pfit, use.n=TRUE, all=TRUE, cex=.8)
post(pfit, file = "G:/dataplay/ptree.ps",
title = "Pruned Classification Tree for Kyphosis")