r語(yǔ)言做決策樹(shù)代碼實(shí)現(xiàn)

0.節(jié)點(diǎn)和結(jié)點(diǎn)的區(qū)別：節(jié)點(diǎn)為兩線相交，不為終點(diǎn)；而結(jié)點(diǎn)為兩線相交為終點(diǎn)，沒(méi)有延伸；
1.分支節(jié)點(diǎn)：它指向其他的節(jié)點(diǎn)，所以是度不為0的節(jié)點(diǎn)。 vs 葉子結(jié)點(diǎn)：度為0的結(jié)點(diǎn)
2.度：結(jié)點(diǎn)擁有的子樹(shù)數(shù)；就是說(shuō)這個(gè)結(jié)點(diǎn)下面有幾條分支
3.樹(shù)的深度：樹(shù)有幾層
4.10折交叉驗(yàn)證：常用的測(cè)試算法準(zhǔn)確性的方法。
  將數(shù)據(jù)集分成10份，輪流將其中9份作為訓(xùn)練數(shù)據(jù)，1份作為測(cè)試數(shù)據(jù)，進(jìn)行試驗(yàn)
  每次試驗(yàn)都會(huì)得出相應(yīng)的正確率，10次結(jié)果的正確率取平均值就作為算法精度的估計(jì)，一般還需進(jìn)行多次10折交叉驗(yàn)證，再求均值
  為什么取10折？因?yàn)楹芏嗬碚撟C明了10折是獲得最好誤差估計(jì)的恰當(dāng)選擇。
  
#第1步：工作目錄和數(shù)據(jù)集的準(zhǔn)備
setwd("C:/Users/IBM/Desktop/170222分類樹(shù)建模/2.23建模")#設(shè)定當(dāng)前的工作目錄，重要！
audit2<-read.csv("model2.csv",header=T)
str(audit2) #轉(zhuǎn)成字符串類型的

#第2步：做訓(xùn)練集和測(cè)試集
set.seed(1)
sub<-sample(1:nrow(audit2),round(nrow(audit2)*2/3))
length(sub)
data_train<-audit2[sub,]#取2/3的數(shù)據(jù)做訓(xùn)練集
data_test<-audit2[-sub,]#取1/3的數(shù)據(jù)做測(cè)試集
dim(data_train)#訓(xùn)練集行數(shù)和列數(shù)13542 23
dim(data_test) #測(cè)試集的行數(shù)和列數(shù)6771 23
table(data_train$是否轉(zhuǎn)化) #看該列分布的
table(data_test$是否轉(zhuǎn)化)


#做決策樹(shù)模型。首先對(duì)樹(shù)參數(shù)進(jìn)行設(shè)置，再建模
## rpart.control對(duì)樹(shù)進(jìn)行一些設(shè)置  
## xval是10折交叉驗(yàn)證  
## minsplit是最小分支節(jié)點(diǎn)數(shù)，這里指大于等于20，那么該節(jié)點(diǎn)會(huì)繼續(xù)分劃下去，否則停止  
## minbucket：葉子節(jié)點(diǎn)最小樣本數(shù),這里設(shè)置100，可以調(diào)參 
## maxdepth：樹(shù)的深度  

## cp全稱為complexity parameter，指某個(gè)點(diǎn)的復(fù)雜度，對(duì)每一步拆分,模型的擬合優(yōu)度必須提高的程度 

#加載程序包和一些參數(shù)設(shè)定
library(rpart)
ct<-rpart.control(xval=10,minsplit=20,minbucket=150,cp=0.00017)

#rapart包中的raprt函數(shù)來(lái)做決策樹(shù)
#na.action:缺失數(shù)據(jù)的處理，默認(rèn)為刪因變量缺失保留自變量缺失
#method：樹(shù)的末端數(shù)據(jù)類型選擇相應(yīng)的變量分割方法：
#        連續(xù)性method=“anova”,離散型method=“class”,計(jì)數(shù)型method=“poisson”,生存分析型method=“exp”  
#parms：用來(lái)設(shè)置三個(gè)參數(shù):先驗(yàn)概率、損失矩陣、分類純度的度量方法（gini和information） 

#第3步：建模，觀察模型結(jié)果

library(rpart)

tree.both<-rpart(as.factor(是否轉(zhuǎn)化)~ .,data=data_train,method='class',minsplit=20,minbucket=150,cp=0.00017)
summary(tree.both)
tree.both$variable.importance
printcp(tree.both)
plotcp(tree.both,lwd=2)
#第4步：畫決策樹(shù)
#畫決策樹(shù)第1種方法，畫出來(lái)的樹(shù)比較簡(jiǎn)單
par(mfrow=c(1,3))
plot(tree.both)
text(tree.both,use.n=T,all=T,cex=0.9)

#畫決策樹(shù)第2種方法，畫出來(lái)的樹(shù)稍微好看些
library(rpart.plot)
rpart.plot(tree.both,branch=1,shadow.col="gray",box.col="green",border.col="blue",split.col="red",split.cex=1.2,main="決策樹(shù)")
#第5步：剪枝
#rpart包提供了一種剪枝方法--復(fù)雜度損失修剪的修剪方法
#printcp這個(gè)函數(shù)會(huì)告訴你分裂到的每一層，對(duì)應(yīng)的cp是多少，平均相對(duì)誤差是多少
#xerror：交叉驗(yàn)證的估計(jì)誤差；xstd：標(biāo)準(zhǔn)誤差；xerror±xstd平均相對(duì)誤差
printcp(tree.both)

#我們使用具有最小交叉驗(yàn)證誤差的cp
cp=tree.both$cptable[which.min(tree.both$cptable[,"xerror"]),"CP"]

cp #cp=0.00049

#第6步：剪枝之后的樹(shù)再畫圖
tree.both2<-prune(tree.both,cp=tree.both$cptable[which.min(tree.both$cptable[,"xerror"]),"CP"])
summary(tree.both2)
tree.both2$variable.importance
printcp(tree.both2)
plotcp(tree.both2,lwd=2) 

library(rpart.plot)
rpart.plot(tree.both2,branch=1,shadow.col="gray",box.col="green",border.col="blue",split.col="red",split.cex=1.2,main="決策樹(shù)")
#第7步：輸出規(guī)則。剪枝后的決策樹(shù)規(guī)則，從規(guī)則中再發(fā)現(xiàn)規(guī)律
library(rattle)
asRules(tree.both2)
#第8步：在測(cè)試集上做預(yù)測(cè)
library(pROC)

pred.tree.both<-predict(tree.both,newdata=data_test)

#第9步，看測(cè)試的效果，預(yù)測(cè)正確的有多少，預(yù)測(cè)錯(cuò)誤的有多少

predictScore<-data.frame(pred.tree.both)
rownames(predictScore) #看這個(gè)矩陣行的名字
colnames(predictScore)#看這個(gè)矩陣列的名字
predictScore$是否轉(zhuǎn)化<-'ok'  #在預(yù)測(cè)的矩陣后面多加一列‘是否轉(zhuǎn)化’2，全部都是2
predictScore[predictScore$FALSE.>predictScore$TRUE.,][,"是否轉(zhuǎn)化"]=FALSE #如果false的概率大于true的概率，那么判斷為false
predictScore[predictScore$FALSE.<=predictScore$TRUE.,][,"是否轉(zhuǎn)化"]=TRUE 
n<-table(data_test$是否轉(zhuǎn)化,predictScore$是否轉(zhuǎn)化)
n #看分布情況
percantage<-c(n[1,1]/sum(n[1,]),n[2,2]/sum(n[2,]))
percantage