r語言做決策樹代碼實現(xiàn)

0.節(jié)點和結(jié)點的區(qū)別：節(jié)點為兩線相交，不為終點；而結(jié)點為兩線相交為終點，沒有延伸；
1.分支節(jié)點：它指向其他的節(jié)點，所以是度不為0的節(jié)點。 vs 葉子結(jié)點：度為0的結(jié)點
2.度：結(jié)點擁有的子樹數(shù)；就是說這個結(jié)點下面有幾條分支
3.樹的深度：樹有幾層
4.10折交叉驗證：常用的測試算法準確性的方法。
  將數(shù)據(jù)集分成10份，輪流將其中9份作為訓練數(shù)據(jù)，1份作為測試數(shù)據(jù)，進行試驗
  每次試驗都會得出相應的正確率，10次結(jié)果的正確率取平均值就作為算法精度的估計，一般還需進行多次10折交叉驗證，再求均值
  為什么取10折？因為很多理論證明了10折是獲得最好誤差估計的恰當選擇。
  
#第1步：工作目錄和數(shù)據(jù)集的準備
setwd("C:/Users/IBM/Desktop/170222分類樹建模/2.23建模")#設定當前的工作目錄，重要！
audit2<-read.csv("model2.csv",header=T)
str(audit2) #轉(zhuǎn)成字符串類型的

#第2步：做訓練集和測試集
set.seed(1)
sub<-sample(1:nrow(audit2),round(nrow(audit2)*2/3))
length(sub)
data_train<-audit2[sub,]#取2/3的數(shù)據(jù)做訓練集
data_test<-audit2[-sub,]#取1/3的數(shù)據(jù)做測試集
dim(data_train)#訓練集行數(shù)和列數(shù)13542 23
dim(data_test) #測試集的行數(shù)和列數(shù)6771 23
table(data_train$是否轉(zhuǎn)化) #看該列分布的
table(data_test$是否轉(zhuǎn)化)


#做決策樹模型。首先對樹參數(shù)進行設置，再建模
## rpart.control對樹進行一些設置  
## xval是10折交叉驗證  
## minsplit是最小分支節(jié)點數(shù)，這里指大于等于20，那么該節(jié)點會繼續(xù)分劃下去，否則停止  
## minbucket：葉子節(jié)點最小樣本數(shù),這里設置100，可以調(diào)參 
## maxdepth：樹的深度  

## cp全稱為complexity parameter，指某個點的復雜度，對每一步拆分,模型的擬合優(yōu)度必須提高的程度 

#加載程序包和一些參數(shù)設定
library(rpart)
ct<-rpart.control(xval=10,minsplit=20,minbucket=150,cp=0.00017)

#rapart包中的raprt函數(shù)來做決策樹
#na.action:缺失數(shù)據(jù)的處理，默認為刪因變量缺失保留自變量缺失
#method：樹的末端數(shù)據(jù)類型選擇相應的變量分割方法：
#        連續(xù)性method=“anova”,離散型method=“class”,計數(shù)型method=“poisson”,生存分析型method=“exp”  
#parms：用來設置三個參數(shù):先驗概率、損失矩陣、分類純度的度量方法（gini和information） 

#第3步：建模，觀察模型結(jié)果

library(rpart)

tree.both<-rpart(as.factor(是否轉(zhuǎn)化)~ .,data=data_train,method='class',minsplit=20,minbucket=150,cp=0.00017)
summary(tree.both)
tree.both$variable.importance
printcp(tree.both)
plotcp(tree.both,lwd=2)
#第4步：畫決策樹
#畫決策樹第1種方法，畫出來的樹比較簡單
par(mfrow=c(1,3))
plot(tree.both)
text(tree.both,use.n=T,all=T,cex=0.9)

#畫決策樹第2種方法，畫出來的樹稍微好看些
library(rpart.plot)
rpart.plot(tree.both,branch=1,shadow.col="gray",box.col="green",border.col="blue",split.col="red",split.cex=1.2,main="決策樹")
#第5步：剪枝
#rpart包提供了一種剪枝方法--復雜度損失修剪的修剪方法
#printcp這個函數(shù)會告訴你分裂到的每一層，對應的cp是多少，平均相對誤差是多少
#xerror：交叉驗證的估計誤差；xstd：標準誤差；xerror±xstd平均相對誤差
printcp(tree.both)

#我們使用具有最小交叉驗證誤差的cp
cp=tree.both$cptable[which.min(tree.both$cptable[,"xerror"]),"CP"]

cp #cp=0.00049

#第6步：剪枝之后的樹再畫圖
tree.both2<-prune(tree.both,cp=tree.both$cptable[which.min(tree.both$cptable[,"xerror"]),"CP"])
summary(tree.both2)
tree.both2$variable.importance
printcp(tree.both2)
plotcp(tree.both2,lwd=2) 

library(rpart.plot)
rpart.plot(tree.both2,branch=1,shadow.col="gray",box.col="green",border.col="blue",split.col="red",split.cex=1.2,main="決策樹")
#第7步：輸出規(guī)則。剪枝后的決策樹規(guī)則，從規(guī)則中再發(fā)現(xiàn)規(guī)律
library(rattle)
asRules(tree.both2)
#第8步：在測試集上做預測
library(pROC)

pred.tree.both<-predict(tree.both,newdata=data_test)

#第9步，看測試的效果，預測正確的有多少，預測錯誤的有多少

predictScore<-data.frame(pred.tree.both)
rownames(predictScore) #看這個矩陣行的名字
colnames(predictScore)#看這個矩陣列的名字
predictScore$是否轉(zhuǎn)化<-'ok'  #在預測的矩陣后面多加一列‘是否轉(zhuǎn)化’2，全部都是2
predictScore[predictScore$FALSE.>predictScore$TRUE.,][,"是否轉(zhuǎn)化"]=FALSE #如果false的概率大于true的概率，那么判斷為false
predictScore[predictScore$FALSE.<=predictScore$TRUE.,][,"是否轉(zhuǎn)化"]=TRUE 
n<-table(data_test$是否轉(zhuǎn)化,predictScore$是否轉(zhuǎn)化)
n #看分布情況
percantage<-c(n[1,1]/sum(n[1,]),n[2,2]/sum(n[2,]))
percantage