R語(yǔ)言使用boosting方法對(duì)數(shù)據(jù)分類與交叉驗(yàn)證

數(shù)據(jù)分類說(shuō)明

與bagging方法類似，boosting算法也是先獲得簡(jiǎn)單的分類器，然后通過調(diào)整錯(cuò)分樣本的權(quán)重逐步改進(jìn)分類器，使得后續(xù)分類器能夠?qū)W習(xí)前一輪分類器，adabag實(shí)現(xiàn)了AdaBoost.M1和SAMME兩個(gè)算法，因此用戶能夠使用adabag包實(shí)施集成學(xué)習(xí)。

數(shù)據(jù)分類操作

導(dǎo)入包
library(rpart)
library(adabag)
調(diào)用adabag包的boosting函數(shù)分類器：
churn.boost = boosting(churn ~ .,data = trainset,mfinal = 10,coeflearn = "Freund",boos = FALSE,control = rpart.control(maxdepth = 3))
使用boosting訓(xùn)練模型對(duì)測(cè)試數(shù)據(jù)集進(jìn)行分類預(yù)測(cè)：
churn.boost.pred = predict.boosting(churn.boost,newdata = testset)
基于預(yù)測(cè)結(jié)果生成分類表：
 churn.boost.pred$confusion
               Observed Class
Predicted Class yes  no
            no   41 858
            yes 100  19
根據(jù)分類結(jié)果計(jì)算平均誤差：
churn.boost.pred$error
[1] 0.0589391
數(shù)據(jù)分類原理
boosting算法的思想是通過對(duì)弱分類器（單一決策樹）的“逐步優(yōu)化”，使之成為強(qiáng)分類器。假定當(dāng)前在訓(xùn)練集中存在n個(gè)點(diǎn)，對(duì)其權(quán)重分別賦值Wj(0<= j < n),在迭代的學(xué)習(xí)過程中（假定迭代次數(shù)為m）,我們將根據(jù)每次迭代的分類結(jié)果，不斷調(diào)整這些點(diǎn)的權(quán)重，如果當(dāng)前這些點(diǎn)分類是正確的，則調(diào)低其權(quán)值，否則，增加樣例點(diǎn)的權(quán)值。這樣，當(dāng)整個(gè)迭代過程結(jié)束時(shí)，算法將得到m個(gè)合適的模型，最終，通過對(duì)每棵決策樹加權(quán)平均得到最后的預(yù)測(cè)結(jié)果，權(quán)值b由每棵決策樹的分類質(zhì)量決定。

bagging和boosting都采用了集成學(xué)習(xí)的思想，即將多個(gè)弱分類器組成強(qiáng)分類器，兩者的不同在于，bagging是組合獨(dú)立的模型，而boosting則通過在迭代的過程學(xué)習(xí)的過程中盡可能用正確的分類模型來(lái)降低預(yù)測(cè)誤差。與bagging類似，用戶也需要指定用于分類的模型的公式與分類數(shù)據(jù)集，用戶還要自己指定諸如迭代次數(shù)（mfinal）,權(quán)重更新系數(shù)（coeflearn）、觀測(cè)值權(quán)重（boos）以及rpart的控制方法（單一決策樹）等參數(shù)，本例中迭代次數(shù)為設(shè)置為10，采用Freund（AdaBoost.M1算法實(shí)現(xiàn)的方法）作為系數(shù)（coeflearn）,設(shè)置boos的值是“false”,最大深度為3。
交叉驗(yàn)證說(shuō)明
adabag包支持對(duì)boosting方法的交叉驗(yàn)證，該功能可以通過boosting.cv實(shí)現(xiàn)。
交叉驗(yàn)證操作
獲得boosting方法交叉驗(yàn)證后的最小估計(jì)錯(cuò)誤：
調(diào)用boosting.cv對(duì)訓(xùn)練數(shù)據(jù)集實(shí)施交叉驗(yàn)證：
churn.boost.cv = boosting.cv(churn ~ .,v = 10,data = trainset,mfinal = 5,control=rpart.control(cp = 0.01))
從boosting結(jié)果生成混淆矩陣
churn.boost.cv$confusion
               Observed Class
Predicted Class  yes   no
            no   103 1936
            yes  239   37

得到boosting的平均誤差：
churn.boost.cv$error
[1] 0.06047516

交叉驗(yàn)證原理

函數(shù)參數(shù)v值設(shè)置為10，mfinal的值設(shè)置為5，boosting算法會(huì)執(zhí)行一個(gè)5次迭代的10折交叉驗(yàn)證，另外可以設(shè)置參數(shù)進(jìn)行rpart的匹配控制。我們將復(fù)雜度參數(shù)設(shè)置為0.01。