基于R語言的梯度推進算法介紹

通常來說，我們可以從兩個方面來提高一個預(yù)測模型的準(zhǔn)確性：完善特征工程（feature engineering）或是直接使用Boosting算法。通過大量數(shù)據(jù)科學(xué)競賽的試煉，我們可以發(fā)現(xiàn)人們更鐘愛于Boosting算法，這是因為和其他方法相比，它在產(chǎn)生類似的結(jié)果時往往更加節(jié)約時間。

Boosting算法有很多種，比如梯度推進（Gradient Boosting）、XGBoost、AdaBoost、Gentle Boost等等。每一種算法都有自己不同的理論基礎(chǔ)，通過對它們進行運用，算法之間細微的差別也能夠被我們所察覺。如果你是一個新手，那么太好了，從現(xiàn)在開始，你可以用大約一周的時間來了解和學(xué)習(xí)這些知識。

在本文中，筆者將會向你介紹梯度推進算法的基本概念及其復(fù)雜性，此外，文中還分享了一個關(guān)于如何在R語言中對該算法進行實現(xiàn)的例子。

快問快答

每當(dāng)談及Boosting算法，下列兩個概念便會頻繁的出現(xiàn)：Bagging和Boosting。那么，這兩個概念是什么，它們之間究竟有什么區(qū)別呢？讓我們快速簡要地在這里解釋一下：

Bagging：對數(shù)據(jù)進行隨機抽樣、建立學(xué)習(xí)算法并且通過簡單平均來得到最終概率結(jié)論的一種方法。

Boosting：與Bagging類似，但在樣本選擇方面顯得更為聰明一些——在算法進行過程中，對難以進行分類的觀測值賦予了越來越大的權(quán)重。

我們知道你可能會在這方面產(chǎn)生疑問：什么叫做越來越大？我怎么知道我應(yīng)該給一個被錯分的觀測值額外增加多少的權(quán)重呢？請保持冷靜，我們將在接下來的章節(jié)里為你解答。

從一個簡單的例子出發(fā)

假設(shè)你有一個初始的預(yù)測模型M需要進行準(zhǔn)確度的提高，你知道這個模型目前的準(zhǔn)確度為80%（通過任何形式度量），那么接下來你應(yīng)該怎么做呢？

有一個方法是，我們可以通過一組新的輸入變量來構(gòu)建一個全新的模型，然后對它們進行集成學(xué)習(xí)。但是，筆者在此要提出一個更簡單的建議，如下所示：

Y = M(x) + error

如果我們能夠觀測到誤差項并非白噪聲，而是與我們的模型輸出（Y）有著相同的相關(guān)性，那么我們?yōu)槭裁床煌ㄟ^這個誤差項來對模型的準(zhǔn)確度進行提升呢？比方說：

error = G(x) + error2

或許，你會發(fā)現(xiàn)模型的準(zhǔn)確率提高到了一個更高的數(shù)字，比如84%。那么下一步讓我們對error2進行回歸。

error2 = H(x) + error3

然后我們將上述式子組合起來：

Y = M(x) + G(x) + H(x) + error3

這樣的結(jié)果可能會讓模型的準(zhǔn)確度更進一步，超過84%。如果我們能像這樣為三個學(xué)習(xí)算法找到一個最佳權(quán)重分配，

Y = alpha * M(x) + beta * G(x) + gamma * H(x) + error4

那么，我們可能就構(gòu)建了一個更好的模型。

上面所述的便是Boosting算法的一個基本原則，當(dāng)我初次接觸到這一理論時，我的腦海中很快地冒出了這兩個小問題：

1.我們?nèi)绾闻袛嗷貧w／分類方程中的誤差項是不是白噪聲？如果無法判斷，我們怎么能用這種算法呢？

2.如果這種算法真的這么強大，我們是不是可以做到接近100％的模型準(zhǔn)確度？

接下來，我們將會對這些問題進行解答，但是需要明確的是，Boosting算法的目標(biāo)對象通常都是一些弱算法，而這些弱算法都不具備只保留白噪聲的能力；其次，Boosting有可能導(dǎo)致過度擬合，所以我們必須在合適的點上停止這個算法。

試著想象一個分類問題

請看下圖：

從最左側(cè)的圖開始看，那條垂直的線表示我們運用算法所構(gòu)建的分類器，可以發(fā)現(xiàn)在這幅圖中有3/10的觀測值的分類情況是錯誤的。接著，我們給予那三個被誤分的“＋”型的觀測值更高的權(quán)重，使得它們在構(gòu)建分類器時的地位非常重要。這樣一來，垂直線就直接移動到了接近圖形右邊界的位置。反復(fù)這樣的過程之后，我們在通過合適的權(quán)重組合將所有的模型進行合并。

算法的理論基礎(chǔ)

我們該如何分配觀測值的權(quán)重呢？

通常來說，我們從一個均勻分布假設(shè)出發(fā)，我們把它稱為D1，在這里，n個觀測值分別被分配了1/n的權(quán)重。

步驟1：假設(shè)一個α（t）；

步驟2：得到弱分類器h（t）；

步驟3：更新總體分布，

其中，

步驟4：再次運用新的總體分布去得到下一個分類器；

覺得步驟3中的數(shù)學(xué)很可怕嗎？讓我們來一起擊破這種恐懼。首先，我們簡單看一下指數(shù)里的參數(shù)，α表示一種學(xué)習(xí)率，y是實際的回應(yīng)值（＋1或－1），而h（x）則是分類器所預(yù)測的類別。簡單來說，如果分類器預(yù)測錯了，這個指數(shù)的冪就變成了1 *α， 反之則是－1*α。也就是說，如果某觀測值在上一次預(yù)測中被預(yù)測錯誤，那么它對應(yīng)的權(quán)重可能會增加。那么，接下來該做什么呢？

步驟5：不斷重復(fù)步驟1-步驟4，直到無法發(fā)現(xiàn)任何可以改進的地方；

步驟6：對所有在上面步驟中出現(xiàn)過的分類器或是學(xué)習(xí)算法進行加權(quán)平均，權(quán)重如下所示：

案例練習(xí)

最近我參加了由Analytics Vidhya組織的在線hackathon活動。為了使變量變換變得容易，在complete_data中我們合并了測試集與訓(xùn)練集中的所有數(shù)據(jù)。我們將數(shù)據(jù)導(dǎo)入，并且進行抽樣和分類。

library(caret)rm(list=ls())setwd("C:\\Users\\ts93856\\Desktop\\AV")library(Metrics)complete <- read.csv("complete_data.csv", stringsAsFactors = TRUE)train <- complete[complete$Train == 1,]score <- complete[complete$Train != 1,]set.seed(999)ind <- sample(2, nrow(train), replace=T, prob=c(0.60,0.40))trainData<-train[ind==1,]testData <- train[ind==2,]set.seed(999)ind1 <- sample(2, nrow(testData), replace=T, prob=c(0.50,0.50))trainData_ens1<-testData[ind1==1,]testData_ens1 <- testData[ind1==2,]table(testData_ens1$Disbursed)[2]/nrow(testData_ens1)#Response Rate of 9.052%

接下來，就是構(gòu)建一個梯度推進模型（Gradient Boosting Model）所要做的：

fitControl <- trainControl(method = "repeatedcv", number = 4, repeats = 4)trainData$outcome1 <- ifelse(trainData$Disbursed == 1, "Yes","No")set.seed(33)gbmFit1 <- train(as.factor(outcome1) ~ ., data = trainData[,-26], method = "gbm", trControl = fitControl,verbose = FALSE)gbm_dev <- predict(gbmFit1, trainData,type= "prob")[,2]gbm_ITV1 <- predict(gbmFit1, trainData_ens1,type= "prob")[,2]gbm_ITV2 <- predict(gbmFit1, testData_ens1,type= "prob")[,2]auc(trainData$Disbursed,gbm_dev)auc(trainData_ens1$Disbursed,gbm_ITV1)auc(testData_ens1$Disbursed,gbm_ITV2)

在上述案例中，運行代碼后所看到的所有AUC值將會非常接近0.84。我們隨時歡迎你對這段代碼進行進一步的完善。在這個領(lǐng)域，梯度推進模型（GBM）是最為廣泛運用的方法，在未來的文章里，我們可能會對GXBoost等一些更加快捷的Boosting算法進行介紹。

結(jié)束語

筆者曾不止一次見識過Boosting算法的迅捷與高效，在Kaggle或是其他平臺的競賽中，它的得分能力從未令人失望，當(dāng)然了，也許這要取決于你能夠把特征工程（feature engineering）做得多好了。