基于R語(yǔ)言的梯度推進(jìn)算法介紹

通常來(lái)說(shuō)，我們可以從兩個(gè)方面來(lái)提高一個(gè)預(yù)測(cè)模型的準(zhǔn)確性：完善特征工程（feature engineering）或是直接使用Boosting算法。通過(guò)大量數(shù)據(jù)科學(xué)競(jìng)賽的試煉，我們可以發(fā)現(xiàn)人們更鐘愛于Boosting算法，這是因?yàn)楹推渌椒ㄏ啾龋诋a(chǎn)生類似的結(jié)果時(shí)往往更加節(jié)約時(shí)間。

Boosting算法有很多種，比如梯度推進(jìn)（Gradient Boosting）、XGBoost、AdaBoost、Gentle Boost等等。每一種算法都有自己不同的理論基礎(chǔ)，通過(guò)對(duì)它們進(jìn)行運(yùn)用，算法之間細(xì)微的差別也能夠被我們所察覺。如果你是一個(gè)新手，那么太好了，從現(xiàn)在開始，你可以用大約一周的時(shí)間來(lái)了解和學(xué)習(xí)這些知識(shí)。

在本文中，筆者將會(huì)向你介紹梯度推進(jìn)算法的基本概念及其復(fù)雜性，此外，文中還分享了一個(gè)關(guān)于如何在R語(yǔ)言中對(duì)該算法進(jìn)行實(shí)現(xiàn)的例子。

快問(wèn)快答

每當(dāng)談及Boosting算法，下列兩個(gè)概念便會(huì)頻繁的出現(xiàn)：Bagging和Boosting。那么，這兩個(gè)概念是什么，它們之間究竟有什么區(qū)別呢？讓我們快速簡(jiǎn)要地在這里解釋一下：

Bagging：對(duì)數(shù)據(jù)進(jìn)行隨機(jī)抽樣、建立學(xué)習(xí)算法并且通過(guò)簡(jiǎn)單平均來(lái)得到最終概率結(jié)論的一種方法。

Boosting：與Bagging類似，但在樣本選擇方面顯得更為聰明一些——在算法進(jìn)行過(guò)程中，對(duì)難以進(jìn)行分類的觀測(cè)值賦予了越來(lái)越大的權(quán)重。

我們知道你可能會(huì)在這方面產(chǎn)生疑問(wèn)：什么叫做越來(lái)越大？我怎么知道我應(yīng)該給一個(gè)被錯(cuò)分的觀測(cè)值額外增加多少的權(quán)重呢？請(qǐng)保持冷靜，我們將在接下來(lái)的章節(jié)里為你解答。

從一個(gè)簡(jiǎn)單的例子出發(fā)

假設(shè)你有一個(gè)初始的預(yù)測(cè)模型M需要進(jìn)行準(zhǔn)確度的提高，你知道這個(gè)模型目前的準(zhǔn)確度為80%（通過(guò)任何形式度量），那么接下來(lái)你應(yīng)該怎么做呢？

有一個(gè)方法是，我們可以通過(guò)一組新的輸入變量來(lái)構(gòu)建一個(gè)全新的模型，然后對(duì)它們進(jìn)行集成學(xué)習(xí)。但是，筆者在此要提出一個(gè)更簡(jiǎn)單的建議，如下所示：

Y = M(x) + error

如果我們能夠觀測(cè)到誤差項(xiàng)并非白噪聲，而是與我們的模型輸出（Y）有著相同的相關(guān)性，那么我們?yōu)槭裁床煌ㄟ^(guò)這個(gè)誤差項(xiàng)來(lái)對(duì)模型的準(zhǔn)確度進(jìn)行提升呢？比方說(shuō)：

error = G(x) + error2

或許，你會(huì)發(fā)現(xiàn)模型的準(zhǔn)確率提高到了一個(gè)更高的數(shù)字，比如84%。那么下一步讓我們對(duì)error2進(jìn)行回歸。

error2 = H(x) + error3

然后我們將上述式子組合起來(lái)：

Y = M(x) + G(x) + H(x) + error3

這樣的結(jié)果可能會(huì)讓模型的準(zhǔn)確度更進(jìn)一步，超過(guò)84%。如果我們能像這樣為三個(gè)學(xué)習(xí)算法找到一個(gè)最佳權(quán)重分配，

Y = alpha * M(x) + beta * G(x) + gamma * H(x) + error4

那么，我們可能就構(gòu)建了一個(gè)更好的模型。

上面所述的便是Boosting算法的一個(gè)基本原則，當(dāng)我初次接觸到這一理論時(shí)，我的腦海中很快地冒出了這兩個(gè)小問(wèn)題：

1.我們?nèi)绾闻袛嗷貧w／分類方程中的誤差項(xiàng)是不是白噪聲？如果無(wú)法判斷，我們?cè)趺茨苡眠@種算法呢？

2.如果這種算法真的這么強(qiáng)大，我們是不是可以做到接近100％的模型準(zhǔn)確度？

接下來(lái)，我們將會(huì)對(duì)這些問(wèn)題進(jìn)行解答，但是需要明確的是，Boosting算法的目標(biāo)對(duì)象通常都是一些弱算法，而這些弱算法都不具備只保留白噪聲的能力；其次，Boosting有可能導(dǎo)致過(guò)度擬合，所以我們必須在合適的點(diǎn)上停止這個(gè)算法。

試著想象一個(gè)分類問(wèn)題

請(qǐng)看下圖：

從最左側(cè)的圖開始看，那條垂直的線表示我們運(yùn)用算法所構(gòu)建的分類器，可以發(fā)現(xiàn)在這幅圖中有3/10的觀測(cè)值的分類情況是錯(cuò)誤的。接著，我們給予那三個(gè)被誤分的“＋”型的觀測(cè)值更高的權(quán)重，使得它們?cè)跇?gòu)建分類器時(shí)的地位非常重要。這樣一來(lái)，垂直線就直接移動(dòng)到了接近圖形右邊界的位置。反復(fù)這樣的過(guò)程之后，我們?cè)谕ㄟ^(guò)合適的權(quán)重組合將所有的模型進(jìn)行合并。

算法的理論基礎(chǔ)

我們?cè)撊绾畏峙溆^測(cè)值的權(quán)重呢？

通常來(lái)說(shuō)，我們從一個(gè)均勻分布假設(shè)出發(fā)，我們把它稱為D1，在這里，n個(gè)觀測(cè)值分別被分配了1/n的權(quán)重。

步驟1：假設(shè)一個(gè)α（t）；

步驟2：得到弱分類器h（t）；

步驟3：更新總體分布，

其中，

步驟4：再次運(yùn)用新的總體分布去得到下一個(gè)分類器；

覺得步驟3中的數(shù)學(xué)很可怕嗎？讓我們來(lái)一起擊破這種恐懼。首先，我們簡(jiǎn)單看一下指數(shù)里的參數(shù)，α表示一種學(xué)習(xí)率，y是實(shí)際的回應(yīng)值（＋1或－1），而h（x）則是分類器所預(yù)測(cè)的類別。簡(jiǎn)單來(lái)說(shuō)，如果分類器預(yù)測(cè)錯(cuò)了，這個(gè)指數(shù)的冪就變成了1 *α， 反之則是－1*α。也就是說(shuō)，如果某觀測(cè)值在上一次預(yù)測(cè)中被預(yù)測(cè)錯(cuò)誤，那么它對(duì)應(yīng)的權(quán)重可能會(huì)增加。那么，接下來(lái)該做什么呢？

步驟5：不斷重復(fù)步驟1-步驟4，直到無(wú)法發(fā)現(xiàn)任何可以改進(jìn)的地方；

步驟6：對(duì)所有在上面步驟中出現(xiàn)過(guò)的分類器或是學(xué)習(xí)算法進(jìn)行加權(quán)平均，權(quán)重如下所示：

案例練習(xí)

最近我參加了由Analytics Vidhya組織的在線hackathon活動(dòng)。為了使變量變換變得容易，在complete_data中我們合并了測(cè)試集與訓(xùn)練集中的所有數(shù)據(jù)。我們將數(shù)據(jù)導(dǎo)入，并且進(jìn)行抽樣和分類。

library(caret)rm(list=ls())setwd("C:\\Users\\ts93856\\Desktop\\AV")library(Metrics)complete <- read.csv("complete_data.csv", stringsAsFactors = TRUE)train <- complete[complete$Train == 1,]score <- complete[complete$Train != 1,]set.seed(999)ind <- sample(2, nrow(train), replace=T, prob=c(0.60,0.40))trainData<-train[ind==1,]testData <- train[ind==2,]set.seed(999)ind1 <- sample(2, nrow(testData), replace=T, prob=c(0.50,0.50))trainData_ens1<-testData[ind1==1,]testData_ens1 <- testData[ind1==2,]table(testData_ens1$Disbursed)[2]/nrow(testData_ens1)#Response Rate of 9.052%

接下來(lái)，就是構(gòu)建一個(gè)梯度推進(jìn)模型（Gradient Boosting Model）所要做的：

fitControl <- trainControl(method = "repeatedcv", number = 4, repeats = 4)trainData$outcome1 <- ifelse(trainData$Disbursed == 1, "Yes","No")set.seed(33)gbmFit1 <- train(as.factor(outcome1) ~ ., data = trainData[,-26], method = "gbm", trControl = fitControl,verbose = FALSE)gbm_dev <- predict(gbmFit1, trainData,type= "prob")[,2]gbm_ITV1 <- predict(gbmFit1, trainData_ens1,type= "prob")[,2]gbm_ITV2 <- predict(gbmFit1, testData_ens1,type= "prob")[,2]auc(trainData$Disbursed,gbm_dev)auc(trainData_ens1$Disbursed,gbm_ITV1)auc(testData_ens1$Disbursed,gbm_ITV2)

在上述案例中，運(yùn)行代碼后所看到的所有AUC值將會(huì)非常接近0.84。我們隨時(shí)歡迎你對(duì)這段代碼進(jìn)行進(jìn)一步的完善。在這個(gè)領(lǐng)域，梯度推進(jìn)模型（GBM）是最為廣泛運(yùn)用的方法，在未來(lái)的文章里，我們可能會(huì)對(duì)GXBoost等一些更加快捷的Boosting算法進(jìn)行介紹。

結(jié)束語(yǔ)

筆者曾不止一次見識(shí)過(guò)Boosting算法的迅捷與高效，在Kaggle或是其他平臺(tái)的競(jìng)賽中，它的得分能力從未令人失望，當(dāng)然了，也許這要取決于你能夠把特征工程（feature engineering）做得多好了。