XGBoost是誕生于2014年2月的一種專攻梯度提升算法的機(jī)器學(xué)習(xí)函數(shù)庫(kù)，它有很好的學(xué)習(xí)效果，速度也非常快，與梯度提升算法在另一個(gè)常用機(jī)器學(xué)習(xí)庫(kù)scikit-learn中的實(shí)現(xiàn)相比，XGBoost的性能可以提升10倍以上。還有，XGBoost利用了核外計(jì)算，能夠使數(shù)據(jù)科學(xué)家僅在一個(gè)主機(jī)上就能實(shí)現(xiàn)數(shù)億樣本數(shù)據(jù)的處理。最終，并且將這些技術(shù)進(jìn)行結(jié)合，進(jìn)而做出一個(gè)端到端的系統(tǒng)，能夠以最少的集群系統(tǒng)擴(kuò)展到更大的數(shù)據(jù)集上。

一、XGBoost 的優(yōu)點(diǎn)：

1.新穎、能夠處理稀疏數(shù)據(jù);

2.理論上合理的weighted quantile sketch過程使得能夠在近似樹學(xué)習(xí)中處理實(shí)例權(quán)重;

3.引入一個(gè)新穎的稀疏感知(sparsity-aware)算法用于并行樹學(xué)習(xí);

4.并行和分布式計(jì)算，學(xué)習(xí)更為快速，模型探索也能更快的實(shí)現(xiàn);

5.對(duì)于核外樹學(xué)習(xí)，提出了一種有效地緩存感知塊結(jié)構(gòu);

二、XGBoost算法參數(shù)

XGBoost的作者把所有的參數(shù)分成了三類：

通用參數(shù)：宏觀函數(shù)控制。

Booster參數(shù)：控制每一步的booster(tree/regression)。

學(xué)習(xí)目標(biāo)參數(shù)：控制訓(xùn)練目標(biāo)的表現(xiàn)。

3.1通用參數(shù)

這些參數(shù)用來控制XGBoost的宏觀功能。

1、booster[默認(rèn)gbtree]

選擇每次迭代的模型，有兩種選擇：

gbtree：基于樹的模型

gbliner：線性模型

2、silent[默認(rèn)0]

當(dāng)這個(gè)參數(shù)值為1時(shí)，靜默模式開啟，不會(huì)輸出任何信息。

一般這個(gè)參數(shù)就保持默認(rèn)的0.因?yàn)檫@樣能幫我們更好地理解模型。

3、nthread[默認(rèn)值為最大可能的線程數(shù)]

這個(gè)參數(shù)用來進(jìn)行多線程控制，應(yīng)當(dāng)輸入系統(tǒng)的核數(shù)。

如果你希望使用CPU全部的核，那就不要輸入這個(gè)參數(shù)，算法會(huì)自動(dòng)檢測(cè)它。

還有兩個(gè)參數(shù)，XGBoost會(huì)自動(dòng)設(shè)置，目前你不用管它。接下來咱們一起看booster參數(shù)。

3.2 booster參數(shù)

盡管有兩種booster可供選擇，我這里只介紹tree booster，因?yàn)樗谋憩F(xiàn)遠(yuǎn)遠(yuǎn)勝過linear booster，所以linear booster很少用到。

1、eta[默認(rèn)0.3]

和GBM中的 learning rate 參數(shù)類似。

通過減少每一步的權(quán)重，可以提高模型的魯棒性。

典型值為0.01-0.2.

2、min_child_weight[默認(rèn)1]

決定最小葉子節(jié)點(diǎn)樣本權(quán)重和。

和GBM的 min_child_leaf 參數(shù)類似，但不完全一樣。XGBoost的這個(gè)參數(shù)是最小樣本權(quán)重的和，而GBM參數(shù)是最小樣本總數(shù)。

這個(gè)參數(shù)用于避免過擬合。當(dāng)它的值較大時(shí)，可以避免模型學(xué)習(xí)到局部的特殊樣本。

但是如果這個(gè)值過高，會(huì)導(dǎo)致欠擬合。這個(gè)參數(shù)需要使用CV來調(diào)整。

3、max_depth[默認(rèn)6]

和GBM中的參數(shù)相同，這個(gè)值為樹的最大深度。

這個(gè)值也是用來避免過擬合的。max_depth越大，模型會(huì)學(xué)到更具體更局部的樣本。

需要使用CV函數(shù)來進(jìn)行調(diào)優(yōu)。

典型值：3-10

4、max_leaf_nodes

樹上最大的節(jié)點(diǎn)或葉子的數(shù)量。

可以替代max_depth的作用。因?yàn)槿绻傻氖嵌鏄?，一個(gè)深度為n的樹最多生成n2n2個(gè)葉子。

如果定義了這個(gè)參數(shù)，GBM會(huì)忽略max_depth參數(shù)。

5、gamma[默認(rèn)0]

在節(jié)點(diǎn)分裂時(shí)，只有分裂后損失函數(shù)的值下降了，才會(huì)分裂這個(gè)節(jié)點(diǎn)。Gamma指定了節(jié)點(diǎn)分裂所需的最小損失函數(shù)下降值。

這個(gè)參數(shù)的值越大，算法越保守。這個(gè)參數(shù)的值和損失函數(shù)息息相關(guān)，所以是需要調(diào)整的。

6、max_delta_step[默認(rèn)0]

這參數(shù)限制每棵樹權(quán)重改變的最大步長(zhǎng)。如果這個(gè)參數(shù)的值為0.那就意味著沒有約束。如果它被賦予了某個(gè)正值，那么它會(huì)讓這個(gè)算法更加保守。

通常，這個(gè)參數(shù)不需要設(shè)置。但是當(dāng)各類別的樣本十分不平衡時(shí)，它對(duì)邏輯回歸是很有幫助的。

這個(gè)參數(shù)一般用不到，但是你可以挖掘出來它更多的用處。

7、subsample[默認(rèn)1]

和GBM中的subsample參數(shù)一模一樣。這個(gè)參數(shù)控制對(duì)于每棵樹，隨機(jī)采樣的比例。

減小這個(gè)參數(shù)的值，算法會(huì)更加保守，避免過擬合。但是，如果這個(gè)值設(shè)置得過小，它可能會(huì)導(dǎo)致欠擬合。

典型值：0.5-1

8、colsample_bytree[默認(rèn)1]

和GBM里面的max_features參數(shù)類似。用來控制每棵隨機(jī)采樣的列數(shù)的占比(每一列是一個(gè)特征)。

典型值：0.5-1

9、colsample_bylevel[默認(rèn)1]

用來控制樹的每一級(jí)的每一次分裂，對(duì)列數(shù)的采樣的占比。

我個(gè)人一般不太用這個(gè)參數(shù)，因?yàn)閟ubsample參數(shù)和colsample_bytree參數(shù)可以起到相同的作用。但是如果感興趣，可以挖掘這個(gè)參數(shù)更多的用處。

10、lambda[默認(rèn)1]

權(quán)重的L2正則化項(xiàng)。(和Ridge regression類似)。

這個(gè)參數(shù)是用來控制XGBoost的正則化部分的。雖然大部分?jǐn)?shù)據(jù)科學(xué)家很少用到這個(gè)參數(shù)，但是這個(gè)參數(shù)在減少過擬合上還是可以挖掘出更多用處的。

11、alpha[默認(rèn)1]

權(quán)重的L1正則化項(xiàng)。(和Lasso regression類似)。

可以應(yīng)用在很高維度的情況下，使得算法的速度更快。

12、scale_pos_weight[默認(rèn)1]

在各類別樣本十分不平衡時(shí)，把這個(gè)參數(shù)設(shè)定為一個(gè)正值，可以使算法更快收斂。

3.3學(xué)習(xí)目標(biāo)參數(shù)

這個(gè)參數(shù)用來控制理想的優(yōu)化目標(biāo)和每一步結(jié)果的度量方法。

1、objective[默認(rèn)reg:linear]

這個(gè)參數(shù)定義需要被最小化的損失函數(shù)。最常用的值有：

binary:logistic 二分類的邏輯回歸，返回預(yù)測(cè)的概率(不是類別)。

multi:softmax 使用softmax的多分類器，返回預(yù)測(cè)的類別(不是概率)。 在這種情況下，你還需要多設(shè)一個(gè)參數(shù)：num_class(類別數(shù)目)。

multi:softprob 和multi:softmax參數(shù)一樣，但是返回的是每個(gè)數(shù)據(jù)屬于各個(gè)類別的概率。

2、eval_metric[默認(rèn)值取決于objective參數(shù)的取值]

對(duì)于有效數(shù)據(jù)的度量方法。

對(duì)于回歸問題，默認(rèn)值是rmse，對(duì)于分類問題，默認(rèn)值是error。

典型值有：

rmse 均方根誤差(∑Ni=1?2N?????√∑i=1N?2N)

mae 平均絕對(duì)誤差(∑Ni=1|?|N∑i=1N|?|N)

logloss 負(fù)對(duì)數(shù)似然函數(shù)值

error 二分類錯(cuò)誤率(閾值為0.5)

merror 多分類錯(cuò)誤率

mlogloss 多分類logloss損失函數(shù)

auc 曲線下面積