XGBoost是誕生于2014年2月的一種專攻梯度提升算法的機器學習函數(shù)庫，它有很好的學習效果，速度也非?？?，與梯度提升算法在另一個常用機器學習庫scikit-learn中的實現(xiàn)相比，XGBoost的性能可以提升10倍以上。還有，XGBoost利用了核外計算，能夠使數(shù)據(jù)科學家僅在一個主機上就能實現(xiàn)數(shù)億樣本數(shù)據(jù)的處理。最終，并且將這些技術(shù)進行結(jié)合，進而做出一個端到端的系統(tǒng)，能夠以最少的集群系統(tǒng)擴展到更大的數(shù)據(jù)集上。

一、XGBoost 的優(yōu)點：

1.新穎、能夠處理稀疏數(shù)據(jù);

2.理論上合理的weighted quantile sketch過程使得能夠在近似樹學習中處理實例權(quán)重;

3.引入一個新穎的稀疏感知(sparsity-aware)算法用于并行樹學習;

4.并行和分布式計算，學習更為快速，模型探索也能更快的實現(xiàn);

5.對于核外樹學習，提出了一種有效地緩存感知塊結(jié)構(gòu);

二、XGBoost算法參數(shù)

XGBoost的作者把所有的參數(shù)分成了三類：

通用參數(shù)：宏觀函數(shù)控制。

Booster參數(shù)：控制每一步的booster(tree/regression)。

學習目標參數(shù)：控制訓練目標的表現(xiàn)。

3.1通用參數(shù)

這些參數(shù)用來控制XGBoost的宏觀功能。

1、booster[默認gbtree]

選擇每次迭代的模型，有兩種選擇：

gbtree：基于樹的模型

gbliner：線性模型

2、silent[默認0]

當這個參數(shù)值為1時，靜默模式開啟，不會輸出任何信息。

一般這個參數(shù)就保持默認的0.因為這樣能幫我們更好地理解模型。

3、nthread[默認值為最大可能的線程數(shù)]

這個參數(shù)用來進行多線程控制，應(yīng)當輸入系統(tǒng)的核數(shù)。

如果你希望使用CPU全部的核，那就不要輸入這個參數(shù)，算法會自動檢測它。

還有兩個參數(shù)，XGBoost會自動設(shè)置，目前你不用管它。接下來咱們一起看booster參數(shù)。

3.2 booster參數(shù)

盡管有兩種booster可供選擇，我這里只介紹tree booster，因為它的表現(xiàn)遠遠勝過linear booster，所以linear booster很少用到。

1、eta[默認0.3]

和GBM中的 learning rate 參數(shù)類似。

通過減少每一步的權(quán)重，可以提高模型的魯棒性。

典型值為0.01-0.2.

2、min_child_weight[默認1]

決定最小葉子節(jié)點樣本權(quán)重和。

和GBM的 min_child_leaf 參數(shù)類似，但不完全一樣。XGBoost的這個參數(shù)是最小樣本權(quán)重的和，而GBM參數(shù)是最小樣本總數(shù)。

這個參數(shù)用于避免過擬合。當它的值較大時，可以避免模型學習到局部的特殊樣本。

但是如果這個值過高，會導致欠擬合。這個參數(shù)需要使用CV來調(diào)整。

3、max_depth[默認6]

和GBM中的參數(shù)相同，這個值為樹的最大深度。

這個值也是用來避免過擬合的。max_depth越大，模型會學到更具體更局部的樣本。

需要使用CV函數(shù)來進行調(diào)優(yōu)。

典型值：3-10

4、max_leaf_nodes

樹上最大的節(jié)點或葉子的數(shù)量。

可以替代max_depth的作用。因為如果生成的是二叉樹，一個深度為n的樹最多生成n2n2個葉子。

如果定義了這個參數(shù)，GBM會忽略max_depth參數(shù)。

5、gamma[默認0]

在節(jié)點分裂時，只有分裂后損失函數(shù)的值下降了，才會分裂這個節(jié)點。Gamma指定了節(jié)點分裂所需的最小損失函數(shù)下降值。

這個參數(shù)的值越大，算法越保守。這個參數(shù)的值和損失函數(shù)息息相關(guān)，所以是需要調(diào)整的。

6、max_delta_step[默認0]

這參數(shù)限制每棵樹權(quán)重改變的最大步長。如果這個參數(shù)的值為0.那就意味著沒有約束。如果它被賦予了某個正值，那么它會讓這個算法更加保守。

通常，這個參數(shù)不需要設(shè)置。但是當各類別的樣本十分不平衡時，它對邏輯回歸是很有幫助的。

這個參數(shù)一般用不到，但是你可以挖掘出來它更多的用處。

7、subsample[默認1]

和GBM中的subsample參數(shù)一模一樣。這個參數(shù)控制對于每棵樹，隨機采樣的比例。

減小這個參數(shù)的值，算法會更加保守，避免過擬合。但是，如果這個值設(shè)置得過小，它可能會導致欠擬合。

典型值：0.5-1

8、colsample_bytree[默認1]

和GBM里面的max_features參數(shù)類似。用來控制每棵隨機采樣的列數(shù)的占比(每一列是一個特征)。

典型值：0.5-1

9、colsample_bylevel[默認1]

用來控制樹的每一級的每一次分裂，對列數(shù)的采樣的占比。

我個人一般不太用這個參數(shù)，因為subsample參數(shù)和colsample_bytree參數(shù)可以起到相同的作用。但是如果感興趣，可以挖掘這個參數(shù)更多的用處。

10、lambda[默認1]

權(quán)重的L2正則化項。(和Ridge regression類似)。

這個參數(shù)是用來控制XGBoost的正則化部分的。雖然大部分數(shù)據(jù)科學家很少用到這個參數(shù)，但是這個參數(shù)在減少過擬合上還是可以挖掘出更多用處的。

11、alpha[默認1]

權(quán)重的L1正則化項。(和Lasso regression類似)。

可以應(yīng)用在很高維度的情況下，使得算法的速度更快。

12、scale_pos_weight[默認1]

在各類別樣本十分不平衡時，把這個參數(shù)設(shè)定為一個正值，可以使算法更快收斂。

3.3學習目標參數(shù)

這個參數(shù)用來控制理想的優(yōu)化目標和每一步結(jié)果的度量方法。

1、objective[默認reg:linear]

這個參數(shù)定義需要被最小化的損失函數(shù)。最常用的值有：

binary:logistic 二分類的邏輯回歸，返回預(yù)測的概率(不是類別)。

multi:softmax 使用softmax的多分類器，返回預(yù)測的類別(不是概率)。 在這種情況下，你還需要多設(shè)一個參數(shù)：num_class(類別數(shù)目)。

multi:softprob 和multi:softmax參數(shù)一樣，但是返回的是每個數(shù)據(jù)屬于各個類別的概率。

2、eval_metric[默認值取決于objective參數(shù)的取值]

對于有效數(shù)據(jù)的度量方法。

對于回歸問題，默認值是rmse，對于分類問題，默認值是error。

典型值有：

rmse 均方根誤差(∑Ni=1?2N?????√∑i=1N?2N)

mae 平均絕對誤差(∑Ni=1|?|N∑i=1N|?|N)

logloss 負對數(shù)似然函數(shù)值

error 二分類錯誤率(閾值為0.5)

merror 多分類錯誤率

mlogloss 多分類logloss損失函數(shù)

auc 曲線下面積