2018-10-23
閱讀量:
1017
GBDT 和隨機森林的區(qū)別?
隨機森林采用的是bagging的思想,bagging又稱為bootstrap aggreagation,通過在訓練樣本集中進行有放回的采樣得到多個采樣集,基于每個采樣集訓練出一個基學習器,再將基學習器結(jié)合。
隨機森林在對決策樹進行bagging的基礎(chǔ)上,在決策樹的訓練過程中引入了隨機屬性選擇。傳統(tǒng)決策樹在選擇劃分屬性的時候是在當前節(jié)點屬性集合中選擇最優(yōu)屬性,而隨機森林則是對結(jié)點先隨機選擇包含k個屬性的子集,再選擇最有屬性,k作為一個參數(shù)控制了隨機性的引入程度。
另外,GBDT訓練是基于Boosting思想,每一迭代中根據(jù)錯誤更新樣本權(quán)重,因此是串行生成的序列化方法,而隨機森林是bagging的思想,因此是并行化方法。






評論(0)


暫無數(shù)據(jù)
推薦帖子
0條評論
0條評論
0條評論