2018-10-23
閱讀量:
977
GBDT 和隨機(jī)森林的區(qū)別?
隨機(jī)森林采用的是bagging的思想,bagging又稱為bootstrap aggreagation,通過在訓(xùn)練樣本集中進(jìn)行有放回的采樣得到多個(gè)采樣集,基于每個(gè)采樣集訓(xùn)練出一個(gè)基學(xué)習(xí)器,再將基學(xué)習(xí)器結(jié)合。
隨機(jī)森林在對(duì)決策樹進(jìn)行bagging的基礎(chǔ)上,在決策樹的訓(xùn)練過程中引入了隨機(jī)屬性選擇。傳統(tǒng)決策樹在選擇劃分屬性的時(shí)候是在當(dāng)前節(jié)點(diǎn)屬性集合中選擇最優(yōu)屬性,而隨機(jī)森林則是對(duì)結(jié)點(diǎn)先隨機(jī)選擇包含k個(gè)屬性的子集,再選擇最有屬性,k作為一個(gè)參數(shù)控制了隨機(jī)性的引入程度。
另外,GBDT訓(xùn)練是基于Boosting思想,每一迭代中根據(jù)錯(cuò)誤更新樣本權(quán)重,因此是串行生成的序列化方法,而隨機(jī)森林是bagging的思想,因此是并行化方法。






評(píng)論(0)


暫無數(shù)據(jù)
CDA考試動(dòng)態(tài)
CDA報(bào)考指南
推薦帖子
0條評(píng)論
0條評(píng)論
0條評(píng)論
0條評(píng)論