預(yù)剪枝

在決策樹的生長(zhǎng)過(guò)程中限制其規(guī)模，使其較早的停止生長(zhǎng)。對(duì)每個(gè)節(jié)點(diǎn)劃分前用驗(yàn)證集進(jìn)行估計(jì)，通過(guò)比較劃分前后的驗(yàn)證集精度來(lái)判斷是否剪枝。若當(dāng)前節(jié)點(diǎn)的劃分不能帶來(lái)決策樹泛化能力的提升，則停止劃分并標(biāo)記當(dāng)前節(jié)點(diǎn)為葉子結(jié)點(diǎn)。

優(yōu)缺點(diǎn)：預(yù)剪枝使得決策樹的很多分支沒有“展開”，降低了過(guò)擬合的風(fēng)險(xiǎn)，還能夠減少?zèng)Q策樹的訓(xùn)練時(shí)間以及預(yù)測(cè)事件開銷。但是，有些分支可能當(dāng)前劃分不能提升模型的泛化性能甚至導(dǎo)致泛化性能暫時(shí)下降，但在其基礎(chǔ)上的后續(xù)劃分可能顯著提高模型的性能。預(yù)剪枝的這種禁止分支展開，同樣也給決策樹帶來(lái)了欠擬合的風(fēng)險(xiǎn)。

后剪枝

后剪枝首先通過(guò)完全展開以構(gòu)造完整的決策樹，允許過(guò)擬合，然后采取一定的策略來(lái)進(jìn)行剪枝。先從訓(xùn)練集生成一顆完整的決策樹，然后自底向上地對(duì)非葉結(jié)點(diǎn)進(jìn)行考察，若將該結(jié)點(diǎn)對(duì)應(yīng)的子樹替換為葉結(jié)點(diǎn)能帶來(lái)泛化性能提升，則將該子樹替換為葉結(jié)點(diǎn)。

優(yōu)缺點(diǎn)：后剪枝決策樹通常比預(yù)剪枝決策樹保留了更多的分支；后剪枝決策樹的欠擬合風(fēng)險(xiǎn)很小，泛化性能往往優(yōu)于預(yù)剪枝決策樹。缺點(diǎn)是：決策樹訓(xùn)練時(shí)間開銷比未剪枝決策樹和預(yù)剪枝決策樹都要大的多。