修剪策略

決策樹中主要有3種修剪策略：

• 最小錯(cuò)誤。樹被修剪回到交叉驗(yàn)證錯(cuò)誤最小的點(diǎn)。交叉驗(yàn)證是使用大部分?jǐn)?shù)據(jù)構(gòu)建樹，然后使用剩余部分?jǐn)?shù)據(jù)來測(cè)試決策樹的準(zhǔn)確性的過程。
• 最小的樹。樹比最小錯(cuò)誤稍微修剪一下。從技術(shù)上講，修剪會(huì)創(chuàng)建一個(gè)決策樹，其交叉驗(yàn)證錯(cuò)誤在最小錯(cuò)誤的1個(gè)標(biāo)準(zhǔn)誤差范圍內(nèi)。較小的樹更容易理解，但代價(jià)是誤差小幅增加。
• 沒有。

提前停止或預(yù)修剪

防止過度擬合的另一種方法是在產(chǎn)生非常小樣本的葉子之前盡早嘗試停止樹木構(gòu)建過程。這種啟發(fā)式被稱為早期停止， ?但有時(shí)也被稱為預(yù)修剪決策樹。

在拆分樹的每個(gè)階段，我們檢查交叉驗(yàn)證錯(cuò)誤。如果錯(cuò)誤沒有明顯減少，那么我們就停止了。通過過早停止可能會(huì)導(dǎo)致早期停止。當(dāng)前的分裂可能沒什么好處，但是已經(jīng)做到了，隨后的分割更加顯著地減少了誤差。

早期停止和修剪可以一起使用，也可以單獨(dú)使用，或者根本不使用。修剪后的決策樹在數(shù)學(xué)上更加嚴(yán)謹(jǐn)，找到一棵至少和早期停止一樣好的樹。早期停止是快速修復(fù)啟發(fā)式。

如果與修剪一起使用，提前停止可以節(jié)省時(shí)間。畢竟，為什么要建造一棵樹只能再次修剪它？