決策樹(shù)學(xué)習(xí)的算法通常是一個(gè)遞歸地選擇最優(yōu)特征，并根據(jù)該特征對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行分割，使得各個(gè)子數(shù)據(jù)集有一個(gè)最好的分類的過(guò)程。這一過(guò)程對(duì)應(yīng)著對(duì)特征空間的劃分，也對(duì)應(yīng)著決策樹(shù)的構(gòu)建。

1） 開(kāi)始：構(gòu)建根節(jié)點(diǎn)，將所有訓(xùn)練數(shù)據(jù)都放在根節(jié)點(diǎn)，選擇一個(gè)最優(yōu)特征，按著這一特征將訓(xùn)練數(shù)據(jù)集分割成子集，使得各個(gè)子集有一個(gè)在當(dāng)前條件下最好的分類。

2） 如果這些子集已經(jīng)能夠被基本正確分類，那么構(gòu)建葉節(jié)點(diǎn)，并將這些子集分到所對(duì)應(yīng)的葉節(jié)點(diǎn)去。

3）如果還有子集不能夠被正確的分類，那么就對(duì)這些子集選擇新的最優(yōu)特征，繼續(xù)對(duì)其進(jìn)行分割，構(gòu)建相應(yīng)的節(jié)點(diǎn)，如果遞歸進(jìn)行，直至所有訓(xùn)練數(shù)據(jù)子集被基本正確的分類，或者沒(méi)有合適的特征為止。

4）每個(gè)子集都被分到葉節(jié)點(diǎn)上，即都有了明確的類，這樣就生成了一顆決策樹(shù)。

決策樹(shù)的特點(diǎn)：

優(yōu)點(diǎn)：計(jì)算復(fù)雜度不高，輸出結(jié)果易于理解，對(duì)中間值的缺失不敏感，可以處理不相關(guān)特征數(shù)據(jù)。

缺點(diǎn)：可能會(huì)產(chǎn)生過(guò)度匹配的問(wèn)題

適用數(shù)據(jù)類型：數(shù)值型和標(biāo)稱型