隨機(jī)森林（RF, RandomForest）介紹

隨機(jī)森林（RF, RandomForest）包含多個(gè)決策樹的分類器，并且其輸出的類別是由個(gè)別樹輸出的類別的眾數(shù)而定。通過自助法（boot-strap）重采樣技術(shù)，不斷生成訓(xùn)練樣本和測(cè)試樣本，由訓(xùn)練樣本生成多個(gè)分類樹組成的隨機(jī)森林，測(cè)試數(shù)據(jù)的分類結(jié)果按分類樹投票多少形成的分?jǐn)?shù)而定。

隨機(jī)森林以隨機(jī)的方式建立一個(gè)森林，森林里有很多決策樹，且每棵樹之間無關(guān)聯(lián)，當(dāng)有一個(gè)新樣本進(jìn)入后，讓森林中每棵決策樹分別各自獨(dú)立判斷，看這個(gè)樣本應(yīng)該屬于哪一類（對(duì)于分類算法）。然后看哪一類被選擇最多，就選擇預(yù)測(cè)此樣本為那一類。

→ 每個(gè)節(jié)點(diǎn)處隨機(jī)選擇特征進(jìn)行分支。

利用bootstrap重抽樣方法，從原始樣本中抽出多個(gè)樣本，對(duì)每個(gè)bootstrap樣本進(jìn)行決策樹建模。

主要思想是bagging并行算法，用很多弱模型組合出一種強(qiáng)模型。

一、隨機(jī)決策樹的構(gòu)造

建立每棵決策樹的過程中，有2點(diǎn)：采樣與完全分裂。首先是兩個(gè)隨機(jī)采樣的過程，RF要對(duì)輸入數(shù)據(jù)進(jìn)行一下行（樣本）、列（特征）采樣，對(duì)于行采樣（樣本）采用有放回的方式，也就是在采樣得到的樣本中可以有重復(fù)。從M個(gè)特征中（列采樣）出m特征。之后就是用完全分裂的方式建立出決策樹。

一般決策樹會(huì)剪枝，但這里采用隨機(jī)化，就算不剪枝也不會(huì)出現(xiàn)“過擬合”現(xiàn)象。

二、隨機(jī)森林的構(gòu)造

1.有N個(gè)樣本，則有放回地隨機(jī)選擇N個(gè)樣本（每次取1個(gè)，放回抽樣）。這選擇好了的N各樣本用來訓(xùn)練一個(gè)決策樹，作為決策樹根節(jié)點(diǎn)處的樣本。

2.當(dāng)每個(gè)樣本有M個(gè)屬性時(shí)，在決策樹的每個(gè)節(jié)點(diǎn)需要分裂時(shí)，隨機(jī)從這M個(gè)屬性中選取出m個(gè)屬性，滿足條件m<<M。然后從這m個(gè)屬性中采用某種策略（如信息增益）來選擇一個(gè)屬性，作為該節(jié)點(diǎn)的分裂屬性。

3.決策樹形成過程中，每個(gè)節(jié)點(diǎn)都要按照步驟2來分裂（很容易理解，如果下一次該節(jié)點(diǎn)選出來的那一個(gè)屬性是剛剛父節(jié)點(diǎn)分裂時(shí)用過的屬性，則該節(jié)點(diǎn)已經(jīng)達(dá)到了葉子節(jié)點(diǎn)，無需繼續(xù)分裂）。一直到不能再分裂為止，注意整個(gè)決策樹形成過程中沒有剪枝。

4.按步驟1-3建立大量決策樹，如此形成RF。

（從上面步驟可以看出，RF的隨機(jī)性體現(xiàn)在每棵樹的訓(xùn)練樣本是隨機(jī)的，樹中每個(gè)節(jié)點(diǎn)的分類屬性也是隨機(jī)選擇的，有了這兩個(gè)隨機(jī)的保證，RF就不會(huì)產(chǎn)生過擬合現(xiàn)象了）

三、隨機(jī)森林參數(shù)

隨機(jī)森林有2個(gè)重要參數(shù)：一是樹節(jié)點(diǎn)預(yù)選變量個(gè)數(shù)，二是隨機(jī)森林中樹的個(gè)數(shù)（m的大?。?/span>

RF中有2個(gè)要人為控制的參數(shù)：1.森林中樹的數(shù)量，一般建議取很大；2.m的大小，推薦m的值為M的均方根。

四、RF性能及優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：

1.很多的數(shù)據(jù)集上表現(xiàn)良好；

2.能處理高維度數(shù)據(jù)，并且不用做特征選擇；

3.訓(xùn)練完后，能夠給出那些feature比較重要；

4.訓(xùn)練速度快，容易并行化計(jì)算。

缺點(diǎn)：

1.在噪音較大的分類或回歸問題上會(huì)出現(xiàn)過擬合現(xiàn)象；

2.對(duì)于不同級(jí)別屬性的數(shù)據(jù)，級(jí)別劃分較多的屬性會(huì)對(duì)隨機(jī)森林有較大影響，則RF在這種數(shù)據(jù)上產(chǎn)出的數(shù)值是不可信的。