
01 樹與森林
在構(gòu)建決策樹的時候,可以讓樹進行完全生長,也可以通過參數(shù)控制樹的深度或者葉子節(jié)點的數(shù)量,通常完全生長的樹會帶來過擬合問題。過擬合一般由數(shù)據(jù)中的噪聲和離群點導致,一種解決過擬合的方法是進行剪枝,去除樹的一些雜亂的枝葉。
實際應用中,一般可用隨機森林來代替,隨機森林在決策樹的基礎上,會有更好的表現(xiàn),尤其是防止過擬合。
在機器學習算法中,有一類算法比較特別,叫組合算法(Ensemble),即將多個基算法(Base)組合起來使用。每個基算法單獨預測,最后的結(jié)論由全部基算法進行投票(用于分類問題)或者求平均(包括加權(quán)平均,用于回歸問題)。
組合算法中,一類是Bagging(裝袋),另一類是Boosting(提升),隨機森林便是Bagging中的代表。使用多顆樹進行單獨預測,最后的結(jié)論由這些樹預測結(jié)果的組合共同來決定,這也是“森林”名字的來源。每個基分類器可以很弱,但最后組合的結(jié)果通常能很強,這也類似于:“三個臭皮匠頂個諸葛亮”的思想。
上面文章?lián)Q一種理解,即為:掌握了隨機森林,基本上可以處理很多常見的機器學習問題。由此可見,組合算法在很多時候,其預測的性能都會優(yōu)于單獨的算法,這也正是隨機森林的魅力所在。
02 處處隨機
多個人組成的團隊,是不是一定就強于一個人呢?團隊的產(chǎn)出并不能把每個人的力量相加,并非和“眾人拾柴火焰高”的道理一樣。要讓團隊的總產(chǎn)出高于單個人的產(chǎn)出,那必須是每個人都有其它人不具備的知識或者能力,如果大家都是完全相同的知識或者能力,在解決難題上并沒有幫助。假設對一個數(shù)據(jù)的預測,大家的結(jié)論都是1,最后組合結(jié)論依然是1,沒有任何改變。對預測準確率,沒有任何提升。
這也是“森林”前面還有“隨機”這個修飾詞的原因,隨機就是讓每個顆樹不一樣,如果都一樣,組合后的效果不會有任何提升。假設每顆樹不一樣,單獨預測錯誤率大概都是40%(夠弱了吧,很多時候都會犯錯),但三顆樹組合的后的錯誤率就變成了35.2%(至少一半以上(兩顆樹)同時犯錯結(jié)果才會犯錯),其計算方法為:
3個全錯(一種情況) + 2個錯1個對(3種組合):
1 0.4^3 + 3 0.4^2 * (1-0.4)^1 = 0.352
因此,隨機森林算法中,“隨機”是其核心靈魂,“森林”只是一種簡單的組合方式而已。隨機森林在構(gòu)建每顆樹的時候,為了保證各樹之間的獨立性,通常會采用兩到三層的隨機性。
從數(shù)據(jù)抽樣開始,每顆樹都隨機地在原有數(shù)據(jù)的基礎上進行有放回的抽樣。假定訓練數(shù)據(jù)有1萬條,隨機抽取8千條數(shù)據(jù),因為是有放回的抽樣,可能原數(shù)據(jù)中有500條被抽了兩次,即最后的8千條中有500條是重復的數(shù)據(jù)。每顆樹都進行獨立的隨機抽樣,這樣保證了每顆樹學習到的數(shù)據(jù)側(cè)重點不一樣,保證了樹之間的獨立性。
抽取了數(shù)據(jù),就可以開始構(gòu)建決策分支了,在每次決策分支時,也需要加入隨機性,假設數(shù)據(jù)有20個特征(屬性),每次只隨機取其中的幾個來判斷決策條件。假設取4個屬性,從這4個特征中來決定當前的決策條件,即忽略其它的特征。取特征的個數(shù),通常不能太小,太小了使得單顆樹的精度太低,太大了樹之間的相關(guān)性會加強,獨立性會減弱。通常取總特征的平方根,或者log2(特征數(shù))+1,在scikit-learn的實現(xiàn)中,支持sqrt與log2,而spark還支持onethird(1/3)。
在結(jié)點進行分裂的時候,除了先隨機取固定個特征,然后選擇最好的分裂屬性這種方式,還有一種方式,就是在最好的幾個(依然可以指定sqrt與log2)分裂屬性中隨機選擇一個來進行分裂。scikit-learn中實現(xiàn)了兩種隨機森林算法,一種是RandomForest,另外一種是ExtraTrees,ExtraTrees就是用這種方式。在某些情況下,會比RandomForest精度略高。
總結(jié)起來,使用隨機性的三個地方:
因此,理解了這幾個地方的隨機性,以及隨機性是為了保證各個基算法模型之間的相互獨立,從而提升組合后的精度。當然,還需要保證每個基分類算法不至于太弱,至少要強于隨機猜測,即錯誤率不能高于0.5。
03 sklearn與mllib
scikit-learn和spark中都實現(xiàn)了隨機森林,但各自有些細小的區(qū)別。
在scikit-learn中,同樣只是簡單幾行代碼即可:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
# sklearn_rf.py
import pandas as pd
from sklearn.ensemble import RandomForestClassifier
df = pd.read_csv('sklearn_data.csv')
train, test = df.query("is_date != -1"), df.query("is_date == -1")
y_train, X_train = train['is_date'], train.drop(['is_date'], axis=1)
X_test = test.drop(['is_date'], axis=1)
model = RandomForestClassifier(n_estimators=50,
criterion='gini',
max_features="sqrt",
min_samples_leaf=1,
n_jobs=4,
)
model.fit(X_train, y_train)
print model.predict(X_test)
print zip(X_train.columns, model.feature_importances_)
|
調(diào)用RandomForestClassifier時的參數(shù)說明:
從前面的隨機森林構(gòu)建過程來看,隨機森林的每顆樹之間是獨立構(gòu)建的,而且盡量往獨立的方向靠,不依賴其它樹的構(gòu)建,這一特點,在當前的大數(shù)據(jù)環(huán)境下,尤其被人喜愛,因為它能并行,并行,并行……。
能完全并行的算法,一定會被人們追捧,在資源夠的情況下,可以同時并行構(gòu)建大量的決策樹。scikit-learn雖然是單機版本,不能做分布式,但也可以利用單機的多枋來并行。
spark中,更是能發(fā)揮分布式的特點了:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
from pprint import pprint
from pyspark import SparkContext
from pyspark.mllib.tree import RandomForest
from pyspark.mllib.regression import LabeledPoint
sc = SparkContext()
data = sc.textFile('spark_data.csv').map(lambda x: x.split(',')).map(lambda x: (float(x[0]), int(x[1]), int(x[2]), float(x[3]), int(x[4]), int(x[5])))
train = data.filter(lambda x: x[5]!=-1).map(lambda v: LabeledPoint(v[-1], v[:-1]))
test = data.filter(lambda x: x[5]==-1)#.map(lambda v: LabeledPoint(v[-1], v[:-1]))
model = RandomForest.trainClassifier(train,
numClasses=2,
numTrees=50,
categoricalFeaturesInfo={1:2, 2:2, 4:3},
impurity='gini',
maxDepth=5,
)
print 'The predict is:', model.predict(test).collect()
print 'The Decision tree is:', model.toDebugString()
|
和決策樹版本相比,唯一的變化,就是將DecistionTree換成了RandomForest,另外增加了一個指定樹顆數(shù)的參數(shù):numTrees=50。
而和scikit-learn版本相比,spark中會通過categoricalFeaturesInfo={1:2, 2:2, 4:3}參數(shù)指定第5個屬性(工作屬性)具有3種不同的類別,因此spark在劃分的時候,是按類別變量進行處理。而scikit-learn中,依然當成連續(xù)的變量處理,所以在條件判斷的時候,才會有house
當有多個最優(yōu)分割的時候,spark與scikit-learn在選擇上也有區(qū)別,spark會按屬性順序進行選擇,而scikit-learn會隨機選擇一個。這也是導致scikit-learn在多次運行中會輸出0和1的問題。
scikit-learn中,還可以輸出參數(shù)重要性,這也是決策樹和隨機森林的優(yōu)點之一(目前pyspark還不支持輸入?yún)?shù)重要性):
1
2
|
# scikit-learn中
print zip(X_train.columns, model.feature_importances_)
|
[(‘height’, 0.25), (‘house’,’car’, 0.0), (‘handsome’, 0.60), (‘job’, 0.0)]
04 特點與應用
隨機森林基本上繼承決策樹的全部優(yōu)點,只需做很少的數(shù)據(jù)準備,其他算法往往需要數(shù)據(jù)歸一化。決策樹能處理連續(xù)變量,還能處理離散變量,當然也能處理多分類問題,多分類問題依然還是二叉樹。決策樹就是if-else語句,區(qū)別只是哪些條件寫在if,哪些寫在else,因此易于理解和解釋。
決策樹的可解釋性強 ,你可以打印出整個樹出來,從哪個因素開始決策,一目了然。但隨機森林的可解釋性就不強了。所謂可解釋性,就是當你通過各種調(diào)參進行訓練,得出一個結(jié)論,你老大來問你,這個結(jié)論是怎么得出來的?你說是模型自己訓練出來的,老大又問了,比如舉一條具體的數(shù)據(jù),你說一說得出結(jié)論的過程呢?因為隨機森林引入了隨機取特征,而且是由多顆樹共同決定,樹一旦多了,很難說清楚得出結(jié)論的具體過程。雖然可以打印每顆樹的結(jié)構(gòu),但很難分析。
雖然不好解釋,但它解決了決策樹的過擬合問題,使模型的穩(wěn)定性增加,對噪聲更加魯棒,從而使得整體預測精度得以提升。
因為隨機森林能計算參數(shù)的重要性,因此也可用于對數(shù)據(jù)的降維,只選取少量幾維重要的特征來近似表示原數(shù)據(jù)。同理,在數(shù)據(jù)有眾多的特征時,也可以用于特征選擇,選擇關(guān)鍵的特征用于算法中。
隨機森林還有天生的并行性,可以很好的處理大規(guī)模數(shù)據(jù),也可以很容易的在分布式環(huán)境中使用。
最后,在大數(shù)據(jù)環(huán)境下,隨著森林中樹的增加,最后生成的模型可能過大,因為每顆樹都是完全生長,存儲了用于決策的全部數(shù)據(jù),導致模型可能達到幾G甚至幾十G。如果用于在線的預測,光把模型加載到內(nèi)存就需要很長時間,因此比較適合離線處理。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03