
01 樹與森林
在構(gòu)建決策樹的時(shí)候,可以讓樹進(jìn)行完全生長(zhǎng),也可以通過參數(shù)控制樹的深度或者葉子節(jié)點(diǎn)的數(shù)量,通常完全生長(zhǎng)的樹會(huì)帶來過擬合問題。過擬合一般由數(shù)據(jù)中的噪聲和離群點(diǎn)導(dǎo)致,一種解決過擬合的方法是進(jìn)行剪枝,去除樹的一些雜亂的枝葉。
實(shí)際應(yīng)用中,一般可用隨機(jī)森林來代替,隨機(jī)森林在決策樹的基礎(chǔ)上,會(huì)有更好的表現(xiàn),尤其是防止過擬合。
在機(jī)器學(xué)習(xí)算法中,有一類算法比較特別,叫組合算法(Ensemble),即將多個(gè)基算法(Base)組合起來使用。每個(gè)基算法單獨(dú)預(yù)測(cè),最后的結(jié)論由全部基算法進(jìn)行投票(用于分類問題)或者求平均(包括加權(quán)平均,用于回歸問題)。
組合算法中,一類是Bagging(裝袋),另一類是Boosting(提升),隨機(jī)森林便是Bagging中的代表。使用多顆樹進(jìn)行單獨(dú)預(yù)測(cè),最后的結(jié)論由這些樹預(yù)測(cè)結(jié)果的組合共同來決定,這也是“森林”名字的來源。每個(gè)基分類器可以很弱,但最后組合的結(jié)果通常能很強(qiáng),這也類似于:“三個(gè)臭皮匠頂個(gè)諸葛亮”的思想。
上面文章?lián)Q一種理解,即為:掌握了隨機(jī)森林,基本上可以處理很多常見的機(jī)器學(xué)習(xí)問題。由此可見,組合算法在很多時(shí)候,其預(yù)測(cè)的性能都會(huì)優(yōu)于單獨(dú)的算法,這也正是隨機(jī)森林的魅力所在。
02 處處隨機(jī)
多個(gè)人組成的團(tuán)隊(duì),是不是一定就強(qiáng)于一個(gè)人呢?團(tuán)隊(duì)的產(chǎn)出并不能把每個(gè)人的力量相加,并非和“眾人拾柴火焰高”的道理一樣。要讓團(tuán)隊(duì)的總產(chǎn)出高于單個(gè)人的產(chǎn)出,那必須是每個(gè)人都有其它人不具備的知識(shí)或者能力,如果大家都是完全相同的知識(shí)或者能力,在解決難題上并沒有幫助。假設(shè)對(duì)一個(gè)數(shù)據(jù)的預(yù)測(cè),大家的結(jié)論都是1,最后組合結(jié)論依然是1,沒有任何改變。對(duì)預(yù)測(cè)準(zhǔn)確率,沒有任何提升。
這也是“森林”前面還有“隨機(jī)”這個(gè)修飾詞的原因,隨機(jī)就是讓每個(gè)顆樹不一樣,如果都一樣,組合后的效果不會(huì)有任何提升。假設(shè)每顆樹不一樣,單獨(dú)預(yù)測(cè)錯(cuò)誤率大概都是40%(夠弱了吧,很多時(shí)候都會(huì)犯錯(cuò)),但三顆樹組合的后的錯(cuò)誤率就變成了35.2%(至少一半以上(兩顆樹)同時(shí)犯錯(cuò)結(jié)果才會(huì)犯錯(cuò)),其計(jì)算方法為:
3個(gè)全錯(cuò)(一種情況) + 2個(gè)錯(cuò)1個(gè)對(duì)(3種組合):
1 0.4^3 + 3 0.4^2 * (1-0.4)^1 = 0.352
因此,隨機(jī)森林算法中,“隨機(jī)”是其核心靈魂,“森林”只是一種簡(jiǎn)單的組合方式而已。隨機(jī)森林在構(gòu)建每顆樹的時(shí)候,為了保證各樹之間的獨(dú)立性,通常會(huì)采用兩到三層的隨機(jī)性。
從數(shù)據(jù)抽樣開始,每顆樹都隨機(jī)地在原有數(shù)據(jù)的基礎(chǔ)上進(jìn)行有放回的抽樣。假定訓(xùn)練數(shù)據(jù)有1萬(wàn)條,隨機(jī)抽取8千條數(shù)據(jù),因?yàn)槭怯蟹呕氐某闃?,可能原?shù)據(jù)中有500條被抽了兩次,即最后的8千條中有500條是重復(fù)的數(shù)據(jù)。每顆樹都進(jìn)行獨(dú)立的隨機(jī)抽樣,這樣保證了每顆樹學(xué)習(xí)到的數(shù)據(jù)側(cè)重點(diǎn)不一樣,保證了樹之間的獨(dú)立性。
抽取了數(shù)據(jù),就可以開始構(gòu)建決策分支了,在每次決策分支時(shí),也需要加入隨機(jī)性,假設(shè)數(shù)據(jù)有20個(gè)特征(屬性),每次只隨機(jī)取其中的幾個(gè)來判斷決策條件。假設(shè)取4個(gè)屬性,從這4個(gè)特征中來決定當(dāng)前的決策條件,即忽略其它的特征。取特征的個(gè)數(shù),通常不能太小,太小了使得單顆樹的精度太低,太大了樹之間的相關(guān)性會(huì)加強(qiáng),獨(dú)立性會(huì)減弱。通常取總特征的平方根,或者log2(特征數(shù))+1,在scikit-learn的實(shí)現(xiàn)中,支持sqrt與log2,而spark還支持onethird(1/3)。
在結(jié)點(diǎn)進(jìn)行分裂的時(shí)候,除了先隨機(jī)取固定個(gè)特征,然后選擇最好的分裂屬性這種方式,還有一種方式,就是在最好的幾個(gè)(依然可以指定sqrt與log2)分裂屬性中隨機(jī)選擇一個(gè)來進(jìn)行分裂。scikit-learn中實(shí)現(xiàn)了兩種隨機(jī)森林算法,一種是RandomForest,另外一種是ExtraTrees,ExtraTrees就是用這種方式。在某些情況下,會(huì)比RandomForest精度略高。
總結(jié)起來,使用隨機(jī)性的三個(gè)地方:
因此,理解了這幾個(gè)地方的隨機(jī)性,以及隨機(jī)性是為了保證各個(gè)基算法模型之間的相互獨(dú)立,從而提升組合后的精度。當(dāng)然,還需要保證每個(gè)基分類算法不至于太弱,至少要強(qiáng)于隨機(jī)猜測(cè),即錯(cuò)誤率不能高于0.5。
03 sklearn與mllib
scikit-learn和spark中都實(shí)現(xiàn)了隨機(jī)森林,但各自有些細(xì)小的區(qū)別。
在scikit-learn中,同樣只是簡(jiǎn)單幾行代碼即可:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
# sklearn_rf.py
import pandas as pd
from sklearn.ensemble import RandomForestClassifier
df = pd.read_csv('sklearn_data.csv')
train, test = df.query("is_date != -1"), df.query("is_date == -1")
y_train, X_train = train['is_date'], train.drop(['is_date'], axis=1)
X_test = test.drop(['is_date'], axis=1)
model = RandomForestClassifier(n_estimators=50,
criterion='gini',
max_features="sqrt",
min_samples_leaf=1,
n_jobs=4,
)
model.fit(X_train, y_train)
print model.predict(X_test)
print zip(X_train.columns, model.feature_importances_)
|
調(diào)用RandomForestClassifier時(shí)的參數(shù)說明:
從前面的隨機(jī)森林構(gòu)建過程來看,隨機(jī)森林的每顆樹之間是獨(dú)立構(gòu)建的,而且盡量往獨(dú)立的方向靠,不依賴其它樹的構(gòu)建,這一特點(diǎn),在當(dāng)前的大數(shù)據(jù)環(huán)境下,尤其被人喜愛,因?yàn)樗懿⑿?,并行,并行……?/span>
能完全并行的算法,一定會(huì)被人們追捧,在資源夠的情況下,可以同時(shí)并行構(gòu)建大量的決策樹。scikit-learn雖然是單機(jī)版本,不能做分布式,但也可以利用單機(jī)的多枋來并行。
spark中,更是能發(fā)揮分布式的特點(diǎn)了:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
from pprint import pprint
from pyspark import SparkContext
from pyspark.mllib.tree import RandomForest
from pyspark.mllib.regression import LabeledPoint
sc = SparkContext()
data = sc.textFile('spark_data.csv').map(lambda x: x.split(',')).map(lambda x: (float(x[0]), int(x[1]), int(x[2]), float(x[3]), int(x[4]), int(x[5])))
train = data.filter(lambda x: x[5]!=-1).map(lambda v: LabeledPoint(v[-1], v[:-1]))
test = data.filter(lambda x: x[5]==-1)#.map(lambda v: LabeledPoint(v[-1], v[:-1]))
model = RandomForest.trainClassifier(train,
numClasses=2,
numTrees=50,
categoricalFeaturesInfo={1:2, 2:2, 4:3},
impurity='gini',
maxDepth=5,
)
print 'The predict is:', model.predict(test).collect()
print 'The Decision tree is:', model.toDebugString()
|
和決策樹版本相比,唯一的變化,就是將DecistionTree換成了RandomForest,另外增加了一個(gè)指定樹顆數(shù)的參數(shù):numTrees=50。
而和scikit-learn版本相比,spark中會(huì)通過categoricalFeaturesInfo={1:2, 2:2, 4:3}參數(shù)指定第5個(gè)屬性(工作屬性)具有3種不同的類別,因此spark在劃分的時(shí)候,是按類別變量進(jìn)行處理。而scikit-learn中,依然當(dāng)成連續(xù)的變量處理,所以在條件判斷的時(shí)候,才會(huì)有house
當(dāng)有多個(gè)最優(yōu)分割的時(shí)候,spark與scikit-learn在選擇上也有區(qū)別,spark會(huì)按屬性順序進(jìn)行選擇,而scikit-learn會(huì)隨機(jī)選擇一個(gè)。這也是導(dǎo)致scikit-learn在多次運(yùn)行中會(huì)輸出0和1的問題。
scikit-learn中,還可以輸出參數(shù)重要性,這也是決策樹和隨機(jī)森林的優(yōu)點(diǎn)之一(目前pyspark還不支持輸入?yún)?shù)重要性):
1
2
|
# scikit-learn中
print zip(X_train.columns, model.feature_importances_)
|
[(‘height’, 0.25), (‘house’,’car’, 0.0), (‘handsome’, 0.60), (‘job’, 0.0)]
04 特點(diǎn)與應(yīng)用
隨機(jī)森林基本上繼承決策樹的全部?jī)?yōu)點(diǎn),只需做很少的數(shù)據(jù)準(zhǔn)備,其他算法往往需要數(shù)據(jù)歸一化。決策樹能處理連續(xù)變量,還能處理離散變量,當(dāng)然也能處理多分類問題,多分類問題依然還是二叉樹。決策樹就是if-else語(yǔ)句,區(qū)別只是哪些條件寫在if,哪些寫在else,因此易于理解和解釋。
決策樹的可解釋性強(qiáng) ,你可以打印出整個(gè)樹出來,從哪個(gè)因素開始決策,一目了然。但隨機(jī)森林的可解釋性就不強(qiáng)了。所謂可解釋性,就是當(dāng)你通過各種調(diào)參進(jìn)行訓(xùn)練,得出一個(gè)結(jié)論,你老大來問你,這個(gè)結(jié)論是怎么得出來的?你說是模型自己訓(xùn)練出來的,老大又問了,比如舉一條具體的數(shù)據(jù),你說一說得出結(jié)論的過程呢?因?yàn)?a href='/map/suijisenlin/' style='color:#000;font-size:inherit;'>隨機(jī)森林引入了隨機(jī)取特征,而且是由多顆樹共同決定,樹一旦多了,很難說清楚得出結(jié)論的具體過程。雖然可以打印每顆樹的結(jié)構(gòu),但很難分析。
雖然不好解釋,但它解決了決策樹的過擬合問題,使模型的穩(wěn)定性增加,對(duì)噪聲更加魯棒,從而使得整體預(yù)測(cè)精度得以提升。
因?yàn)?a href='/map/suijisenlin/' style='color:#000;font-size:inherit;'>隨機(jī)森林能計(jì)算參數(shù)的重要性,因此也可用于對(duì)數(shù)據(jù)的降維,只選取少量幾維重要的特征來近似表示原數(shù)據(jù)。同理,在數(shù)據(jù)有眾多的特征時(shí),也可以用于特征選擇,選擇關(guān)鍵的特征用于算法中。
隨機(jī)森林還有天生的并行性,可以很好的處理大規(guī)模數(shù)據(jù),也可以很容易的在分布式環(huán)境中使用。
最后,在大數(shù)據(jù)環(huán)境下,隨著森林中樹的增加,最后生成的模型可能過大,因?yàn)槊款w樹都是完全生長(zhǎng),存儲(chǔ)了用于決策的全部數(shù)據(jù),導(dǎo)致模型可能達(dá)到幾G甚至幾十G。如果用于在線的預(yù)測(cè),光把模型加載到內(nèi)存就需要很長(zhǎng)時(shí)間,因此比較適合離線處理。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03