99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁精彩閱讀機器學習中的隨機森林模型
機器學習中的隨機森林模型
2016-04-21
收藏

機器學習中的隨機森林模型

01 樹與森林

在構(gòu)建決策樹的時候,可以讓樹進行完全生長,也可以通過參數(shù)控制樹的深度或者葉子節(jié)點的數(shù)量,通常完全生長的樹會帶來過擬合問題。過擬合一般由數(shù)據(jù)中的噪聲和離群點導致,一種解決過擬合的方法是進行剪枝,去除樹的一些雜亂的枝葉。

實際應用中,一般可用隨機森林來代替,隨機森林決策樹的基礎上,會有更好的表現(xiàn),尤其是防止過擬合

機器學習算法中,有一類算法比較特別,叫組合算法(Ensemble),即將多個基算法(Base)組合起來使用。每個基算法單獨預測,最后的結(jié)論由全部基算法進行投票(用于分類問題)或者求平均(包括加權(quán)平均,用于回歸問題)。

組合算法中,一類是Bagging(裝袋),另一類是Boosting(提升),隨機森林便是Bagging中的代表。使用多顆樹進行單獨預測,最后的結(jié)論由這些樹預測結(jié)果的組合共同來決定,這也是“森林”名字的來源。每個基分類器可以很弱,但最后組合的結(jié)果通常能很強,這也類似于:“三個臭皮匠頂個諸葛亮”的思想。

上面文章?lián)Q一種理解,即為:掌握了隨機森林,基本上可以處理很多常見的機器學習問題。由此可見,組合算法在很多時候,其預測的性能都會優(yōu)于單獨的算法,這也正是隨機森林的魅力所在。

02 處處隨機

多個人組成的團隊,是不是一定就強于一個人呢?團隊的產(chǎn)出并不能把每個人的力量相加,并非和“眾人拾柴火焰高”的道理一樣。要讓團隊的總產(chǎn)出高于單個人的產(chǎn)出,那必須是每個人都有其它人不具備的知識或者能力,如果大家都是完全相同的知識或者能力,在解決難題上并沒有幫助。假設對一個數(shù)據(jù)的預測,大家的結(jié)論都是1,最后組合結(jié)論依然是1,沒有任何改變。對預測準確率,沒有任何提升。

這也是“森林”前面還有“隨機”這個修飾詞的原因,隨機就是讓每個顆樹不一樣,如果都一樣,組合后的效果不會有任何提升。假設每顆樹不一樣,單獨預測錯誤率大概都是40%(夠弱了吧,很多時候都會犯錯),但三顆樹組合的后的錯誤率就變成了35.2%(至少一半以上(兩顆樹)同時犯錯結(jié)果才會犯錯),其計算方法為:

3個全錯(一種情況) + 2個錯1個對(3種組合):
1 0.4^3 + 3 0.4^2 * (1-0.4)^1 = 0.352

因此,隨機森林算法中,“隨機”是其核心靈魂,“森林”只是一種簡單的組合方式而已。隨機森林在構(gòu)建每顆樹的時候,為了保證各樹之間的獨立性,通常會采用兩到三層的隨機性。

數(shù)據(jù)抽樣開始,每顆樹都隨機地在原有數(shù)據(jù)的基礎上進行有放回的抽樣。假定訓練數(shù)據(jù)有1萬條,隨機抽取8千條數(shù)據(jù),因為是有放回的抽樣,可能原數(shù)據(jù)中有500條被抽了兩次,即最后的8千條中有500條是重復的數(shù)據(jù)。每顆樹都進行獨立的隨機抽樣,這樣保證了每顆樹學習到的數(shù)據(jù)側(cè)重點不一樣,保證了樹之間的獨立性。

抽取了數(shù)據(jù),就可以開始構(gòu)建決策分支了,在每次決策分支時,也需要加入隨機性,假設數(shù)據(jù)有20個特征(屬性),每次只隨機取其中的幾個來判斷決策條件。假設取4個屬性,從這4個特征中來決定當前的決策條件,即忽略其它的特征。取特征的個數(shù),通常不能太小,太小了使得單顆樹的精度太低,太大了樹之間的相關(guān)性會加強,獨立性會減弱。通常取總特征的平方根,或者log2(特征數(shù))+1,在scikit-learn的實現(xiàn)中,支持sqrt與log2,而spark還支持onethird(1/3)。

在結(jié)點進行分裂的時候,除了先隨機取固定個特征,然后選擇最好的分裂屬性這種方式,還有一種方式,就是在最好的幾個(依然可以指定sqrt與log2)分裂屬性中隨機選擇一個來進行分裂。scikit-learn中實現(xiàn)了兩種隨機森林算法,一種是RandomForest,另外一種是ExtraTrees,ExtraTrees就是用這種方式。在某些情況下,會比RandomForest精度略高。

總結(jié)起來,使用隨機性的三個地方:


  1. 隨機有放回的抽取數(shù)據(jù),數(shù)量可以和原數(shù)據(jù)相同,也可以略??;
  2. 隨機選取N個特征,選擇最好的屬性進行分裂;
  3. 在N個最好的分裂特征中,隨機選擇一個進行分裂;


因此,理解了這幾個地方的隨機性,以及隨機性是為了保證各個基算法模型之間的相互獨立,從而提升組合后的精度。當然,還需要保證每個基分類算法不至于太弱,至少要強于隨機猜測,即錯誤率不能高于0.5。

03 sklearn與mllib

scikit-learn和spark中都實現(xiàn)了隨機森林,但各自有些細小的區(qū)別。

在scikit-learn中,同樣只是簡單幾行代碼即可:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# sklearn_rf.py
import pandas as pd
from sklearn.ensemble import RandomForestClassifier
df = pd.read_csv('sklearn_data.csv')
train, test = df.query("is_date != -1"), df.query("is_date == -1")
y_train, X_train = train['is_date'], train.drop(['is_date'], axis=1)
X_test = test.drop(['is_date'], axis=1)
model = RandomForestClassifier(n_estimators=50,
                               criterion='gini',
                               max_features="sqrt",
                               min_samples_leaf=1,
                               n_jobs=4,
                           )
model.fit(X_train, y_train)
print model.predict(X_test)
print zip(X_train.columns, model.feature_importances_)

調(diào)用RandomForestClassifier時的參數(shù)說明:

  • n_estimators:指定森林中樹的顆數(shù),越多越好,只是不要超過內(nèi)存;
  • criterion:指定在分裂使用的決策算法;
  • max_features:指定了在分裂時,隨機選取的特征數(shù)目,sqrt即為全部特征的平均根;
  • min_samples_leaf:指定每顆決策樹完全生成,即葉子只包含單一的樣本;
  • n_jobs:指定并行使用的進程數(shù);

從前面的隨機森林構(gòu)建過程來看,隨機森林的每顆樹之間是獨立構(gòu)建的,而且盡量往獨立的方向靠,不依賴其它樹的構(gòu)建,這一特點,在當前的大數(shù)據(jù)環(huán)境下,尤其被人喜愛,因為它能并行,并行,并行……。

能完全并行的算法,一定會被人們追捧,在資源夠的情況下,可以同時并行構(gòu)建大量的決策樹。scikit-learn雖然是單機版本,不能做分布式,但也可以利用單機的多枋來并行。

spark中,更是能發(fā)揮分布式的特點了:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
from pprint import pprint
from pyspark import SparkContext
from pyspark.mllib.tree import RandomForest
from pyspark.mllib.regression import LabeledPoint
sc = SparkContext()
data = sc.textFile('spark_data.csv').map(lambda x: x.split(',')).map(lambda x: (float(x[0]), int(x[1]), int(x[2]), float(x[3]), int(x[4]), int(x[5])))
train = data.filter(lambda x: x[5]!=-1).map(lambda v: LabeledPoint(v[-1], v[:-1]))
test = data.filter(lambda x: x[5]==-1)#.map(lambda v: LabeledPoint(v[-1], v[:-1]))
model = RandomForest.trainClassifier(train,
                                     numClasses=2,
                                     numTrees=50,
                                     categoricalFeaturesInfo={1:2, 2:2, 4:3},
                                     impurity='gini',
                                     maxDepth=5,
                                 )
print 'The predict is:', model.predict(test).collect()
print 'The Decision tree is:', model.toDebugString()

決策樹版本相比,唯一的變化,就是將DecistionTree換成了RandomForest,另外增加了一個指定樹顆數(shù)的參數(shù):numTrees=50。

而和scikit-learn版本相比,spark中會通過categoricalFeaturesInfo={1:2, 2:2, 4:3}參數(shù)指定第5個屬性(工作屬性)具有3種不同的類別,因此spark在劃分的時候,是按類別變量進行處理。而scikit-learn中,依然當成連續(xù)的變量處理,所以在條件判斷的時候,才會有house

當有多個最優(yōu)分割的時候,spark與scikit-learn在選擇上也有區(qū)別,spark會按屬性順序進行選擇,而scikit-learn會隨機選擇一個。這也是導致scikit-learn在多次運行中會輸出0和1的問題。

scikit-learn中,還可以輸出參數(shù)重要性,這也是決策樹隨機森林的優(yōu)點之一(目前pyspark還不支持輸入?yún)?shù)重要性):

1
2
# scikit-learn中
print zip(X_train.columns, model.feature_importances_)

[(‘height’, 0.25), (‘house’,’car’, 0.0), (‘handsome’, 0.60), (‘job’, 0.0)]

04 特點與應用

隨機森林基本上繼承決策樹的全部優(yōu)點,只需做很少的數(shù)據(jù)準備,其他算法往往需要數(shù)據(jù)歸一化。決策樹能處理連續(xù)變量,還能處理離散變量,當然也能處理多分類問題,多分類問題依然還是二叉樹。決策樹就是if-else語句,區(qū)別只是哪些條件寫在if,哪些寫在else,因此易于理解和解釋。

決策樹的可解釋性強 ,你可以打印出整個樹出來,從哪個因素開始決策,一目了然。但隨機森林的可解釋性就不強了。所謂可解釋性,就是當你通過各種調(diào)參進行訓練,得出一個結(jié)論,你老大來問你,這個結(jié)論是怎么得出來的?你說是模型自己訓練出來的,老大又問了,比如舉一條具體的數(shù)據(jù),你說一說得出結(jié)論的過程呢?因為隨機森林引入了隨機取特征,而且是由多顆樹共同決定,樹一旦多了,很難說清楚得出結(jié)論的具體過程。雖然可以打印每顆樹的結(jié)構(gòu),但很難分析。

雖然不好解釋,但它解決了決策樹過擬合問題,使模型的穩(wěn)定性增加,對噪聲更加魯棒,從而使得整體預測精度得以提升。

因為隨機森林能計算參數(shù)的重要性,因此也可用于對數(shù)據(jù)的降維,只選取少量幾維重要的特征來近似表示原數(shù)據(jù)。同理,在數(shù)據(jù)有眾多的特征時,也可以用于特征選擇,選擇關(guān)鍵的特征用于算法中。

隨機森林還有天生的并行性,可以很好的處理大規(guī)模數(shù)據(jù),也可以很容易的在分布式環(huán)境中使用。

最后,在大數(shù)據(jù)環(huán)境下,隨著森林中樹的增加,最后生成的模型可能過大,因為每顆樹都是完全生長,存儲了用于決策的全部數(shù)據(jù),導致模型可能達到幾G甚至幾十G。如果用于在線的預測,光把模型加載到內(nèi)存就需要很長時間,因此比較適合離線處理。

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個參數(shù)驗證碼對象,之后可以使用它調(diào)用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }