99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀Python決策樹和隨機(jī)森林算法實(shí)例詳解
Python決策樹和隨機(jī)森林算法實(shí)例詳解
2018-02-10
收藏

Python決策樹和隨機(jī)森林算法實(shí)例詳解

本文實(shí)例講述了Python決策樹和隨機(jī)森林算法。分享給大家供大家參考，具體如下：

決策樹和隨機(jī)森林都是常用的分類算法，它們的判斷邏輯和人的思維方式非常類似，人們常常在遇到多個(gè)條件組合問題的時(shí)候，也通?？梢援嫵鲆活w決策樹來幫助決策判斷。本文簡(jiǎn)要介紹了決策樹和隨機(jī)森林的算法以及實(shí)現(xiàn)，并使用隨機(jī)森林算法和決策樹算法來檢測(cè)FTP暴力破解和POP3暴力破解


決策樹算法

決策樹表現(xiàn)了對(duì)象屬性和屬性值之間的一種映射關(guān)系。決策樹中的每個(gè)節(jié)點(diǎn)表示某個(gè)對(duì)象，而每個(gè)分叉路徑則表示某個(gè)可能的屬性值，而每個(gè)葉節(jié)點(diǎn)則對(duì)應(yīng)從根節(jié)點(diǎn)到該葉節(jié)點(diǎn)所經(jīng)歷的路徑所表現(xiàn)的對(duì)象值。在數(shù)據(jù)挖掘中，我們常常使用決策樹來進(jìn)行數(shù)據(jù)分類和預(yù)測(cè)。

決策樹的helloworld

在這一小節(jié)，我們簡(jiǎn)單使用決策樹來對(duì)iris數(shù)據(jù)集進(jìn)行數(shù)據(jù)分類和預(yù)測(cè)。這里我們要使用sklearn下的tree的graphviz來幫助我們導(dǎo)出決策樹，并以pdf的形式存儲(chǔ)。具體代碼如下：

#決策樹的helloworld 使用決策樹對(duì)iris數(shù)據(jù)集進(jìn)行分類
fromsklearn.datasetsimportload_iris
fromsklearnimporttree
importpydotplus
#導(dǎo)入iris數(shù)據(jù)集
iris=load_iris()
#初始化DecisionTreeClassifier
clf=tree.DecisionTreeClassifier()
#適配數(shù)據(jù)
clf=clf.fit(iris.data, iris.target)
#將決策樹以pdf格式可視化
dot_data=tree.export_graphviz(clf, out_file=None)
graph=pydotplus.graph_from_dot_data(dot_data)
graph.write_pdf("iris.pdf")

iris數(shù)據(jù)集得到的可視化決策樹如下圖所示：



通過這個(gè)小例子，我們可以初步感受到決策樹的工作過程和特點(diǎn)。相較于其他的分類算法，決策樹產(chǎn)生的結(jié)果更加直觀也更加符合人類的思維方式。

使用決策樹檢測(cè)POP3暴力破解

在這里我們是用KDD99數(shù)據(jù)集中POP3相關(guān)的數(shù)據(jù)來使用決策樹算法來學(xué)習(xí)如何識(shí)別數(shù)據(jù)集中和POP3暴力破解相關(guān)的信息。關(guān)于KDD99數(shù)據(jù)集的相關(guān)內(nèi)容可以自行g(shù)oogle一下。下面是使用決策樹算法的源碼：

#使用決策樹算法檢測(cè)POP3暴力破解
importre
importmatplotlib.pyplot as plt
fromsklearn.feature_extraction.textimportCountVectorizer
fromsklearn.model_selectionimportcross_val_score
importos
fromsklearn.datasetsimportload_iris
fromsklearnimporttree
importpydotplus
#加載kdd數(shù)據(jù)集
defload_kdd99(filename):
  X=[]
  withopen(filename) as f:
    forlineinf:
      line=line.strip('\n')
      line=line.split(',')
      X.append(line)
  returnX
#找到訓(xùn)練數(shù)據(jù)集
defget_guess_passwdandNormal(x):
  v=[]
  features=[]
  targets=[]
  #找到標(biāo)記為guess-passwd和normal且是POP3協(xié)議的數(shù)據(jù)
  forx1inx:
    if( x1[41]in['guess_passwd.','normal.'] )and( x1[2]=='pop_3'):
      ifx1[41]=='guess_passwd.':
        targets.append(1)
      else:
        targets.append(0)
    #挑選與POP3密碼破解相關(guān)的網(wǎng)絡(luò)特征和TCP協(xié)議內(nèi)容的特征作為樣本特征
      x1=[x1[0]]+x1[4:8]+x1[22:30]
      v.append(x1)
  forx1inv :
    v1=[]
    forx2inx1:
      v1.append(float(x2))
    features.append(v1)
  returnfeatures,targets
if__name__=='__main__':
  v=load_kdd99("../../data/kddcup99/corrected")
  x,y=get_guess_passwdandNormal(v)
  clf=tree.DecisionTreeClassifier()
  print(cross_val_score(clf, x, y, n_jobs=-1, cv=10))
  clf=clf.fit(x, y)
  dot_data=tree.export_graphviz(clf, out_file=None)
  graph=pydotplus.graph_from_dot_data(dot_data)
  graph.write_pdf("POP3Detector.pdf")

隨后生成的用于辨別是否POP3暴力破解的的決策樹如下：

隨機(jī)森林算法

隨機(jī)森林指的是利用多棵樹對(duì)樣本進(jìn)行訓(xùn)練并預(yù)測(cè)的一種分類器。是一個(gè)包含多個(gè)決策樹的分類器，并且其輸出類別是由個(gè)別樹輸出的類別的眾數(shù)決定的。隨機(jī)森林的每一顆決策樹之間是沒有關(guān)聯(lián)的。在得到森林之后，當(dāng)有一個(gè)新的輸入樣本進(jìn)入的時(shí)候，就讓森林中的每一顆決策樹分別進(jìn)行判斷，看看這個(gè)樣本屬于哪一類，然后看看哪一類被選擇最多，則預(yù)測(cè)這個(gè)樣本為那一類。一般來說，隨機(jī)森林的判決性能優(yōu)于決策樹。

隨機(jī)森林的helloworld

接下來我們利用隨機(jī)生成的一些數(shù)據(jù)直觀的看看決策樹和隨機(jī)森林的準(zhǔn)確率對(duì)比：

fromsklearn.model_selectionimportcross_val_score
fromsklearn.datasetsimportmake_blobs
fromsklearn.ensembleimportRandomForestClassifier
fromsklearn.ensembleimportExtraTreesClassifier
fromsklearn.treeimportDecisionTreeClassifier
X,y=make_blobs(n_samples=10000,n_features=10,centers=100,random_state=0)
clf=DecisionTreeClassifier(max_depth=None,min_samples_split=2,random_state=0)
scores=cross_val_score(clf,X,y)
print("決策樹準(zhǔn)確率；",scores.mean())
clf=RandomForestClassifier(n_estimators=10,max_depth=None,min_samples_split=2,random_state=0)
scores=cross_val_score(clf,X,y)
print("隨機(jī)森林準(zhǔn)確率：",scores.mean())

最后可以看到決策樹的準(zhǔn)確率是要稍遜于隨機(jī)森林的。

使用隨機(jī)森林算法檢測(cè)FTP暴力破解

接下來我們使用ADFA-LD數(shù)據(jù)集中關(guān)于FTP的數(shù)據(jù)使用隨機(jī)森林算法建立一個(gè)隨機(jī)森林分類器，ADFA-LD數(shù)據(jù)集中記錄了函數(shù)調(diào)用序列，每個(gè)文件包含的函數(shù)調(diào)用的序列個(gè)數(shù)都不一樣。相關(guān)數(shù)據(jù)集的詳細(xì)內(nèi)容請(qǐng)自行g(shù)oogle。

詳細(xì)源碼如下：

# -*- coding:utf-8 -*-
#使用隨機(jī)森林算法檢測(cè)FTP暴力破解
importre
importmatplotlib.pyplot as plt
fromsklearn.feature_extraction.textimportCountVectorizer
fromsklearn.model_selectionimportcross_val_score
importos
fromsklearnimporttree
importpydotplus
importnumpy as np
fromsklearn.ensembleimportRandomForestClassifier
defload_one_flle(filename):
  x=[]
  withopen(filename) as f:
    line=f.readline()
    line=line.strip('\n')
  returnline
defload_adfa_training_files(rootdir):
  x=[]
  y=[]
  list=os.listdir(rootdir)
  foriinrange(0,len(list)):
    path=os.path.join(rootdir,list[i])
    ifos.path.isfile(path):
      x.append(load_one_flle(path))
      y.append(0)
  returnx,y
defdirlist(path, allfile):
  filelist=os.listdir(path)
  forfilenameinfilelist:
    filepath=path+filename
    ifos.path.isdir(filepath):
      #處理路徑異常
      dirlist(filepath+'/', allfile)
    else:
      allfile.append(filepath)
  returnallfile
defload_adfa_hydra_ftp_files(rootdir):
  x=[]
  y=[]
  allfile=dirlist(rootdir,[])
  forfileinallfile:
    #正則表達(dá)式匹配hydra異常ftp文件
    ifre.match(r"../../data/ADFA-LD/Attack_Data_Master/Hydra_FTP_\d+/UAD-Hydra-FTP*",file):
      x.append(load_one_flle(file))
      y.append(1)
  returnx,y
if__name__=='__main__':
  x1,y1=load_adfa_training_files("../../data/ADFA-LD/Training_Data_Master/")
  x2,y2=load_adfa_hydra_ftp_files("../../data/ADFA-LD/Attack_Data_Master/")
  x=x1+x2
  y=y1+y2
  vectorizer=CountVectorizer(min_df=1)
  x=vectorizer.fit_transform(x)
  x=x.toarray()
  #clf = tree.DecisionTreeClassifier()
  clf=RandomForestClassifier(n_estimators=10, max_depth=None,min_samples_split=2, random_state=0)
  clf=clf.fit(x,y)
  score=cross_val_score(clf, x, y, n_jobs=-1, cv=10)
  print(score)
  print('平均正確率為：',np.mean(score))

最后可以獲得一個(gè)準(zhǔn)確率約在98.4%的隨機(jī)森林分類器。



數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }