99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁精彩閱讀BP神經(jīng)網(wǎng)絡(luò)算法與實踐
BP神經(jīng)網(wǎng)絡(luò)算法與實踐
2018-07-30
收藏

BP神經(jīng)網(wǎng)絡(luò)算法與實踐

神經(jīng)網(wǎng)絡(luò)曾經(jīng)很火,有過一段低迷期,現(xiàn)在因為深度學(xué)習(xí)的原因繼續(xù)火起來了。神經(jīng)網(wǎng)絡(luò)有很多種:前向傳輸網(wǎng)絡(luò)、反向傳輸網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等。本文介紹基本的反向傳輸神經(jīng)網(wǎng)絡(luò)(Backpropagation 簡稱BP),主要講述算法的基本流程和自己在訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)的一些經(jīng)驗。

BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
  神經(jīng)網(wǎng)絡(luò)就是模擬人的大腦的神經(jīng)單元的工作方式,但進(jìn)行了很大的簡化,神經(jīng)網(wǎng)絡(luò)由很多神經(jīng)網(wǎng)絡(luò)層構(gòu)成,而每一層又由許多單元組成,第一層叫輸入層,最后一層叫輸出層,中間的各層叫隱藏層,在BP神經(jīng)網(wǎng)絡(luò)中,只有相鄰的神經(jīng)層的各個單元之間有聯(lián)系,除了輸出層外,每一層都有一個偏置結(jié)點:

雖然圖中隱藏層只畫了一層,但其層數(shù)并沒有限制,傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)經(jīng)驗認(rèn)為一層就足夠好,而最近的深度學(xué)習(xí)不這么認(rèn)為。偏置結(jié)點是為了描述訓(xùn)練數(shù)據(jù)中沒有的特征,偏置結(jié)點對于下一層的每一個結(jié)點的權(quán)重的不同而生產(chǎn)不同的偏置,于是可以認(rèn)為偏置是每一個結(jié)點(除輸入層外)的屬性。我們偏置結(jié)點在圖中省略掉:

在描述BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練之前,我們先來看看神經(jīng)網(wǎng)絡(luò)各層都有哪些屬性:

  1. 每一個神經(jīng)單元都有一定量的能量,我們定義其能量值為該結(jié)點j的輸出值Oj;
  2. 相鄰層之間結(jié)點的連接有一個權(quán)重Wij,其值在[-1,1]之間;
  3. 除輸入層外,每一層的各個結(jié)點都有一個輸入值,其值為上一層所有結(jié)點按權(quán)重傳遞過來的能量之和加上偏置;
  4. 除輸入層外,每一層都有一個偏置值,其值在[0,1]之間;
  5. 除輸入層外,每個結(jié)點的輸出值等該結(jié)點的輸入值作非線性變換;
  6. 我們認(rèn)為輸入層沒有輸入值,其輸出值即為訓(xùn)練數(shù)據(jù)的屬性,比如一條記錄X=<(1,2,3),類別1>,那么輸入層的三個結(jié)點的輸出值分別為1,2,3. 因此輸入層的結(jié)點個數(shù)一般等于訓(xùn)練數(shù)據(jù)的屬性個數(shù)。

訓(xùn)練一個BP神經(jīng)網(wǎng)絡(luò),實際上就是調(diào)整網(wǎng)絡(luò)的權(quán)重和偏置這兩個參數(shù),BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程分兩部分:

  1. 前向傳輸,逐層波浪式的傳遞輸出值;
  2. 逆向反饋,反向逐層調(diào)整權(quán)重和偏置;

我們先來看前向傳輸。

前向傳輸(Feed-Forward前向反饋)

在訓(xùn)練網(wǎng)絡(luò)之前,我們需要隨機初始化權(quán)重和偏置,對每一個權(quán)重取[-1,1]的一個隨機實數(shù),每一個偏置取[0,1]的一個隨機實數(shù),之后就開始進(jìn)行前向傳輸。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是由多趟迭代完成的,每一趟迭代都使用訓(xùn)練集的所有記錄,而每一次訓(xùn)練網(wǎng)絡(luò)只使用一條記錄,抽象的描述如下:

首先設(shè)置輸入層的輸出值,假設(shè)屬性的個數(shù)為100,那我們就設(shè)置輸入層的神經(jīng)單元個數(shù)為100,輸入層的結(jié)點Ni為記錄第i維上的屬性值xi。對輸入層的操作就這么簡單,之后的每層就要復(fù)雜一些了,除輸入層外,其他各層的輸入值是上一層輸入值按權(quán)重累加的結(jié)果值加上偏置,每個結(jié)點的輸出值等該結(jié)點的輸入值作變換

前向傳輸?shù)妮敵鰧拥挠嬎氵^程公式如下:

Ij=∑iWijOi+θj

Oj=11+e?Il

對隱藏層和輸出層的每一個結(jié)點都按照如上圖的方式計算輸出值,就完成前向傳播的過程,緊接著是進(jìn)行逆向反饋。

逆向反饋(Backpropagation)

逆向反饋從最后一層即輸出層開始,我們訓(xùn)練神經(jīng)網(wǎng)絡(luò)作分類的目的往往是希望最后一層的輸出能夠描述數(shù)據(jù)記錄的類別,比如對于一個二分類的問題,我們常常用兩個神經(jīng)單元作為輸出層,如果輸出層的第一個神經(jīng)單元的輸出值比第二個神經(jīng)單元大,我們認(rèn)為這個數(shù)據(jù)記錄屬于第一類,否則屬于第二類。

還記得我們第一次前向反饋時,整個網(wǎng)絡(luò)的權(quán)重和偏置都是我們隨機取,因此網(wǎng)絡(luò)的輸出肯定還不能描述記錄的類別,因此需要調(diào)整網(wǎng)絡(luò)的參數(shù),即權(quán)重值和偏置值,而調(diào)整的依據(jù)就是網(wǎng)絡(luò)的輸出層的輸出值與類別之間的差異,通過調(diào)整參數(shù)來縮小這個差異,這就是神經(jīng)網(wǎng)絡(luò)的優(yōu)化目標(biāo)。對于輸出層:

Ej=Oj(1?Oj)(Tj?Oj)

其中Ej表示第j個結(jié)點的誤差值,Oj表示第j個結(jié)點的輸出值,Tj記錄輸出值,比如對于2分類問題,我們用01表示類標(biāo)1,10表示類別2,如果一個記錄屬于類別1,那么其T1=0,T2=1。

中間的隱藏層并不直接與數(shù)據(jù)記錄的類別打交道,而是通過下一層的所有結(jié)點誤差按權(quán)重累加,計算公式如下:

Ej=Oj(1?Oj)∑kEkWjk

其中Wjk表示當(dāng)前層的結(jié)點j到下一層的結(jié)點k的權(quán)重值,Ek下一層的結(jié)點k的誤差率。

計算完誤差率后,就可以利用誤差率對權(quán)重和偏置進(jìn)行更新,首先看權(quán)重的更新:

ΔWij=λEjOi

Wij=Wij+ΔWij

其中λ表示表示學(xué)習(xí)速率,取值為0到1,學(xué)習(xí)速率設(shè)置得大,訓(xùn)練收斂更快,但容易陷入局部最優(yōu)解,學(xué)習(xí)速率設(shè)置得比較小的話,收斂速度較慢,但能一步步逼近全局最優(yōu)解。

更新完權(quán)重后,還有最后一項參數(shù)需要更新,即偏置:

Δθj=λEj

θj=θj+Δθj

至此,我們完成了一次神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程,通過不斷的使用所有數(shù)據(jù)記錄進(jìn)行訓(xùn)練,從而得到一個分類模型。不斷地迭代,不可能無休止的下去,總歸有個終止條件

訓(xùn)練終止條件

每一輪訓(xùn)練都使用數(shù)據(jù)集的所有記錄,但什么時候停止,停止條件有下面兩種:

  1. 設(shè)置最大迭代次數(shù),比如使用數(shù)據(jù)集迭代100次后停止訓(xùn)練
  2. 計算訓(xùn)練集在網(wǎng)絡(luò)上的預(yù)測準(zhǔn)確率,達(dá)到一定門限值后停止訓(xùn)練

使用BP神經(jīng)網(wǎng)絡(luò)分類

我自己寫了一個BP神經(jīng)網(wǎng)絡(luò),在數(shù)字手寫體識別數(shù)據(jù)集MINIST上測試了一下,MINIST數(shù)據(jù)集中訓(xùn)練圖片有12000個,測試圖片20000個,每張圖片是28*28的灰度圖像,我對圖像進(jìn)行了二值化處理,神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置如下:

  1. 輸入層設(shè)置28*28=784個輸入單元;
  2. 輸出層設(shè)置10個,對應(yīng)10個數(shù)字的類別;
  3. 學(xué)習(xí)速率設(shè)置為0.05;

訓(xùn)練經(jīng)過約50次左右迭代,在訓(xùn)練集上已經(jīng)能達(dá)到99%的正確率,在測試集上的正確率為90.03%,單純的BP神經(jīng)網(wǎng)絡(luò)能夠提升的空間不大了,但kaggle上已經(jīng)有人有卷積神經(jīng)網(wǎng)絡(luò)在測試集達(dá)到了99.3%的準(zhǔn)確率。代碼是去年用C++寫的,濃濃的JAVA的味道,代碼價值不大,但注釋比較詳細(xì),可以查看這里,最近寫了一個Java多線程的BP神經(jīng)網(wǎng)絡(luò),但現(xiàn)在還不方便拿出來,如果項目黃了,再放上來吧。

訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)的一些經(jīng)驗

講一下自己訓(xùn)練神經(jīng)網(wǎng)絡(luò)的一點經(jīng)驗:

  1. 學(xué)習(xí)速率不宜設(shè)置過大,一般小于0.1,開始我設(shè)置了0.85,準(zhǔn)確率一直提不上去,很明顯是陷入了局部最優(yōu)解;
  2. 輸入數(shù)據(jù)應(yīng)該歸一化,開始使用0-255的灰度值測試,效果不好,轉(zhuǎn)成01二值后,效果提升顯著;
  3. 盡量是數(shù)據(jù)記錄隨機分布,不要將數(shù)據(jù)集按記錄排序,假設(shè)數(shù)據(jù)集有10個類別,我們把數(shù)據(jù)集按類別排序,一條一條記錄地訓(xùn)練神經(jīng)網(wǎng)絡(luò),訓(xùn)練到后面,模型將只記得最近訓(xùn)練的類別而忘記了之前訓(xùn)練的類別;
  4. 對于多分類問題,比如漢字識別問題,常用漢字就有7000多個,也就是說有7000個類別,如果我們將輸出層設(shè)置為7000個結(jié)點,那計算量將非常大,并且參數(shù)過多而不容易收斂,這時候我們應(yīng)該對類別進(jìn)行編碼,7000個漢字只需要13個二進(jìn)制位即可表示,因此我們的輸出成只需要設(shè)置13個結(jié)點即可。

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個參數(shù)驗證碼對象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }