99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀神經(jīng)網(wǎng)絡(luò)測試結(jié)果很差，該怎么做
神經(jīng)網(wǎng)絡(luò)測試結(jié)果很差，該怎么做
2018-07-26
收藏

神經(jīng)網(wǎng)絡(luò)測試結(jié)果很差，該怎么做

當(dāng)我們編程實現(xiàn)了神經(jīng)網(wǎng)絡(luò)模型，將模型用于測試集時，經(jīng)常會發(fā)現(xiàn)測試的準(zhǔn)確率非常的低，神經(jīng)網(wǎng)絡(luò)層數(shù)很深，通常我們不容易判斷具體的梯度下降求解參數(shù)的過程，那我們該怎么辦呢？從機(jī)器學(xué)習(xí)視頻中總結(jié)的辦法??！小程序親身體驗過！

首先要明白，測試集上的準(zhǔn)確率低并不一定是過擬合。有可能在訓(xùn)練集上準(zhǔn)確率就很低，也就是說你的模型壓根沒有訓(xùn)練好??！

所以：首先，要用訓(xùn)練好的模型在訓(xùn)練集上跑一遍，如果在訓(xùn)練集上準(zhǔn)確率就很低，那么就不是過擬合，而是欠擬合。

原因是在梯度下降求導(dǎo)時，卡在了local minima（在求導(dǎo)為0，是極小值）,saddle point（求導(dǎo)為0，不是極小值）,plateau（求導(dǎo)近似為0）上。

解決這個問題可以有兩個做法：1是改變激活函數(shù)；2是改變梯度下降求導(dǎo)方式；后邊會詳細(xì)講。

然后：如果在訓(xùn)練集上準(zhǔn)確率很好，在測試集上準(zhǔn)確率低，那么就是過擬合(overfitting)。

解決辦法是：1是早點停止梯度更新；2是更多的數(shù)據(jù)（通過數(shù)據(jù)增強(qiáng)獲得更多數(shù)據(jù)）;3是正則化（l1-torm和l2-torm）;4是Dropout方法。下邊將詳細(xì)介紹。

解決欠擬合的1方法：改變激活函數(shù)。一定程度上，欠擬合是因為激活函數(shù)選擇了sigmoid函數(shù)。對于sigmoid函數(shù)來說，致命的問題就是梯度消失，sigmoid會衰減輸入。梯度消失的含義是：在靠近輸出層的參數(shù)更新梯度很大，在靠近輸入層的參數(shù)更新梯度很小，導(dǎo)致在學(xué)習(xí)率一致的情況下，在靠近輸出層的后幾層參數(shù)更新快，在已經(jīng)收斂的時候，靠近輸入層參數(shù)更新很慢，還是接近隨機(jī)狀態(tài)，使得靠近輸出層參數(shù)接收的input接近隨機(jī)。

我們換用RELU激活函數(shù)就可以解決梯度消失的問題。在input<0時，output = 0， 在input>0時，output = input，這樣在計算時，參數(shù)會少于整體神經(jīng)元個數(shù)，RELU計算很快。Leaky RELU、Parametric RELU等是RELU的變種，用RELU可以解決一般欠擬合。

另外maxout也是一種激活函數(shù)，RELU是maxout的一種特例，它可以實現(xiàn)每個神經(jīng)元都有自己不同的激活函數(shù)，但是maxout參數(shù)多于其他激活函數(shù)（因為每有一個輸出，都要在一組給定數(shù)目的輸出（參數(shù)）中選擇一個最大的作為輸出，而其他的激活函數(shù)，都是給一組參數(shù)，產(chǎn)生一個輸出）。雖然參數(shù)變多了，但是在訓(xùn)練時，我們梯度下降只更新一組輸出中選出的那個輸出對應(yīng)的參數(shù)?。。?！并且訓(xùn)練集數(shù)據(jù)很多，每個數(shù)據(jù)都會梯度更新不同的參數(shù)。maxout是根據(jù)數(shù)據(jù)自動學(xué)習(xí)權(quán)重，模型參數(shù)訓(xùn)練好了，模型固定了，也就得到不同的激活函數(shù)。

解決欠擬合方法2：改變梯度下降策略；

可以嘗試其他的梯度下降函數(shù)，比如Adagrad、RMSProp、Momentum、Adam(=Momentum+RMSProp),它們按照一定權(quán)重考慮了新梯度值和舊梯度值。


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時表示是新驗證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }