99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀神經(jīng)網(wǎng)絡中權值初始化的方法
神經(jīng)網(wǎng)絡中權值初始化的方法
2018-06-01
收藏

神經(jīng)網(wǎng)絡中權值初始化的方法

權值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均勻分布初始化（uniform）、xavier初始化、msra初始化、雙線性初始化（bilinear）

常量初始化(constant)

把權值或者偏置初始化為一個常數(shù)，具體是什么常數(shù)，可以自己定義

高斯分布初始化（gaussian）

需要給定高斯函數(shù)的均值與標準差 

positive_unitball初始化

讓每一個神經(jīng)元的輸入的權值和為 1，例如：一個神經(jīng)元有100個輸入，讓這100個輸入的權值和為1.  首先給這100個權值賦值為在（0，1）之間的均勻分布，然后，每一個權值再除以它們的和就可以啦。這么做，可以有助于防止權值初始化過大，從而防止激活函數(shù)（sigmoid函數(shù)）進入飽和區(qū)。所以，它應該比較適合simgmoid形的激活函數(shù)

均勻分布初始化（uniform）

將權值與偏置進行均勻分布的初始化，用min 與 max 來控制它們的的上下限，默認為（0，1）

xavier初始化

對于權值的分布：均值為0，方差為（1 / 輸入的個數(shù)） 的 均勻分布。如果我們更注重前向傳播的話，我們可以選擇 fan_in，即正向傳播的輸入個數(shù)；如果更注重后向傳播的話，我們選擇 fan_out, 因為在反向傳播的時候，fan_out就是神經(jīng)元的輸入個數(shù)；如果兩者都考慮的話，就選  average = (fan_in + fan_out) /2。對于ReLU激活函數(shù)來說，XavierFiller初始化也是很適合。關于該初始化方法，具體可以參考文章1、文章2，該方法假定激活函數(shù)是線性的。

msra初始化

對于權值的分布：基于均值為0，方差為( 2/輸入的個數(shù))的高斯分布；它特別適合 ReLU激活函數(shù)，該方法主要是基于Relu函數(shù)提出的，推導過程類似于xavier。

雙線性初始化（bilinear）

常用在反卷積神經(jīng)網(wǎng)絡里的權值初始化


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }