99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁(yè)精彩閱讀深度學(xué)習(xí)損失函數(shù)
深度學(xué)習(xí)損失函數(shù)
2018-08-24
收藏

深度學(xué)習(xí)損失函數(shù)

在利用深度學(xué)習(xí)模型解決有監(jiān)督問(wèn)題時(shí)，比如分類(lèi)、回歸、去噪等，我們一般的思路如下：

1、信息流forward propagation，直到輸出端；

2、定義損失函數(shù)L(x, y | theta)；

3、誤差信號(hào)back propagation。采用數(shù)學(xué)理論中的“鏈?zhǔn)椒▌t”，求L(x, y | theta)關(guān)于參數(shù)theta的梯度；

4、利用最優(yōu)化方法（比如隨機(jī)梯度下降法），進(jìn)行參數(shù)更新；

5、重復(fù)步驟3、4，直到收斂為止；

在第2步中，我們通常會(huì)見(jiàn)到多種損失函數(shù)的定義方法，常見(jiàn)的有均方誤差（error of mean square）、最大似然誤差（maximum likelihood estimate）、最大后驗(yàn)概率（maximum posterior probability）、交叉熵損失函數(shù)（cross entropy loss），下面我們就來(lái)理清他們的區(qū)別和聯(lián)系。一般地，一個(gè)機(jī)器學(xué)習(xí)模型選擇哪種損失函數(shù)，是憑借經(jīng)驗(yàn)而定的，沒(méi)有什么特定的標(biāo)準(zhǔn)。具體來(lái)說(shuō)，
（1）均方誤差是一種較早的損失函數(shù)定義方法，它衡量的是兩個(gè)分布對(duì)應(yīng)維度的差異性之和。說(shuō)點(diǎn)題外話，與之非常接近的一種相似性度量標(biāo)準(zhǔn)“余弦角”，則衡量的是兩個(gè)分布整體的相似性，也即把兩個(gè)向量分別作為一個(gè)整體，計(jì)算出的夾角作為其相似性大小的判斷依據(jù)，讀者可以認(rèn)真體會(huì)這兩種相似性判斷標(biāo)準(zhǔn)的差異；
（2）最大似然誤差是從概率的角度，求解出能完美擬合訓(xùn)練樣例的模型參數(shù)theta，使得概率p(y | x, theta)最大化；
（3）最大化后驗(yàn)概率，即使得概率p(theta | x, y)最大化，實(shí)際上也等價(jià)于帶正則化項(xiàng)的最大似然概率（詳細(xì)的數(shù)學(xué)推導(dǎo)可以參見(jiàn)Bishop 的Pattern Recognition And Machine Learning），它考慮了先驗(yàn)信息，通過(guò)對(duì)參數(shù)值的大小進(jìn)行約束來(lái)防止“過(guò)擬合”；
（4）交叉熵損失函數(shù)，衡量的是兩個(gè)分布p、q的相似性。在給定集合上兩個(gè)分布p和q的cross entropy定義如下：

其中，H(p)是p的熵，Dkl(p||q)表示KL-divergence。對(duì)于離散化的分布p和q，

在機(jī)器學(xué)習(xí)應(yīng)用中，p一般表示樣例的標(biāo)簽的真實(shí)分布，為確定值，故最小化交叉熵和最小化KL-devergence是等價(jià)的，只不過(guò)之間相差了一個(gè)常數(shù)。
值得一提的是，在分類(lèi)問(wèn)題中，交叉熵的本質(zhì)就是似然函數(shù)的最大化。證明如下：

記帶標(biāo)簽的樣例為（x, y）， 其中x表示輸入特征向量，y=[y1, y2, …, yc]表示真實(shí)標(biāo)簽的one-hot表示，y_=[y1, y2, …, yc]表示模型輸出的分布，c表示樣例輸出的類(lèi)別數(shù)，那么。
（1）對(duì)于二分類(lèi)問(wèn)題，p(x)=[1， 0]，q(x)=[y1， y2]，y1=p(y=1|x)表示模型輸出的真實(shí)概率，交叉熵H(p, q)=-（1*y1+0*y2）=-y1，顯然此時(shí)交叉熵的最小化等價(jià)于似然函數(shù)的最大化；
（2）對(duì)于多分類(lèi)問(wèn)題， 假設(shè)p(x)=[0, 0, 0, …, 1, 0, 0]，q(x)=[y1, y2, y3, …, yk, y(k+1), y(k+2)]，即表示真實(shí)樣例標(biāo)簽為第k類(lèi)，yk=p(y=k|x)表示模型輸出為第k類(lèi)的概率，交叉熵H(p,q)=-(0*y1+0*y2+0*y3+…+1*yk+0*y(k+1)+0*y(k+2)) = -yk， 此時(shí)同上。


數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢(xún)
客服在線
立即咨詢(xún)
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶(hù)后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見(jiàn)：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }