前面小編給大家簡(jiǎn)單介紹過(guò)損失函數(shù)，今天給大家繼續(xù)分享交叉熵損失函數(shù)，直接來(lái)看干貨吧。

一、交叉熵損失函數(shù)概念

交叉熵損失函數(shù)CrossEntropy Loss，是分類問(wèn)題中經(jīng)常使用的一種損失函數(shù)。公式為：

接下來(lái)了解一下交叉熵：交叉熵Cross Entropy，是Shannon信息論中一個(gè)重要概念，主要用于度量?jī)蓚€(gè)概率分布間的差異性信息。在信息論中，交叉熵是表示兩個(gè)概率分布p,q，其中p表示真實(shí)分布，q表示非真實(shí)分布，在相同的一組事件中，其中，用非真實(shí)分布q來(lái)表示某個(gè)事件發(fā)生所需要的平均比特?cái)?shù)。

交叉熵的計(jì)算方式如下：

交叉熵可在機(jī)器學(xué)習(xí)中作為損失函數(shù)，p代表真實(shí)標(biāo)記的分布，q則代表訓(xùn)練后的模型的預(yù)測(cè)標(biāo)記分布，交叉熵損失函數(shù)可以衡量p與q的相似性。交叉熵作為損失函數(shù)還有一個(gè)好處是：使用sigmoid函數(shù)在梯度下降時(shí)，可以避免均方誤差損失函數(shù)學(xué)習(xí)速率下降的問(wèn)題，這是因?yàn)閷W(xué)習(xí)速率是能夠被輸出的誤差所控制的。

二、交叉熵?fù)p失函原理

一般我們學(xué)習(xí)交叉熵損失函數(shù)是在二元分類情況下，就比如邏輯回歸「Logistic Regression」、神經(jīng)網(wǎng)絡(luò)「Neural Network」等，其真實(shí)樣本的標(biāo)簽為 [0.1]，分別表示負(fù)類和正類。模型的最后通常會(huì)經(jīng)過(guò)一個(gè) Sigmoid 函數(shù)，輸出一個(gè)概率值，這個(gè)概率值反映了預(yù)測(cè)為正類的可能性：概率越大，可能性越大。

其中s是模型上一層的輸出，sigmoid函數(shù)有這樣的特點(diǎn)：s = 0 時(shí)，g(s) = 0.5; s >> 0 時(shí)，g ≈ 1.s << 0 時(shí)，g ≈ 0.顯然，g(s) 將前一級(jí)的線性輸出映射到[0. 1]之間的數(shù)值概率上，這里g(s)就是交叉熵公式中的模型預(yù)測(cè)輸出。

預(yù)測(cè)輸出也就是， Sigmoid 函數(shù)的輸出，表示當(dāng)前樣本標(biāo)簽為 1 的概率：

y^=P(y=1|x)

那么，當(dāng)前樣本標(biāo)簽為 0 的概率就可以表示為：

1?y^=P(y=0|x)

從極大似然性的角度考慮，將上面兩種情況進(jìn)行整合：

也就是：

當(dāng)真實(shí)樣本標(biāo)簽 y = 0 時(shí)，上面式子第一項(xiàng)就為 1.概率等式轉(zhuǎn)化為：

P(y=0|x)=1?y^

當(dāng)真實(shí)樣本標(biāo)簽 y = 1 時(shí)，上面式子第二項(xiàng)就為 1.概率等式轉(zhuǎn)化為：

P(y=1|x)=y^

這兩種情況下的概率表達(dá)式跟原來(lái)的完全相同，只是將兩種情況進(jìn)行了整合。

接下來(lái)我們重點(diǎn)看一下整合之后的概率表達(dá)式，概率 P(y|x) 越大越好。因?yàn)?log 運(yùn)算并不會(huì)影響函數(shù)本身的單調(diào)性，所以 將log 函數(shù)引入P(y|x)。于是就有：

log P(y|x)=log(y^y?(1?y^)1?y)=ylog y^+(1?y)log(1?y^)

log P(y|x) 越大越好，反過(guò)來(lái)說(shuō)也就是，只需要 log P(y|x) 的負(fù)值 -log P(y|x) 越小就可以了。引入損失函數(shù)，而且使得 Loss = -log P(y|x)即可。那么就能得到損失函數(shù)為：

如果是計(jì)算N個(gè)樣本的總損失函數(shù)的情況，則只需要將N個(gè)Loss疊加起來(lái)

三、交叉熵損失函數(shù)的優(yōu)缺點(diǎn)分析

1.使用邏輯函數(shù)得到概率，并結(jié)合交叉熵當(dāng)損失函數(shù)時(shí)，當(dāng)模型效果差的時(shí)，學(xué)習(xí)速度較快，模型效果好時(shí)，學(xué)習(xí)速度會(huì)變慢。

2.采用了類間競(jìng)爭(zhēng)機(jī)制，比較擅長(zhǎng)于學(xué)習(xí)類間的信息，但是只關(guān)心對(duì)于正確標(biāo)簽預(yù)測(cè)概率的準(zhǔn)確性，而忽略了其他非正確標(biāo)簽的差異，從而導(dǎo)致學(xué)習(xí)到的特征比較散。

以上就是小編今天跟大家分享的關(guān)于交叉熵損失函數(shù)概念和原理的相關(guān)介紹，希望對(duì)于大家有所幫助。

相信讀完上文，你對(duì)算法已經(jīng)有了全面認(rèn)識(shí)。若想進(jìn)一步探索機(jī)器學(xué)習(xí)的前沿知識(shí)，強(qiáng)烈推薦機(jī)器學(xué)習(xí)之半監(jiān)督學(xué)習(xí)課程。

學(xué)習(xí)入口：https://edu.cda.cn/goods/show/3826?targetId=6730&preview=0
涵蓋核心算法，結(jié)合多領(lǐng)域?qū)崙?zhàn)案例，還會(huì)持續(xù)更新，無(wú)論是新手入門(mén)還是高手進(jìn)階都很合適。趕緊點(diǎn)擊鏈接開(kāi)啟學(xué)習(xí)吧！