機(jī)器學(xué)習(xí)中的常見問題—損失函數(shù)

一、分類算法中的損失函數(shù)

在分類算法中，損失函數(shù)通?？梢员硎境蓳p失項(xiàng)和正則項(xiàng)的和，即有如下的形式：

其中，L(mi(w))為損失項(xiàng)，R(w)為正則項(xiàng)。mi的具體形式如下：

對于損失項(xiàng)，主要的形式有：

0-1損失

Log損失

Hinge損失

指數(shù)損失

感知損失

1、0-1損失函數(shù)

在分類問題中，可以使用函數(shù)的正負(fù)號來進(jìn)行模式判斷，函數(shù)值本身的大小并不是很重要，0-1損失函數(shù)比較的是預(yù)測值fw(x(i))與真實(shí)值y(i)的符號是否相同，0-1損失的具體形式如下：

以上的函數(shù)等價于下述的函數(shù)：

0-1損失并不依賴m值的大小，只取決于m的正負(fù)號。0-1損失是一個非凸的函數(shù)，在求解的過程中，存在很多的不足，通常在實(shí)際的使用中將0-1損失函數(shù)作為一個標(biāo)準(zhǔn)，選擇0-1損失函數(shù)的代理函數(shù)作為損失函數(shù)。

2、Log損失函數(shù)

2.1、Log損失

Log損失是0-1損失函數(shù)的一種代理函數(shù)，Log損失的具體形式如下：

運(yùn)用Log損失的典型分類器是Logistic回歸算法。

2.2、Logistic回歸算法的損失函數(shù)

對于Logistic回歸算法，分類器可以表示為：

為了求解其中的參數(shù)w，通常使用極大似然估計的方法，具體的過程如下：

1、似然函數(shù)

其中，

2、log似然

3、需要求解的是使得log似然取得最大值的w。將其改變?yōu)樽钚≈?，可以得到如下的形式?

2.3、兩者的等價

由于Log損失的具體形式為：

Logistic回歸與Log損失具有相同的形式，故兩者是等價的。Log損失與0-1損失的關(guān)系可見下圖。

3、Hinge損失函數(shù)

3.1、Hinge損失

Hinge損失是0-1損失函數(shù)的一種代理函數(shù)，Hinge損失的具體形式如下：

運(yùn)用Hinge損失的典型分類器是SVM算法。

3.2、SVM的損失函數(shù)

對于軟間隔支持向量機(jī)，允許在間隔的計算中出現(xiàn)少許的誤差，其優(yōu)化的目標(biāo)為：

約束條件為：

3.3、兩者的等價

對于Hinge損失：

優(yōu)化的目標(biāo)是要求：

在上述的函數(shù)中引入截距γ，即：

并在上述的最優(yōu)化問題中增加L2正則，即變成：

至此，令下面的不等式成立：

約束條件為

則Hinge最小化問題變成：

約束條件為：

這與軟間隔的SVM是一致的，說明軟間隔SVM是在Hinge損失的基礎(chǔ)上增加了L2正則。

4、指數(shù)損失

4.1、指數(shù)損失

指數(shù)損失是0-1損失函數(shù)的一種代理函數(shù)，指數(shù)損失的具體形式如下：

運(yùn)用指數(shù)損失的典型分類器是AdaBoost算法。

4.2、AdaBoost基本原理

AdaBoost算法是對每一個弱分類器以及每一個樣本都分配了權(quán)重，對于弱分類器φj的權(quán)重為：

其中，表示的是誤分類率。對于每一個樣本的權(quán)重為：

最終通過對所有分類器加權(quán)得到最終的輸出。

4.3、兩者的等價

對于指數(shù)損失函數(shù)：

可以得到需要優(yōu)化的損失函數(shù)：

假設(shè)f~表示已經(jīng)學(xué)習(xí)好的函數(shù)，則有：

而：

通過最小化φ，可以得到：

將其代入上式，進(jìn)而對θ求最優(yōu)解，得：

其中，

可以發(fā)現(xiàn)，其與AdaBoost是等價的。

5、感知損失

5.1、感知損失

感知損失是Hinge損失的一個變種，感知損失的具體形式如下：

運(yùn)用感知損失的典型分類器是感知機(jī)算法。

5.2、感知機(jī)算法的損失函數(shù)

感知機(jī)算法只需要對每個樣本判斷其是否分類正確，只記錄分類錯誤的樣本，其損失函數(shù)為：

5.3、兩者的等價

對于感知損失：

優(yōu)化的目標(biāo)為：

在上述的函數(shù)中引入截距b，即：

上述的形式轉(zhuǎn)變?yōu)椋?

對于max函數(shù)中的內(nèi)容，可知：

對于錯誤的樣本，有：

類似于Hinge損失，令下式成立：

約束條件為：

則感知損失變成：

即為：

Hinge損失對于判定邊界附近的點(diǎn)的懲罰力度較高，而感知損失只要樣本的類別判定正確即可，而不需要其離判定邊界的距離，這樣的變化使得其比Hinge損失簡單，但是泛化能力沒有Hinge損失強(qiáng)。數(shù)據(jù)分析師培訓(xùn)

import matplotlib.pyplot as plt
import numpy as np

xmin, xmax = -4, 4
xx = np.linspace(xmin, xmax, 100)
plt.plot([xmin, 0, 0, xmax], [1, 1, 0, 0], 'k-', label="Zero-one loss")
plt.plot(xx, np.where(xx < 1, 1 - xx, 0), 'g-', label="Hinge loss")
plt.plot(xx, np.log2(1 + np.exp(-xx)), 'r-', label="Log loss")
plt.plot(xx, np.exp(-xx), 'c-', label="Exponential loss")
plt.plot(xx, -np.minimum(xx, 0), 'm-', label="Perceptron loss")

plt.ylim((0, 8))
plt.legend(loc="upper right")
plt.xlabel(r"Decision function $f(x)$")
plt.ylabel("$L(y, f(x))$")
plt.show()