前面文章小編簡單給大家介紹了泛化能力的一些基礎(chǔ)知識，今天給大家?guī)淼氖翘岣吣Ｐ?a href='/map/fanhuanengli/' style='color:#000;font-size:inherit;'>泛化能力的方法--正則化。

一、首先來回顧一下什么是泛化能力

泛化能力(generalization ability)，百科給出的定義是：機器學(xué)習(xí)算法對新鮮樣本的適應(yīng)能力。學(xué)習(xí)的目的是學(xué)到隱含在數(shù)據(jù)對背后的規(guī)律，對具有同一規(guī)律的學(xué)習(xí)集以外的數(shù)據(jù)，經(jīng)過訓(xùn)練的網(wǎng)絡(luò)也能給出合適的輸出，該能力稱為泛化能力。簡單來概括一下，泛化能力就是一個機器學(xué)習(xí)算法能夠識別沒有見過的樣本的能力，通俗點說就是學(xué)以致用，舉一反三的能力。機器學(xué)習(xí)方法訓(xùn)練出一個模型，我們會希望這個模型不但是對于已知的數(shù)據(jù)(訓(xùn)練集)性能表現(xiàn)良好，而且對于未知的數(shù)據(jù)(測試集)也能夠表現(xiàn)良好，這就表明這個模型具有良好的泛化能力。在實際應(yīng)用子中，模型的過擬合(overfitting)與欠擬合(underfitting)能夠最直觀的體現(xiàn)出泛化能力的好壞。

根據(jù)泛化能力強弱，可以分為：

欠擬合：模型不能在訓(xùn)練集上獲得足夠低的誤差;

擬合：測試誤差與訓(xùn)練誤差差距較小;

過擬合：訓(xùn)練誤差和測試誤差之間的差距太大;

不收斂：模型不是根據(jù)訓(xùn)練集訓(xùn)練得到的。

二、簡單介紹正則化

正則化regularization的目標為：模型的經(jīng)驗風險和模型復(fù)雜度之和達到最小，即結(jié)構(gòu)風險達到最小。也就是正則化的目的是為了防止過擬合， 從而增強泛化能力。

我們通常將正則化定義為：對學(xué)習(xí)算法的修改，目的是減少泛化誤差而不是訓(xùn)練誤差

在訓(xùn)練次數(shù)足夠多，以及表達形式足夠復(fù)雜的情況下，訓(xùn)練誤差能夠無限小，可是這并不代表著泛化誤差的減小。相反的，一般情況下，這樣會導(dǎo)致泛化誤差的增大。最常見的例子是：真實數(shù)據(jù)的分布符合二次函數(shù)，但是欠擬合一般會將模型擬合成一次函數(shù)，而過擬合通常將模型擬合成高次函數(shù)。根據(jù)奧卡姆剃須原則：在盡可能符合數(shù)據(jù)原始分布的基礎(chǔ)上，更加平滑、簡單的模型，往往更加符合數(shù)據(jù)的真實特征。所以，我們必須采用采用某種約束，這也就引出了的正則化。

三、正則化---提高模型的泛化能力

按策略正則化可以分為以下三類：

(一)　經(jīng)驗正則化：利用工程上的技巧，實現(xiàn)更低的泛化誤差，例如：提前終止法、模型集成、Dropout等;

1.提前終止(earlystop)

一種最簡單的正則化方法，在泛化誤差指標不再提升后，提前結(jié)束訓(xùn)練

2.模型集成(ensemable))

通過訓(xùn)練多個模型來完成該任務(wù)，這些模型可以是不同的網(wǎng)絡(luò)結(jié)構(gòu)，不同的初始化方法，不同的數(shù)據(jù)集訓(xùn)練出來的，也可以是采用不同的測試圖片處理方法。總結(jié)來說就是，利用多個模型進行投票的策略

3.Dropout移除一部分神經(jīng)元

Dropout采用的是"綜合起來取平均”的策略，來防止過擬合問題。不同的網(wǎng)絡(luò)會產(chǎn)生不同的過擬合問題，取平均會讓一些“相反的”擬合有互相抵消的可能，整個Dropout過程就相當于 對很多個不同的神經(jīng)網(wǎng)絡(luò)取平均。而且因為dropout程序?qū)е聝蓚€神經(jīng)元不一定每次都在一個dropout網(wǎng)絡(luò)中出現(xiàn)，這樣會減少神經(jīng)元之間復(fù)雜的共適應(yīng)關(guān)系

(二)參數(shù)正則化：直接提供正則化約束，例如：L1/L2正則化法等;

L1/L2正則化方法，就是最常用的正則化方法，它直接來自于傳統(tǒng)的機器學(xué)習(xí)。

L1正則化：

L2正則化：

(三)隱式正則化：不直接提供約束，例如：數(shù)據(jù)有關(guān)的操作，包括歸一化、數(shù)據(jù)增強、擾亂標簽等。