關(guān)于神經(jīng)網(wǎng)絡(luò)中過擬合的問題

在訓(xùn)練的時(shí)候你的模型是否會(huì)出現(xiàn)訓(xùn)練時(shí)速度很慢？或者預(yù)測結(jié)果與訓(xùn)練結(jié)果相差過大的現(xiàn)象？那我們可能就需要處理一下過擬合的問題了。

首先看一下overfitting維基百科上的一些信息：
Overfitting occurs when a model is excessively complex, such as having too many parameters relative to the number of observations. A model that has been overfit has poor predictive performance, as it overreacts to minor fluctuations in the training data.

In particular, a model is typically trained by maximizing its performance on some set of training data. However, its efficacy is determined not by its performance on the training data but by its ability to perform well on unseen data

The potential for overfitting depends not only on the number of parameters and data but also the conformability of the model structure with the data shape, and the magnitude of model error compared to the expected level of noise or error in the data.
從以上兩段可以稍微總結(jié)一下，當(dāng)你的模型過于復(fù)雜時(shí)，比如說輸入?yún)?shù)過多，你的模型就會(huì)出現(xiàn)過擬合問題，該模型雖然會(huì)在訓(xùn)練集上表現(xiàn)出較好的預(yù)測結(jié)果，然而！在預(yù)測的時(shí)候呢？預(yù)測結(jié)果就會(huì)表現(xiàn)的很差。根據(jù)維基的定義以及我平時(shí)的一些實(shí)驗(yàn)總結(jié)，當(dāng)你observation 的noise 過多，輸入維度過大，都可能會(huì)導(dǎo)致overfitting。

解決辦法就是我們可以啟用交叉驗(yàn)證（cross-validation），正則化（regularization），Early Stopping，剪枝（pruning），Bayesian priors這幾種方法。

先說cross-validation：
cross-validation 的原理就是現(xiàn)在它的一個(gè)子集上做訓(xùn)練，這個(gè)子集就是訓(xùn)練集，再用驗(yàn)證集測試所訓(xùn)練出的模型，來評(píng)價(jià)模型的性能和指標(biāo)，最后再用測試集來預(yù)測。

Early Stopping就是在每次訓(xùn)練的epoch結(jié)束時(shí)，將計(jì)算出的accuracy 跟上一次的進(jìn)行比較，如果accuracy 不再變化，那么停止訓(xùn)練。

下面主要說下regularization在NN中的作用：

模型假設(shè)三層，輸入，隱藏，輸出。輸入層為2個(gè)神經(jīng)元，輸出為2個(gè)，batchsize為10，下圖為當(dāng)隱藏層神經(jīng)元個(gè)數(shù)分別設(shè)置為3,6,20時(shí)，模型的情況：
 
注意看當(dāng)隱藏神經(jīng)元為20時(shí)，模型的狀況，每個(gè)紅色的點(diǎn)都被完美的歸類，沒錯(cuò)，這在訓(xùn)練時(shí)結(jié)果是很好，但是在測試集的表現(xiàn)呢？這就不一定了，誰能保證自己的訓(xùn)練結(jié)每點(diǎn)噪聲呢？是不是？所以用這個(gè)模型去預(yù)測未知的，就可能造成預(yù)測結(jié)果很差，這就是NN的overfitting問題。

所以一般大部分情況，我們?cè)谡{(diào)試模型時(shí)很多時(shí)候是在跟overfitting做斗爭。關(guān)于regularization方法。

簡單來說就是在目標(biāo)函數(shù)上加一個(gè)λ

使之變成Error+λf(θ)，λ用來懲罰那些權(quán)重很大的向量,稱之為正則系數(shù)吧！λ=0

就意味著沒有采用regularization來預(yù)防overfitting。

regularization 有 L1 regularization和L2 regularization。如果你想知道哪一個(gè)特征對(duì)最后的結(jié)果產(chǎn)生了比較大的影響，可以采用L1 regularization，如果你不那么在意對(duì)特征的分析，那就用L2 regularization吧。