神經(jīng)網(wǎng)絡(luò)測試結(jié)果很差，該怎么做

當(dāng)我們編程實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)模型，將模型用于測試集時(shí)，經(jīng)常會發(fā)現(xiàn)測試的準(zhǔn)確率非常的低，神經(jīng)網(wǎng)絡(luò)層數(shù)很深，通常我們不容易判斷具體的梯度下降求解參數(shù)的過程，那我們該怎么辦呢？從機(jī)器學(xué)習(xí)視頻中總結(jié)的辦法?。⌒〕绦蛴H身體驗(yàn)過！

首先要明白，測試集上的準(zhǔn)確率低并不一定是過擬合。有可能在訓(xùn)練集上準(zhǔn)確率就很低，也就是說你的模型壓根沒有訓(xùn)練好！！

所以：首先，要用訓(xùn)練好的模型在訓(xùn)練集上跑一遍，如果在訓(xùn)練集上準(zhǔn)確率就很低，那么就不是過擬合，而是欠擬合。

原因是在梯度下降求導(dǎo)時(shí)，卡在了local minima（在求導(dǎo)為0，是極小值）,saddle point（求導(dǎo)為0，不是極小值）,plateau（求導(dǎo)近似為0）上。

解決這個(gè)問題可以有兩個(gè)做法：1是改變激活函數(shù)；2是改變梯度下降求導(dǎo)方式；后邊會詳細(xì)講。

然后：如果在訓(xùn)練集上準(zhǔn)確率很好，在測試集上準(zhǔn)確率低，那么就是過擬合(overfitting)。

解決辦法是：1是早點(diǎn)停止梯度更新；2是更多的數(shù)據(jù)（通過數(shù)據(jù)增強(qiáng)獲得更多數(shù)據(jù)）;3是正則化（l1-torm和l2-torm）;4是Dropout方法。下邊將詳細(xì)介紹。

解決欠擬合的1方法：改變激活函數(shù)。一定程度上，欠擬合是因?yàn)榧せ詈瘮?shù)選擇了sigmoid函數(shù)。對于sigmoid函數(shù)來說，致命的問題就是梯度消失，sigmoid會衰減輸入。梯度消失的含義是：在靠近輸出層的參數(shù)更新梯度很大，在靠近輸入層的參數(shù)更新梯度很小，導(dǎo)致在學(xué)習(xí)率一致的情況下，在靠近輸出層的后幾層參數(shù)更新快，在已經(jīng)收斂的時(shí)候，靠近輸入層參數(shù)更新很慢，還是接近隨機(jī)狀態(tài)，使得靠近輸出層參數(shù)接收的input接近隨機(jī)。

我們換用RELU激活函數(shù)就可以解決梯度消失的問題。在input<0時(shí)，output = 0， 在input>0時(shí)，output = input，這樣在計(jì)算時(shí)，參數(shù)會少于整體神經(jīng)元個(gè)數(shù)，RELU計(jì)算很快。Leaky RELU、Parametric RELU等是RELU的變種，用RELU可以解決一般欠擬合。

另外maxout也是一種激活函數(shù)，RELU是maxout的一種特例，它可以實(shí)現(xiàn)每個(gè)神經(jīng)元都有自己不同的激活函數(shù)，但是maxout參數(shù)多于其他激活函數(shù)（因?yàn)槊坑幸粋€(gè)輸出，都要在一組給定數(shù)目的輸出（參數(shù)）中選擇一個(gè)最大的作為輸出，而其他的激活函數(shù)，都是給一組參數(shù)，產(chǎn)生一個(gè)輸出）。雖然參數(shù)變多了，但是在訓(xùn)練時(shí)，我們梯度下降只更新一組輸出中選出的那個(gè)輸出對應(yīng)的參數(shù)?。。?！并且訓(xùn)練集數(shù)據(jù)很多，每個(gè)數(shù)據(jù)都會梯度更新不同的參數(shù)。maxout是根據(jù)數(shù)據(jù)自動學(xué)習(xí)權(quán)重，模型參數(shù)訓(xùn)練好了，模型固定了，也就得到不同的激活函數(shù)。

解決欠擬合方法2：改變梯度下降策略；

可以嘗試其他的梯度下降函數(shù)，比如Adagrad、RMSProp、Momentum、Adam(=Momentum+RMSProp),它們按照一定權(quán)重考慮了新梯度值和舊梯度值。