1.增加訓(xùn)練數(shù)據(jù)數(shù)

過擬合是由于模型學(xué)習(xí)到了數(shù)據(jù)的一些噪聲特征導(dǎo)致，增加訓(xùn)練數(shù)據(jù)的量能夠減少噪聲的影響，讓模型更多地學(xué)習(xí)數(shù)據(jù)的一般特征。

利用現(xiàn)有數(shù)據(jù)進(jìn)行擴(kuò)充或許也是一個(gè)好辦法。例如在圖像識(shí)別中，如果沒有足夠的圖片訓(xùn)練，可以把已有的圖片進(jìn)行旋轉(zhuǎn)，拉伸，鏡像，對(duì)稱等，這樣就可以把數(shù)據(jù)量擴(kuò)大好幾倍而不需要額外補(bǔ)充數(shù)據(jù)。一般有以下方法：

• 從數(shù)據(jù)源頭采集更多數(shù)據(jù)
• 復(fù)制原有數(shù)據(jù)并加上隨機(jī)噪聲
• 重采樣
• 根據(jù)當(dāng)前數(shù)據(jù)集估計(jì)數(shù)據(jù)分布參數(shù)，使用該分布產(chǎn)生更多數(shù)據(jù)等

2.使用正則化約束

使用正則化緩解過擬合的手段廣泛應(yīng)用，不論是在線性回歸還是在神經(jīng)網(wǎng)絡(luò)的梯度下降計(jì)算過程中，都應(yīng)用到了正則化的方法。常用的正則化有l(wèi)1l1正則和l2l2正則。

3.減少特征數(shù)

欠擬合需要增加特征數(shù)，那么過擬合自然就要減少特征數(shù)。去除那些非共性特征，可以提高模型的泛化能力。

4.調(diào)整參數(shù)和超參數(shù)

不論什么情況，調(diào)參是必須的。

5.降低模型的復(fù)雜度

6.遷移學(xué)習(xí)

當(dāng)你的數(shù)據(jù)集比較小，訓(xùn)練的網(wǎng)絡(luò)過擬合，泛化能力比較差，你也可以不用大的數(shù)據(jù)集再去訓(xùn)練，可以采用遷移學(xué)習(xí)，即fine-tuning一個(gè)既成的網(wǎng)絡(luò)。對(duì)于小型的數(shù)據(jù)集訓(xùn)練，只需要freeze前面的網(wǎng)絡(luò)參數(shù)，然后單獨(dú)學(xué)習(xí)最后的全連接層。如果你有更多的數(shù)據(jù)，那么可以逐漸訓(xùn)練更多的最后幾層的網(wǎng)絡(luò)。