1.增加訓練數據數

過擬合是由于模型學習到了數據的一些噪聲特征導致，增加訓練數據的量能夠減少噪聲的影響，讓模型更多地學習數據的一般特征。

利用現(xiàn)有數據進行擴充或許也是一個好辦法。例如在圖像識別中，如果沒有足夠的圖片訓練，可以把已有的圖片進行旋轉，拉伸，鏡像，對稱等，這樣就可以把數據量擴大好幾倍而不需要額外補充數據。一般有以下方法：

• 從數據源頭采集更多數據
• 復制原有數據并加上隨機噪聲
• 重采樣
• 根據當前數據集估計數據分布參數，使用該分布產生更多數據等

2.使用正則化約束

使用正則化緩解過擬合的手段廣泛應用，不論是在線性回歸還是在神經網絡的梯度下降計算過程中，都應用到了正則化的方法。常用的正則化有l(wèi)1l1正則和l2l2正則。

3.減少特征數

欠擬合需要增加特征數，那么過擬合自然就要減少特征數。去除那些非共性特征，可以提高模型的泛化能力。

4.調整參數和超參數

不論什么情況，調參是必須的。

5.降低模型的復雜度

6.遷移學習

當你的數據集比較小，訓練的網絡過擬合，泛化能力比較差，你也可以不用大的數據集再去訓練，可以采用遷移學習，即fine-tuning一個既成的網絡。對于小型的數據集訓練，只需要freeze前面的網絡參數，然后單獨學習最后的全連接層。如果你有更多的數據，那么可以逐漸訓練更多的最后幾層的網絡。