過擬合是指為了得到一致假設(shè)而使假設(shè)變得過度嚴(yán)格。避免過擬合是分類器設(shè)計中的一個核心任務(wù)。通常采用增大數(shù)據(jù)量和測試樣本集的方法對分類器性能進(jìn)行評價。

給定一個假設(shè)空間H，一個假設(shè)h屬于H，如果存在其他的假設(shè)h’屬于H,使得在訓(xùn)練樣例上h的錯誤率比h’小，但在整個實例分布上h’比h的錯誤率小，那么就說假設(shè)h過度擬合訓(xùn)練數(shù)據(jù)。

常見原因：

（1）建模樣本選取有誤，如樣本數(shù)量太少，選樣方法錯誤，樣本標(biāo)簽錯誤等，導(dǎo)致選取的樣本數(shù)據(jù)不足以代表預(yù)定的分類規(guī)則；

（2）樣本噪音干擾過大，使得機(jī)器將部分噪音認(rèn)為是特征從而擾亂了預(yù)設(shè)的分類規(guī)則；

（3）假設(shè)的模型無法合理存在，或者說是假設(shè)成立的條件實際并不成立；

（4）參數(shù)太多，模型復(fù)雜度過高；

（5）對于決策樹模型，如果我們對于其生長沒有合理的限制，其自由生長有可能使節(jié)點只包含單純的事件數(shù)據(jù)(event)或非事件數(shù)據(jù)(no event)，使其雖然可以完美匹配（擬合）訓(xùn)練數(shù)據(jù)，但是無法適應(yīng)其他數(shù)據(jù)集。

（6）對于神經(jīng)網(wǎng)絡(luò)模型：a)對樣本數(shù)據(jù)可能存在分類決策面不唯一，隨著學(xué)習(xí)的進(jìn)行,，BP算法使權(quán)值可能收斂過于復(fù)雜的決策面；b)權(quán)值學(xué)習(xí)迭代次數(shù)足夠多(Overtraining)，擬合了訓(xùn)練數(shù)據(jù)中的噪聲和訓(xùn)練樣例中沒有代表性的特征。

解決方法：

（1）在神經(jīng)網(wǎng)絡(luò)模型中，可使用權(quán)值衰減的方法，即每次迭代過程中以某個小因子降低每個權(quán)值。

（2）選取合適的停止訓(xùn)練標(biāo)準(zhǔn)，使對機(jī)器的訓(xùn)練在合適的程度；

（3）保留驗證數(shù)據(jù)集，對訓(xùn)練成果進(jìn)行驗證；

（4）獲取額外數(shù)據(jù)進(jìn)行交叉驗證；

（5）正則化，即在進(jìn)行目標(biāo)函數(shù)或代價函數(shù)優(yōu)化時，在目標(biāo)函數(shù)或代價函數(shù)后面加上一個正則項，一般有L1正則與L2正則等。