為什么會(huì)產(chǎn)生過(guò)擬合，有哪些方法可以預(yù)防或克服過(guò)擬合？

一般在機(jī)器學(xué)習(xí)中，將學(xué)習(xí)器在訓(xùn)練集上的誤差稱為訓(xùn)練誤差或者經(jīng)驗(yàn)誤差，在新樣本上的誤差稱為泛化誤差。顯然我們希望得到泛化誤差小的學(xué)習(xí)器，但是我們事先并不知道新樣本，因此實(shí)際上往往努力使經(jīng)驗(yàn)誤差最小化。

然而，當(dāng)學(xué)習(xí)器將訓(xùn)練樣本學(xué)的太好的時(shí)候，往往可能把訓(xùn)練樣本自身的特點(diǎn)當(dāng)做了潛在樣本具有的一般性質(zhì)。這樣就會(huì)導(dǎo)致泛化性能下降，稱之為過(guò)擬合，相反，欠擬合一般指對(duì)訓(xùn)練樣本的一般性質(zhì)尚未學(xué)習(xí)好，在訓(xùn)練集上仍然有較大的誤差。

欠擬合：一般來(lái)說(shuō)欠擬合更容易解決一些，例如增加模型的復(fù)雜度，增加決策樹中的分支，增加神經(jīng)網(wǎng)絡(luò)中的訓(xùn)練次數(shù)等等。

過(guò)擬合：一般認(rèn)為過(guò)擬合是無(wú)法徹底避免的，因?yàn)闄C(jī)器學(xué)習(xí)面臨的問(wèn)題一般是np-hard,但是一個(gè)有效的解一定要在多項(xiàng)式內(nèi)可以工作，所以會(huì)犧牲一些泛化能力。過(guò)擬合的解決方案一般有增加樣本數(shù)量，對(duì)樣本進(jìn)行降維，降低模型復(fù)雜度，利用先驗(yàn)知識(shí)(L1,L2正則化)，利用cross-validation，early stopping等等。