無(wú)論在機(jī)器學(xué)習(xí)還是深度學(xué)習(xí)建模當(dāng)中都可能會(huì)遇到兩種最常見(jiàn)結(jié)果，一種叫過(guò)擬合（over-fitting ）另外一種叫欠擬合（under-fitting）。

首先談?wù)勈裁词沁^(guò)擬合呢？什么又是欠擬合呢？網(wǎng)上很直接的圖片理解如下：

過(guò)擬合（over-fitting）

所謂過(guò)擬合其實(shí)就是所建的機(jī)器學(xué)習(xí)模型或者是深度學(xué)習(xí)模型在訓(xùn)練樣本中表現(xiàn)得過(guò)于優(yōu)越，導(dǎo)致在驗(yàn)證數(shù)據(jù)集以及測(cè)試數(shù)據(jù)集中表現(xiàn)不佳。

打個(gè)比喻就是當(dāng)我需要建立好一個(gè)模型之后，比如是識(shí)別一只狗狗的模型，我需要對(duì)這個(gè)模型進(jìn)行訓(xùn)練。恰好，我訓(xùn)練樣本中的所有訓(xùn)練圖片都是二哈，那么經(jīng)過(guò)多次迭代訓(xùn)練之后，模型訓(xùn)練好了，并且在訓(xùn)練集中表現(xiàn)得很好?；旧隙砩系乃刑攸c(diǎn)都涵括進(jìn)去，那么問(wèn)題來(lái)了！假如我的測(cè)試樣本是一只阿拉斯加呢？將一只阿拉斯加的測(cè)試樣本放進(jìn)這個(gè)識(shí)別狗狗的模型中，很有可能模型最后輸出的結(jié)果就是阿拉斯加不是一條狗（因?yàn)檫@個(gè)模型基本上是按照二哈的特征去打造的）。所以這樣就造成了模型過(guò)擬合，雖然在訓(xùn)練集上表現(xiàn)得很好，但是在測(cè)試集中表現(xiàn)得恰好相反，在性能的角度上講就是協(xié)方差過(guò)大（variance is large），同樣在測(cè)試集上的損失函數(shù)（cost function）會(huì)表現(xiàn)得很大。

過(guò)擬合問(wèn)題，根本的原因則是特征維度過(guò)多，導(dǎo)致擬合的函數(shù)完美的經(jīng)過(guò)訓(xùn)練集，但是對(duì)新數(shù)據(jù)的預(yù)測(cè)結(jié)果則較差。

欠擬合（under-fitting）

所謂欠擬合呢（under-fitting）？相對(duì)過(guò)擬合，欠擬合還是比較容易理解。還是拿剛才的模型來(lái)說(shuō)，可能二哈被提取的特征比較少，導(dǎo)致訓(xùn)練出來(lái)的模型不能很好地匹配，表現(xiàn)得很差，甚至二哈都無(wú)法識(shí)別。

欠擬合問(wèn)題，根本的原因是特征維度過(guò)少，導(dǎo)致擬合的函數(shù)無(wú)法滿足訓(xùn)練集，誤差較大。

欠擬合問(wèn)題可以通過(guò)增加特征維度來(lái)解決。