很多參數(shù)估計(jì)問(wèn)題均采用似然函數(shù)作為目標(biāo)函數(shù)，當(dāng)訓(xùn)練數(shù)據(jù)足夠多時(shí)，可以不斷提高模型精度，但是以提高模型復(fù)雜度為代價(jià)的，同時(shí)帶來(lái)一個(gè)機(jī)器學(xué)習(xí)中非常普遍的問(wèn)題——過(guò)擬合。所以，模型選擇問(wèn)題在模型復(fù)雜度與模型對(duì)數(shù)據(jù)集描述能力（即似然函數(shù)）之間尋求最佳平衡。

人們提出許多信息準(zhǔn)則，通過(guò)加入模型復(fù)雜度的懲罰項(xiàng)來(lái)避免過(guò)擬合問(wèn)題，此處我們介紹一下常用的兩個(gè)模型選擇方法——赤池信息準(zhǔn)則（Akaike Information Criterion，AIC）和貝葉斯信息準(zhǔn)則（Bayesian Information Criterion，BIC）。

AIC是衡量統(tǒng)計(jì)模型擬合優(yōu)良性的一種標(biāo)準(zhǔn)，由日本統(tǒng)計(jì)學(xué)家赤池弘次在1974年提出，它建立在熵的概念上，提供了權(quán)衡估計(jì)模型復(fù)雜度和擬合數(shù)據(jù)優(yōu)良性的標(biāo)準(zhǔn)。

通常情況下，AIC定義為：

其中k是模型參數(shù)個(gè)數(shù)，L是似然函數(shù)。從一組可供選擇的模型中選擇最佳模型時(shí)，通常選擇AIC最小的模型。

當(dāng)兩個(gè)模型之間存在較大差異時(shí)，差異主要體現(xiàn)在似然函數(shù)項(xiàng)，當(dāng)似然函數(shù)差異不顯著時(shí)，上式第一項(xiàng)，即模型復(fù)雜度則起作用，從而參數(shù)個(gè)數(shù)少的模型是較好的選擇。一般而言，當(dāng)模型復(fù)雜度提高（k增大）時(shí)，似然函數(shù)L也會(huì)增大，從而使AIC變小，但是k過(guò)大時(shí)，似然函數(shù)增速減緩，導(dǎo)致AIC增大，模型過(guò)于復(fù)雜容易造成過(guò)擬合現(xiàn)象。目標(biāo)是選取AIC最小的模型，AIC不僅要提高模型擬合度（極大似然），而且引入了懲罰項(xiàng)，使模型參數(shù)盡可能少，有助于降低過(guò)擬合的可能性。