損失函數(shù)（Loss Function ）是定義在單個(gè)樣本上的，算的是一個(gè)樣本的誤差。

代價(jià)函數(shù)（Cost Function ）是定義在整個(gè)訓(xùn)練集上的，是所有樣本誤差的平均，也就是損失函數(shù)的平均。

目標(biāo)函數(shù)（Object Function）定義為：最終需要優(yōu)化的函數(shù)。等于經(jīng)驗(yàn)風(fēng)險(xiǎn)+結(jié)構(gòu)風(fēng)險(xiǎn)（也就是Cost Function + 正則化項(xiàng)）。

PS：關(guān)于目標(biāo)函數(shù)和代價(jià)函數(shù)的區(qū)別還有一種通俗的區(qū)別：目標(biāo)函數(shù)是最大化或者最小化，而代價(jià)函數(shù)是最小化。

舉個(gè)例子解釋一下:（圖片來(lái)自Andrew Ng Machine Learning公開(kāi)課視頻）

上面三個(gè)圖的函數(shù)依次為, , 。我們是想用這三個(gè)函數(shù)分別來(lái)擬合Price，Price的真實(shí)值記為。

我們給定，這三個(gè)函數(shù)都會(huì)輸出一個(gè) ,這個(gè)輸出的 與真實(shí)值 可能是相同的，也可能是不同的，為了表示我們擬合的好壞，我們就用一個(gè)函數(shù)來(lái)度量擬合的程度，比如： ，這個(gè)函數(shù)就稱為損失函數(shù)(loss function)，或者叫代價(jià)函數(shù)(cost function)（有的地方將損失函數(shù)和代價(jià)函數(shù)沒(méi)有細(xì)分也就是兩者等同的）。損失函數(shù)越小，就代表模型擬合的越好。

那是不是我們的目標(biāo)就只是讓loss function越小越好呢？還不是。

這個(gè)時(shí)候還有一個(gè)概念叫風(fēng)險(xiǎn)函數(shù)(risk function)。風(fēng)險(xiǎn)函數(shù)是損失函數(shù)的期望，這是由于我們輸入輸出的 遵循一個(gè)聯(lián)合分布，但是這個(gè)聯(lián)合分布是未知的，所以無(wú)法計(jì)算。但是我們是有歷史數(shù)據(jù)的，就是我們的訓(xùn)練集， 關(guān)于訓(xùn)練集的平均損失稱作經(jīng)驗(yàn)風(fēng)險(xiǎn)(empirical risk)，即 ，所以我們的目標(biāo)就是最小化 ，

稱為經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。

如果到這一步就完了的話，那我們看上面的圖，那肯定是最右面的 的經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)最小了，因?yàn)樗鼘?duì)歷史的數(shù)據(jù)擬合的最好嘛。但是我們從圖上來(lái)看肯定不是最好的，因?yàn)樗^(guò)度學(xué)習(xí)歷史數(shù)據(jù)，導(dǎo)致它在真正預(yù)測(cè)時(shí)效果會(huì)很不好，這種情況稱為過(guò)擬合(over-fitting)。

為什么會(huì)造成這種結(jié)果？大白話說(shuō)就是它的函數(shù)太復(fù)雜了，都有四次方了，這就引出了下面的概念，我們不僅要讓經(jīng)驗(yàn)風(fēng)險(xiǎn)盡量小，還要讓結(jié)構(gòu)風(fēng)險(xiǎn)盡量小。。這個(gè)時(shí)候就定義了一個(gè)函數(shù) ，這個(gè)函數(shù)專門用來(lái)度量模型的復(fù)雜度，在機(jī)器學(xué)習(xí)中也叫正則化(regularization)。常用的有 , 范數(shù)。

到這一步我們就可以說(shuō)我們最終的優(yōu)化函數(shù)是： ，即最優(yōu)化經(jīng)驗(yàn)風(fēng)險(xiǎn)和結(jié)構(gòu)風(fēng)險(xiǎn)，而這個(gè)函數(shù)就被稱為目標(biāo)函數(shù)。

結(jié)合上面的例子來(lái)分析：最左面的 結(jié)構(gòu)風(fēng)險(xiǎn)最小（模型結(jié)構(gòu)最簡(jiǎn)單），但是經(jīng)驗(yàn)風(fēng)險(xiǎn)最大（對(duì)歷史數(shù)據(jù)擬合的最差）；最右面的 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小（對(duì)歷史數(shù)據(jù)擬合的最好），但是結(jié)構(gòu)風(fēng)險(xiǎn)最大（模型結(jié)構(gòu)最復(fù)雜）;而 達(dá)到了二者的良好平衡，最適合用來(lái)預(yù)測(cè)未知數(shù)據(jù)集。