偏差與方差是我們?cè)?a href='/map/jiqixuexi/' style='color:#000;font-size:inherit;'>機(jī)器學(xué)習(xí)中經(jīng)常遇到的兩個(gè)概念，而且在有關(guān)機(jī)器學(xué)習(xí)的面試中，偏差與方差也經(jīng)常拿來(lái)考驗(yàn)面試者的機(jī)器學(xué)習(xí)的基礎(chǔ)知識(shí)。偏差與方差這兩者看似簡(jiǎn)單，但要真正弄清楚兩者之間的聯(lián)系與區(qū)別，必須要下大功夫才可以。今天小編就為大家整理、分享偏差與方差的那些聯(lián)系與區(qū)別。希望對(duì)大家有所幫助。

一、偏差和方差的概念

機(jī)器學(xué)習(xí)中，當(dāng)我們用訓(xùn)練數(shù)據(jù)集去訓(xùn)練一個(gè)模型時(shí)，一般的做法就是定義一個(gè)誤差函數(shù)，通過(guò)將這個(gè)誤差的最小化過(guò)程，以此來(lái)提高模型的性能。但是，我們學(xué)習(xí)一個(gè)模型通常是為了解決訓(xùn)練數(shù)據(jù)集這一領(lǐng)域中的一般化問(wèn)題，因此單純地將訓(xùn)練數(shù)據(jù)集的損失最小化，并不能保證在解決更為一般的問(wèn)題時(shí)，模型仍然是最優(yōu)的，甚至連保證模型是否可用都不能保證。這個(gè)訓(xùn)練數(shù)據(jù)集的損失，與一般化的數(shù)據(jù)集的損失之間的差異，也就是泛化誤差generalization error。而泛化誤差又可以分解為以下三項(xiàng)：

偏差(Biase)、方差(Variance)和噪聲(Noise)。

偏差Biase：描述的是所有可能的訓(xùn)練數(shù)據(jù)集訓(xùn)練出的所有模型的輸出的平均值與真實(shí)模型的輸出值之間的差異。偏差越大，越偏離真實(shí)數(shù)據(jù)，如上圖第二行所示。

方差Variance：描述的是不同的訓(xùn)練數(shù)據(jù)集訓(xùn)練出的模型輸出值之間的差異，也就是離其期望值的距離。方差越大，數(shù)據(jù)的分布越分散，如上圖右列所示。

噪聲Noise：是學(xué)習(xí)算法所無(wú)法解決的問(wèn)題，數(shù)據(jù)的質(zhì)量決定了學(xué)習(xí)的上限。假設(shè)在數(shù)據(jù)已經(jīng)給定的情況下，此時(shí)學(xué)習(xí)的上限已經(jīng)確定，而這時(shí)我們需要做的就是盡可能的接近這個(gè)上限。

二、偏差與方差的數(shù)學(xué)定義

泛化誤差

以回歸任務(wù)為例, 學(xué)習(xí)算法的平方預(yù)測(cè)誤差期望為:

方差

在一個(gè)訓(xùn)練集 D 上模型 f 對(duì)測(cè)試樣本 x 的預(yù)測(cè)輸出為 f(x;D), 那么學(xué)習(xí)算法 f 對(duì)測(cè)試樣本 x 的 期望預(yù)測(cè) 為:

上面的期望預(yù)測(cè)也就是針對(duì) 不同 數(shù)據(jù)集 D, f 對(duì) x 的預(yù)測(cè)值取其期望, 也被叫做 average predicted。

使用樣本數(shù)相同的不同訓(xùn)練集產(chǎn)生的方差為:

噪聲

噪聲為真實(shí)標(biāo)記與數(shù)據(jù)集中的實(shí)際標(biāo)記間的偏差:

偏差

期望預(yù)測(cè)與真實(shí)標(biāo)記的誤差稱(chēng)為偏差(bias), 為了方便起見(jiàn), 我們直接取偏差的平方:

我們回憶下剛才提到的泛化誤差：

現(xiàn)在對(duì)該期望泛化誤差進(jìn)行分解:

對(duì)最終的推導(dǎo)結(jié)果稍作整理:

三、學(xué)習(xí)曲線(xiàn)

高偏差與高方差

我們通常用使用代價(jià)函數(shù)J，也就是平方差函數(shù)，來(lái)評(píng)價(jià)數(shù)據(jù)擬合程度好壞。在只關(guān)注Jtrain(θ)(訓(xùn)練集誤差)的情況下，通常會(huì)導(dǎo)致過(guò)擬合，因此也必須要關(guān)注Jcv(θ)也就是交叉驗(yàn)證集誤差。學(xué)習(xí)曲線(xiàn) 的橫軸是樣本數(shù)，縱軸為 訓(xùn)練集 和 交叉驗(yàn)證集 的 誤差。

高偏差：高偏差情況下，Jtrain(θ)和Jcv(θ)誤差都很大，并且Jtrain很接近Jcv(θ)。對(duì)應(yīng)欠擬合。

高方差：Jtrain(θ)較小，Jcv(θ)誤差很大。對(duì)應(yīng)過(guò)擬合。

在實(shí)際優(yōu)化情況下，更多的是對(duì)防止過(guò)擬合參數(shù)λ的調(diào)整，λ對(duì)應(yīng)的是正則化系數(shù)，λ越大，代表著對(duì)過(guò)擬合的限制越強(qiáng)。下圖就是λ和，Jtrain(θ)和Jcv(θ)理想曲線(xiàn)。

推薦學(xué)習(xí)書(shū)籍
《CDA一級(jí)教材》適合CDA一級(jí)考生備考，也適合業(yè)務(wù)及數(shù)據(jù)分析崗位的從業(yè)者提升自我。完整電子版已上線(xiàn)CDA網(wǎng)校，累計(jì)已有10萬(wàn)+在讀~

免費(fèi)加入閱讀：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0