偏差與方差是我們在機器學習中經(jīng)常遇到的兩個概念，而且在有關(guān)機器學習的面試中，偏差與方差也經(jīng)常拿來考驗面試者的機器學習的基礎(chǔ)知識。偏差與方差這兩者看似簡單，但要真正弄清楚兩者之間的聯(lián)系與區(qū)別，必須要下大功夫才可以。今天小編就為大家整理、分享偏差與方差的那些聯(lián)系與區(qū)別。希望對大家有所幫助。

一、偏差和方差的概念

機器學習中，當我們用訓練數(shù)據(jù)集去訓練一個模型時，一般的做法就是定義一個誤差函數(shù)，通過將這個誤差的最小化過程，以此來提高模型的性能。但是，我們學習一個模型通常是為了解決訓練數(shù)據(jù)集這一領(lǐng)域中的一般化問題，因此單純地將訓練數(shù)據(jù)集的損失最小化，并不能保證在解決更為一般的問題時，模型仍然是最優(yōu)的，甚至連保證模型是否可用都不能保證。這個訓練數(shù)據(jù)集的損失，與一般化的數(shù)據(jù)集的損失之間的差異，也就是泛化誤差generalization error。而泛化誤差又可以分解為以下三項：

偏差(Biase)、方差(Variance)和噪聲(Noise)。

偏差Biase：描述的是所有可能的訓練數(shù)據(jù)集訓練出的所有模型的輸出的平均值與真實模型的輸出值之間的差異。偏差越大，越偏離真實數(shù)據(jù)，如上圖第二行所示。

方差Variance：描述的是不同的訓練數(shù)據(jù)集訓練出的模型輸出值之間的差異，也就是離其期望值的距離。方差越大，數(shù)據(jù)的分布越分散，如上圖右列所示。

噪聲Noise：是學習算法所無法解決的問題，數(shù)據(jù)的質(zhì)量決定了學習的上限。假設(shè)在數(shù)據(jù)已經(jīng)給定的情況下，此時學習的上限已經(jīng)確定，而這時我們需要做的就是盡可能的接近這個上限。

二、偏差與方差的數(shù)學定義

泛化誤差

以回歸任務(wù)為例, 學習算法的平方預(yù)測誤差期望為:

方差

在一個訓練集 D 上模型 f 對測試樣本 x 的預(yù)測輸出為 f(x;D), 那么學習算法 f 對測試樣本 x 的 期望預(yù)測 為:

上面的期望預(yù)測也就是針對 不同 數(shù)據(jù)集 D, f 對 x 的預(yù)測值取其期望, 也被叫做 average predicted。

使用樣本數(shù)相同的不同訓練集產(chǎn)生的方差為:

噪聲

噪聲為真實標記與數(shù)據(jù)集中的實際標記間的偏差:

偏差

期望預(yù)測與真實標記的誤差稱為偏差(bias), 為了方便起見, 我們直接取偏差的平方:

我們回憶下剛才提到的泛化誤差：

現(xiàn)在對該期望泛化誤差進行分解:

對最終的推導結(jié)果稍作整理:

三、學習曲線

高偏差與高方差

我們通常用使用代價函數(shù)J，也就是平方差函數(shù)，來評價數(shù)據(jù)擬合程度好壞。在只關(guān)注Jtrain(θ)(訓練集誤差)的情況下，通常會導致過擬合，因此也必須要關(guān)注Jcv(θ)也就是交叉驗證集誤差。學習曲線 的橫軸是樣本數(shù)，縱軸為 訓練集 和 交叉驗證集 的 誤差。

高偏差：高偏差情況下，Jtrain(θ)和Jcv(θ)誤差都很大，并且Jtrain很接近Jcv(θ)。對應(yīng)欠擬合。

高方差：Jtrain(θ)較小，Jcv(θ)誤差很大。對應(yīng)過擬合。

在實際優(yōu)化情況下，更多的是對防止過擬合參數(shù)λ的調(diào)整，λ對應(yīng)的是正則化系數(shù)，λ越大，代表著對過擬合的限制越強。下圖就是λ和，Jtrain(θ)和Jcv(θ)理想曲線。

推薦學習書籍
《CDA一級教材》適合CDA一級考生備考，也適合業(yè)務(wù)及數(shù)據(jù)分析崗位的從業(yè)者提升自我。完整電子版已上線CDA網(wǎng)校，累計已有10萬+在讀~

免費加入閱讀：https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0