
關(guān)于神經(jīng)網(wǎng)絡(luò)中過擬合的問題
在訓(xùn)練的時(shí)候你的模型是否會(huì)出現(xiàn)訓(xùn)練時(shí)速度很慢?或者預(yù)測結(jié)果與訓(xùn)練結(jié)果相差過大的現(xiàn)象?那我們可能就需要處理一下過擬合的問題了。
首先看一下overfitting維基百科上的一些信息:
Overfitting occurs when a model is excessively complex, such as having
too many parameters relative to the number of observations. A model that
has been overfit has poor predictive performance, as it overreacts to
minor fluctuations in the training data.
In particular, a model is typically trained by maximizing its performance on some set of training data. However, its efficacy is determined not by its performance on the training data but by its ability to perform well on unseen data
The potential for overfitting depends not only on the number of
parameters and data but also the conformability of the model structure
with the data shape, and the magnitude of model error compared to the
expected level of noise or error in the data.
從以上兩段可以稍微總結(jié)一下,當(dāng)你的模型過于復(fù)雜時(shí),比如說輸入?yún)?shù)過多,你的模型就會(huì)出現(xiàn)過擬合問題,該模型雖然會(huì)在訓(xùn)練集上表現(xiàn)出較好的預(yù)測結(jié)果,然而!在預(yù)測的時(shí)候呢?預(yù)測結(jié)果就會(huì)表現(xiàn)的很差。根據(jù)維基的定義以及我平時(shí)的一些實(shí)驗(yàn)總結(jié),當(dāng)你observation
的noise 過多,輸入維度過大,都可能會(huì)導(dǎo)致overfitting。
解決辦法就是我們可以啟用交叉驗(yàn)證(cross-validation),正則化(regularization),Early Stopping,剪枝(pruning),Bayesian priors這幾種方法。
先說cross-validation:
cross-validation 的原理就是現(xiàn)在它的一個(gè)子集上做訓(xùn)練,這個(gè)子集就是訓(xùn)練集,再用驗(yàn)證集測試所訓(xùn)練出的模型,來評價(jià)模型的性能和指標(biāo),最后再用測試集來預(yù)測。
Early Stopping就是在每次訓(xùn)練的epoch結(jié)束時(shí),將計(jì)算出的accuracy 跟上一次的進(jìn)行比較,如果accuracy 不再變化,那么停止訓(xùn)練。
下面主要說下regularization在NN中的作用:
模型假設(shè)三層,輸入,隱藏,輸出。輸入層為2個(gè)神經(jīng)元,輸出為2個(gè),batchsize為10,下圖為當(dāng)隱藏層神經(jīng)元個(gè)數(shù)分別設(shè)置為3,6,20時(shí),模型的情況:
注意看當(dāng)隱藏神經(jīng)元為20時(shí),模型的狀況,每個(gè)紅色的點(diǎn)都被完美的歸類,沒錯(cuò),這在訓(xùn)練時(shí)結(jié)果是很好,但是在測試集的表現(xiàn)呢?這就不一定了,誰能保證自己的訓(xùn)練結(jié)每點(diǎn)噪聲呢?是不是?所以用這個(gè)模型去預(yù)測未知的,就可能造成預(yù)測結(jié)果很差,這就是NN的overfitting問題。
所以一般大部分情況,我們在調(diào)試模型時(shí)很多時(shí)候是在跟overfitting做斗爭。關(guān)于regularization方法。
簡單來說就是在目標(biāo)函數(shù)上加一個(gè)λ
使之變成Error+λf(θ),λ用來懲罰那些權(quán)重很大的向量,稱之為正則系數(shù)吧!λ=0
就意味著沒有采用regularization來預(yù)防overfitting。
regularization 有 L1 regularization和L2 regularization。如果你想知道哪一個(gè)特征對最后的結(jié)果產(chǎn)生了比較大的影響,可以采用L1 regularization,如果你不那么在意對特征的分析,那就用L2 regularization吧。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03