
關于神經(jīng)網(wǎng)絡中過擬合的問題
在訓練的時候你的模型是否會出現(xiàn)訓練時速度很慢?或者預測結果與訓練結果相差過大的現(xiàn)象?那我們可能就需要處理一下過擬合的問題了。
首先看一下overfitting維基百科上的一些信息:
Overfitting occurs when a model is excessively complex, such as having
too many parameters relative to the number of observations. A model that
has been overfit has poor predictive performance, as it overreacts to
minor fluctuations in the training data.
In particular, a model is typically trained by maximizing its performance on some set of training data. However, its efficacy is determined not by its performance on the training data but by its ability to perform well on unseen data
The potential for overfitting depends not only on the number of
parameters and data but also the conformability of the model structure
with the data shape, and the magnitude of model error compared to the
expected level of noise or error in the data.
從以上兩段可以稍微總結一下,當你的模型過于復雜時,比如說輸入?yún)?shù)過多,你的模型就會出現(xiàn)過擬合問題,該模型雖然會在訓練集上表現(xiàn)出較好的預測結果,然而!在預測的時候呢?預測結果就會表現(xiàn)的很差。根據(jù)維基的定義以及我平時的一些實驗總結,當你observation
的noise 過多,輸入維度過大,都可能會導致overfitting。
解決辦法就是我們可以啟用交叉驗證(cross-validation),正則化(regularization),Early Stopping,剪枝(pruning),Bayesian priors這幾種方法。
先說cross-validation:
cross-validation 的原理就是現(xiàn)在它的一個子集上做訓練,這個子集就是訓練集,再用驗證集測試所訓練出的模型,來評價模型的性能和指標,最后再用測試集來預測。
Early Stopping就是在每次訓練的epoch結束時,將計算出的accuracy 跟上一次的進行比較,如果accuracy 不再變化,那么停止訓練。
下面主要說下regularization在NN中的作用:
模型假設三層,輸入,隱藏,輸出。輸入層為2個神經(jīng)元,輸出為2個,batchsize為10,下圖為當隱藏層神經(jīng)元個數(shù)分別設置為3,6,20時,模型的情況:
注意看當隱藏神經(jīng)元為20時,模型的狀況,每個紅色的點都被完美的歸類,沒錯,這在訓練時結果是很好,但是在測試集的表現(xiàn)呢?這就不一定了,誰能保證自己的訓練結每點噪聲呢?是不是?所以用這個模型去預測未知的,就可能造成預測結果很差,這就是NN的overfitting問題。
所以一般大部分情況,我們在調(diào)試模型時很多時候是在跟overfitting做斗爭。關于regularization方法。
簡單來說就是在目標函數(shù)上加一個λ
使之變成Error+λf(θ),λ用來懲罰那些權重很大的向量,稱之為正則系數(shù)吧!λ=0
就意味著沒有采用regularization來預防overfitting。
regularization 有 L1 regularization和L2 regularization。如果你想知道哪一個特征對最后的結果產(chǎn)生了比較大的影響,可以采用L1 regularization,如果你不那么在意對特征的分析,那就用L2 regularization吧。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03