99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
2022-09-15 閱讀量: 1514
python數(shù)據(jù)預(yù)處理 :樣本不均衡(過采樣、欠采樣、設(shè)置權(quán)重、集成方法)

何為樣本不均衡

樣本分布不均衡就是指樣本差異非常大,例如共1000條數(shù)據(jù)樣本的數(shù)據(jù)集中,其中占有10條樣本分類,其特征無論如何你和也無法實現(xiàn)完整特征值的覆蓋,此時屬于嚴(yán)重的樣本分布不均衡。


為何要解決樣本不均衡

樣本分部不均衡的數(shù)據(jù)集也是很常見的:比如惡意刷單、黃牛訂單、信用卡欺詐、電力竊電、設(shè)備故障、大企業(yè)客戶流失等。

樣本不均衡將導(dǎo)致樣本量少的分類所包含的特征過少,很難從中提取規(guī)律,即使得到分類模型,也容易產(chǎn)生過度依賴于有限的數(shù)量樣本而導(dǎo)致過擬合問題,當(dāng)模型應(yīng)用到新的數(shù)據(jù)上時,模型的準(zhǔn)確性和健壯性將會很差。


樣本不均衡的解決方法

過采樣 通過增加分類中樣本較少的類別的采樣數(shù)量來實現(xiàn)平衡,最直接的方法是簡單復(fù)制小樣本數(shù)據(jù),缺點是如果特征少,會導(dǎo)致過擬合的問題。經(jīng)過改進的過抽樣方法通過在少數(shù)類中加入隨機噪聲、干擾數(shù)據(jù)或通過一定規(guī)則產(chǎn)生新的合成樣本。

欠采樣 通過減少分類中多數(shù)類樣本的數(shù)量來實現(xiàn)樣本均衡,最直接的方法是隨機去掉一些多數(shù)類樣本來減小多數(shù)類的規(guī)模,缺點是會丟失多數(shù)類中的一些重要信息。

設(shè)置權(quán)重 對不同樣本數(shù)量的類別賦予不同的權(quán)重(通常會設(shè)置為與樣本量成反比)

集成方法 每次生成訓(xùn)練集時使用所有分類中的小樣本量,同時從分類中的大樣本量中隨機抽取數(shù)據(jù)來與小樣本量合并構(gòu)成訓(xùn)練集,這樣反復(fù)多次會得到很多訓(xùn)練集和訓(xùn)練模型。最后在應(yīng)用時,使用組合方法(例如投票、加權(quán)投票等)產(chǎn)生分類預(yù)測結(jié)果。這種方法類似于隨機森林。缺點是,比較吃計算資源,費時。

————————————————


原文鏈接:https://blog.csdn.net/tonydz0523/article/details/84325823


547.6981
0
關(guān)注作者
收藏
評論(0)

發(fā)表評論

暫無數(shù)據(jù)
推薦帖子