
信用評(píng)分建模中樣本容量不足怎么辦
在建立個(gè)人信用評(píng)分模型時(shí),不僅需要有足夠多的表征信貸申請(qǐng)人信用行為的特征變量,而且建模樣本的容量也必須達(dá)到一定的數(shù)量。
一般來(lái)說(shuō),樣本容量越大,所建立的模型的精度或預(yù)測(cè)能力就越高,模型也越穩(wěn)健。
至于到底需要容量多大的樣本才能建立一個(gè)預(yù)測(cè)精度較高,又具有較好穩(wěn)健性的個(gè)人信用評(píng)分模型,目前還沒(méi)有一個(gè)基于理論測(cè)算的最優(yōu)數(shù)目,不過(guò)通過(guò)多年的建模實(shí)踐,國(guó)外的許多學(xué)者提出了一些經(jīng)驗(yàn)準(zhǔn)則。
這些經(jīng)驗(yàn)準(zhǔn)則告訴我們,問(wèn)題的關(guān)鍵并不在于建模樣本容量的大小,而在于壞客戶樣本的數(shù)量。一個(gè)由50000個(gè)好客戶,500個(gè)壞客戶構(gòu)成的建模樣本并不比一個(gè)由5000個(gè)好客戶,500個(gè)壞客戶構(gòu)成的樣本含有更多的信息,因?yàn)樵诮€(gè)人信用評(píng)分模型時(shí)壞客戶樣本所含的信息是我們重點(diǎn)關(guān)注的。
在實(shí)際的建??傮w中,通常好客戶的數(shù)量總是遠(yuǎn)遠(yuǎn)大于壞客戶的數(shù)量,因此建??傮w中壞客戶數(shù)量的多少是能否成功地建立個(gè)人信用模型的關(guān)鍵因素之一。
在個(gè)人征信體系發(fā)達(dá)的國(guó)家,建模樣本容量不足應(yīng)該不是一個(gè)嚴(yán)重的問(wèn)題。
這些國(guó)家解決這一問(wèn)題可以有多種途徑:
當(dāng)需要對(duì)某種信用產(chǎn)品申請(qǐng)人進(jìn)行評(píng)分時(shí),若樣本容量不足而不能建立評(píng)分模型,可以先用征信局的“通用化評(píng)分”來(lái)代替。待好、壞客戶樣本累積到一定容量后再建模。實(shí)際上有許多信用產(chǎn)品根本就不建立定制化的評(píng)分模型,而是直接用征信局提供的“通用化評(píng)分”對(duì)客戶進(jìn)行評(píng)價(jià),當(dāng)然這需要一定的成本。
由于社會(huì)征信體系較發(fā)達(dá)的國(guó)家一般其信用市場(chǎng)也較發(fā)達(dá),信用產(chǎn)品比較豐富,在一個(gè)新的信用產(chǎn)品推廣的初期,往往可以找到與之相類(lèi)似的產(chǎn)品,用類(lèi)似產(chǎn)品的樣本建模在初期也是一個(gè)不錯(cuò)的選擇。
在征信體系發(fā)達(dá)的國(guó)家,無(wú)論是信貸機(jī)構(gòu)還是信用咨詢機(jī)構(gòu)都有較多的信用分析專(zhuān)家,利用這些專(zhuān)家的知識(shí)和經(jīng)驗(yàn)可以建立所謂的“專(zhuān)家模型”。
就中國(guó)目前的狀況而言,當(dāng)建模樣本不足時(shí),以上3中解決方法均不是很有效的:
由于征信體系不發(fā)達(dá),沒(méi)有“通用化評(píng)分”可資利用;
消費(fèi)信用產(chǎn)品還比較單一;
有關(guān)消費(fèi)信用分析的專(zhuān)家還不多。
因此,樣本容量不足是在中國(guó)現(xiàn)階段建立個(gè)人信用評(píng)分模型時(shí)常常遇到的問(wèn)題之一。
解決建模樣本容量不足的方法有兩類(lèi)方法可以嘗試:
一類(lèi)是合并不同銀行的相同產(chǎn)品的樣本;
另一種是統(tǒng)計(jì)學(xué)中的Bootstrap方法。
方法1 將不同客戶總體數(shù)據(jù)合并建模
當(dāng)樣本量不足時(shí),最容易想到的一個(gè)解決辦法是:將不同銀行的相同產(chǎn)品的樣本合并起來(lái)建立模型。
例如,當(dāng)某個(gè)商業(yè)銀行要針對(duì)其所發(fā)行的一種信用卡建立個(gè)人信用評(píng)分模型時(shí),它可以將該銀行在不同地區(qū)的分行的客戶數(shù)據(jù)進(jìn)行合并,這樣在樣本的數(shù)量上就可以滿足建模的要求。
值得注意的是,這種合并不同總體的做法與通常建立個(gè)人信用評(píng)分時(shí)的做法是相反的。在建立個(gè)人信用評(píng)分模型時(shí),為了提高模型的預(yù)測(cè)精度,當(dāng)總體內(nèi)部差異較大時(shí),如果樣本的容量足夠大,在實(shí)際中的做法是將總體劃分成幾個(gè)內(nèi)部一致性較好的子總體,然后對(duì)各個(gè)子總體分別建模。
關(guān)于將不同客戶總體數(shù)據(jù)合并后建立模型的效果,國(guó)外的學(xué)者有過(guò)一些研究。大部分的實(shí)證研究表明,合并后建立的模型其精度往往會(huì)下降。
精度下降的原因可能來(lái)自兩個(gè)方面:
由于各總體特征的差異較大影響了模型的預(yù)測(cè)能力;
各總體中保存的特征變量不盡一致,建模時(shí)往往只能使用各總體共有的部分。特征變量的減少,往往損失許多有用的信息。
方法2 Bootstrap方法應(yīng)用于處理樣本容量不足不同客戶總體數(shù)據(jù)合并建模
將樣本分成兩部分,一部分是用于建模,另一部分用于檢驗(yàn)。
這樣做的主要目的是為了避免同時(shí)將一組樣本既作為訓(xùn)練樣本(用于建立模型)又作為檢驗(yàn)樣本從而對(duì)預(yù)測(cè)精度的估計(jì)過(guò)于樂(lè)觀。在樣本容量充足的情況下,這種做法是很有效的。但是在有些情況下,建模的樣本數(shù)量并不是很充足。在這種情況下若還保留一部分樣本進(jìn)行檢驗(yàn)顯然不是一種有效的做法,這樣會(huì)白白浪費(fèi)掉保留樣本中所包含的信息。
統(tǒng)計(jì)學(xué)中發(fā)展了多種方法來(lái)克服上述保留樣本在樣本容量不足時(shí)的缺陷,BootStrap方法是一種被證明行之有效的方法。
實(shí)際中的算法如下:
從經(jīng)驗(yàn)分布F_n中有放回地抽取一個(gè)容量為n的樣本(x_1,x_2,?,x_n)。通常稱為BootStrap樣本。
利用此樣本計(jì)算θ的估計(jì)值,θ^*=θ(x_1,x_2,?,x_n)。通常稱為BootStrap估計(jì)。
將過(guò)程(1),(2)重復(fù)K次,這樣就得到K個(gè)BootStrap樣本及K個(gè)BootStrap估計(jì)。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
訓(xùn)練與驗(yàn)證損失驟升:機(jī)器學(xué)習(xí)訓(xùn)練中的異常診斷與解決方案 在機(jī)器學(xué)習(xí)模型訓(xùn)練過(guò)程中,“損失曲線” 是反映模型學(xué)習(xí)狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類(lèi)核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對(duì)數(shù)據(jù)的需求已從 “存儲(chǔ)” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計(jì)基本概念成為業(yè)務(wù)決策的底層邏輯 統(tǒng)計(jì)基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語(yǔ)言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類(lèi)型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專(zhuān)業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專(zhuān)業(yè)操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷(xiāo)案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷(xiāo)成為企業(yè)突圍的核心方 ...
2025-09-11