SAS信用評(píng)分之模型擬合以及驗(yàn)證的大坑

今天的內(nèi)容是來(lái)講我這段時(shí)間被模型擬合和模型驗(yàn)證坑過的那些事。我也是千辛萬(wàn)苦終于是把模型給建出來(lái)了。此處應(yīng)該有掌聲。因?yàn)槟Ｐ屠鲜切Ч缓眠@件事，我躲在被窩里哭了好幾次。好吧，講正事。

leslie模型擬合

首先，我們來(lái)講下模型擬合的事情，其實(shí)模型擬合在我這里就是我到底要選擇什么變量進(jìn)入模型，我到底應(yīng)該選擇多少個(gè)變量進(jìn)入模型。我之前發(fā)過一個(gè)循環(huán)產(chǎn)出變量組合代碼，然后算ks值的代碼。具體鏈接在這里：SAS信用評(píng)分之邏輯回歸的變量選擇 現(xiàn)在回頭看有點(diǎn)瞎，哈哈哈哈哈。

你可能剛開始200個(gè)變量變量輸入proc logistic過程，你設(shè)置參數(shù) sls=0.05,sle=0.05（SLE：sas中在變量選舉進(jìn)入的參數(shù)，SLE(sets criterion for entry into model) 是變量進(jìn)入模型的標(biāo)準(zhǔn)即統(tǒng)計(jì)意義水平值P<0.3，是定邏輯回歸中變量納入的主要條件。SLS：sas中在變量選舉進(jìn)入的參數(shù)，SLS(sets criterion for staying in model)是變量在模型中保留的標(biāo)準(zhǔn)即統(tǒng)計(jì)意義水平值P<0.3，是定邏輯回歸中變量保留的主要條件。邏輯回歸變量進(jìn)入后，因?yàn)樾碌淖兞窟M(jìn)入導(dǎo)致老的變量對(duì)整個(gè)模型的貢獻(xiàn)不足，從中移出的閥值。）0.3是默認(rèn)條件。那么卡方檢驗(yàn)小于0.05的變量都會(huì)被篩選出來(lái)。

假設(shè)你的領(lǐng)導(dǎo)發(fā)話了，你最終的模型的變量個(gè)數(shù)要控制在10-14個(gè)，但是這時(shí)候可能篩選出來(lái)有30幾個(gè)。那么這30幾個(gè)你要怎么知道那十幾個(gè)組合，ks很好，而且達(dá)到了要求，之前有人說(shuō)用主成分分析，主成分分析的理論好像也有這個(gè)道理。但是需要注意的是：
　小知識(shí)　

主成分分析：利用降維（線性變換)的思想，在損失很少信息的前提下把多個(gè)指標(biāo)轉(zhuǎn)化為幾個(gè)綜合指標(biāo)（主成分),用綜合指標(biāo)來(lái)解釋多變量的方差- 協(xié)方差結(jié)構(gòu)，即每個(gè)主成分都是原始變量的線性組合,且各個(gè)主成分之間互不相關(guān),使得主成分比原始變量具有某些更優(yōu)越的性能（主成分必須保留原始變量90%以上的信息），從而達(dá)到簡(jiǎn)化系統(tǒng)結(jié)構(gòu)，抓住問題實(shí)質(zhì)的目的綜合指標(biāo)即為主成分。

但是在我腦子存在的邏輯回歸理論是，邏輯回歸是一個(gè)非線性回歸，自然就推翻了主成分分析來(lái)降維的方案。具體的為什么不可以用主成分分析，歡迎大神在留言區(qū)給出更具體的解釋。

我們回到我們那個(gè)篩選出來(lái)的30幾個(gè)變量的問題上。其實(shí)這個(gè)方法是一個(gè)關(guān)注我公眾號(hào)的大神告訴我的，謝謝大神。讓我來(lái)演示一下代碼。
Ods Output ParameterEstimates=aa ;

proc logistic data=raw.rong_test12 outest=bb ;

model APPL_STATUS_1(event="1")=

woe_new_industry  

woe_new_G_MARITAL_P  

woe_new_Q_TLNINE_CNT

woe_new_EDUCATION

woe_new_query_time_n

woe_new_OPERATOR_num_N

woe_new_q_lcc_six

woe_new_a_muser_rate

woe_new_cq_cc_rate

woe_new_o_recently_C

woe_new_q_cc_o

woe_new_q_othree_cnt

woe_new_ACCOUNT_HOUSELOAN

woe_new_c_DELQ_cnt

/selection=score start=14 stop=14 best=10

outROC=ROC_train;

output out=pp

    p=pred_status lower=pi_l upper=pi_u ;

run;

其實(shí)這個(gè)代碼中，可能你覺得有疑問就是start=14 stop=14 best=10這三個(gè)參數(shù)是什么意思。這三個(gè)參數(shù)的大概的意思就是表達(dá)，我要14個(gè)變量，然后，你顯示前十種最好的組合給我。
　小知識(shí)　

卡方檢驗(yàn)就是統(tǒng)計(jì)樣本的實(shí)際觀測(cè)值與理論推斷值之間的偏離程度，實(shí)際觀測(cè)值與理論推斷值之間的偏離程度就決定卡方值的大小，卡方值越大，越不符合；卡方值越小，偏差越小，越趨于符合，若兩個(gè)值完全相等時(shí)，卡方值就為0，表明理論值完全符合。 

然后代碼跑出來(lái)就有“評(píng)分卡方”評(píng)分的前十個(gè)的變量組合，這時(shí)候你要是設(shè)定best=20,那就是前20。至于這個(gè)得分是怎么計(jì)算的，我等級(jí)還不夠，所以我沒辦法解釋。Sorry啦。

那么這10種組合你就可以去挑選，符合業(yè)務(wù)的啊，或者說(shuō)ks值比較高的，或者說(shuō)你做點(diǎn)其他的檢驗(yàn)計(jì)算，就看你的領(lǐng)導(dǎo)對(duì)于模型的評(píng)估啦。

以上就是模型擬合的內(nèi)容，其實(shí)還是選擇變量的內(nèi)容啦。

leslie模型檢驗(yàn)

驗(yàn)證的內(nèi)容。其實(shí)驗(yàn)證同個(gè)數(shù)據(jù)源的測(cè)試數(shù)據(jù)集的測(cè)試這個(gè)是比較簡(jiǎn)單的，畢竟這批數(shù)據(jù)是跟你的訓(xùn)練數(shù)據(jù)集一起產(chǎn)生的。有點(diǎn)麻煩是關(guān)于跨期數(shù)據(jù)的驗(yàn)證，這里的跨期的意思，是譬如我取得是2015.8-2016.8的數(shù)據(jù)，那么我會(huì)用2016.9-2016.10的數(shù)據(jù)作為跨期數(shù)據(jù)來(lái)驗(yàn)證下原模型的效果。

這部分我就沒什么代碼給你們啦，只是在這里要說(shuō)一個(gè)注意的點(diǎn)，這也是一個(gè)關(guān)注我的公眾號(hào)的大神告訴我的。就是在跨期驗(yàn)證的時(shí)候，可能效果不是很理想，但是這時(shí)候呢，你不要急于泄氣。

現(xiàn)在我舉一個(gè)例子，說(shuō)下你大概就懂了。

跨期驗(yàn)證某變量的分布：

原模型某變量的分布：

這是一個(gè)連續(xù)變量在跨期驗(yàn)證以及原模型中分段的分布。那么既然分段的壞賬率我們沒辦法控制，但是需要控制的是，分段的分布我們還是應(yīng)該調(diào)節(jié)到和原來(lái)模型的分布是差不多，所以在生成跨期數(shù)據(jù)的時(shí)候，需要每個(gè)變量都檢查跟原來(lái)的分布是不是一致，假設(shè)對(duì)于連續(xù)變量分布有5%-10%的偏差就建議調(diào)節(jié)一下分段范圍，讓分段接近一下原模型的分布。

假設(shè)這個(gè)辦法都讓你的模型效果都達(dá)到不到領(lǐng)導(dǎo)要求的話，而且你的變量也是沒辦法怎么衍生，或者也沒有什么其他變量可以拿來(lái)用的話。假設(shè)在數(shù)據(jù)量足夠的情況下，建議可以分成兩部分，譬如分成男女分開建模。這種分開建模的方式也只是建議，還是你要征得領(lǐng)導(dǎo)同意啦。