sas信用評分之不用檢查異常值的最優(yōu)分組

今天的更新比以往晚了一天，假期綜合癥第一天，我到現(xiàn)在已經(jīng)喝了第三杯咖啡，實(shí)現(xiàn)上周的預(yù)告，這種更新一個不用檢查異常值的數(shù)值變量最優(yōu)分組。其實(shí)這代碼我本來不想拿出來，我覺得這代碼估計能賣點(diǎn)錢，但是介于我是一個不敢賺你們錢的博主，所以還是拿出來吧。本篇文章最后有驚喜。

首先我們先說下，這的代碼的思路，為什么不用檢查異常值呢。其實(shí)是這樣子的，我把等量分組和最優(yōu)分組結(jié)合起來了，即保證了最小組的數(shù)量也保證了不要因?yàn)槟承?a href='/map/yichangzhi/' style='color:#000;font-size:inherit;'>異常值導(dǎo)致分組的過擬合。也少去人工的手動分組。

譬如，有一個年齡的分組，那么我會先用等量分組先分成20組，這時候注意了，就是前后會有極小極大值，就算是異常值，這時候因?yàn)槟惴殖闪?0組，所以極小值以及極大值就被包含在第一組以及最后一組中，以1和20代替了。我相信我這么說你應(yīng)該可以理解。

至于這等量分組的代碼用的是proc rank過程去分的，具體可以參考：proc rank過程

等量分組的代碼在這篇文章中：sas信用評分之手動對數(shù)值變量分組

然后將產(chǎn)出的結(jié)果映射到原數(shù)據(jù)中再丟進(jìn)去最優(yōu)分組，最優(yōu)分組的代碼在這篇文章中：sas信用評分之第二步變量篩選。再丟進(jìn)去最優(yōu)分組的代碼的時候，需要將等量分組映射到原數(shù)據(jù)集中，映射代碼如下：

/*這個宏是在%data_split后面的執(zhí)行的，所以這里需要的數(shù)據(jù)集有%data_split中產(chǎn)生的以"_iv"為后綴的，"_RANK"的數(shù)據(jù)集*/

data：填入原數(shù)據(jù)集

id:填入主鍵

ddvar:因變量

%macro map(data,id,ddvar);

proc sql noprint;

select col_name into: varlist separated by ' ' from &data._IV;

%let nVar=&SQLOBS;

quit;/*從細(xì)分后的字典表中得到待填充的變量*/

%put &varlist.;

data  &data._woe;

set &data.(keep=&id. &ddvar.);

run;/*首先獲取相應(yīng)的識別標(biāo)識及Y值*/

data &data._1(drop=i);

set &data.;

array arr1{*} _NUMERIC_;

do i = 1 to dim(arr1);

if missing(arr1(i)) then do;

arr1(i)=-999;

end;

end;

run;

%do i=1 %to &nVar;

%let var = %scan(&varlist, &i);

data V ;

set &data._1(keep=&id. &var.);

run;/*找出待填充變量的取值，將空值填充為1000000000*/

data rank;

set &data._RANK;

where col_name="&var.";

run;/*找出待填充變量的配置表相關(guān)信息*/

proc sql noprint;

create table WOE AS 

select I.&id., B.clus as &var.

from V AS I

left join rank AS B 

ON I.&var. > b.low AND I.&var. <= B.up

;

quit;/*通過上、下界進(jìn)行填充*/

proc sort data=WOE;

by &id.;

run;

proc sort data=&data._woe;

by &id.;

run;

data &data._woe;

merge &data._woe woe;

by &id.;

run;/*合并所有的變量woe*/

%end;

%mend;

我希望你們真心想用這部分代碼分組的，你們要自己看懂代碼，學(xué)習(xí)這種東西不是問出來，都是要自己動手琢磨的。我自認(rèn)為我不是一個聰明的人，但我是喜歡的東西，我會很樂于去探索，所以你也可以。