SAS信用評(píng)分之番外篇異常值的識(shí)別

今天想分享給大家的是我早期建模的時(shí)候一個(gè)識(shí)別異常值的辦法，也許你在“信用風(fēng)險(xiǎn)評(píng)分卡研究”看過(guò)，但是代碼只能識(shí)別一個(gè)變量，我將這個(gè)代碼作了改良，但是我在這里必須聲明一點(diǎn)，就是假設(shè)你身處的公司數(shù)據(jù)并不多的話，我不建議你使用這個(gè)代碼，因?yàn)槲沂呛?jiǎn)單粗暴的將異常值直接剔除了。

就因?yàn)槲业臄?shù)據(jù)不多，所以我之前在做建模的時(shí)候使用的是先等量分組再最優(yōu)分段的方式來(lái)使變量不用識(shí)別異常值，說(shuō)道這里，我又需要跟大家提醒一下就是關(guān)于最優(yōu)分段的代碼，說(shuō)有過(guò)擬合的現(xiàn)象。這里跟大家解釋一下就是關(guān)于最優(yōu)分段過(guò)擬合，因?yàn)樽顑?yōu)分段的基礎(chǔ)是建立在等量分組的基礎(chǔ)上，所以重點(diǎn)就是在等量分組上，假設(shè)你領(lǐng)導(dǎo)能接受的最小一組的總數(shù)據(jù)量的1/20，那么你就在等量分組中分20組，保證在后面的產(chǎn)出至少一組都是1/20以上，以此類推。

進(jìn)入正題，我來(lái)講這個(gè)識(shí)別異常值的代碼，首先，這個(gè)代碼只針對(duì)連續(xù)變量，而且是正態(tài)分布或者是接近正態(tài)分布的變量，若是雙峰或者左偏單峰，或者右偏單峰都不適用這個(gè)代碼的識(shí)別。其實(shí)這個(gè)代碼有很多局限性，所以我寫出來(lái)之后也不是經(jīng)常的用到，所以叫做番外篇。

接下來(lái)的這個(gè)代碼分為兩部分，第一就是針對(duì)缺失值大于30%的變量在業(yè)務(wù)上可以解釋的通的，那這個(gè)變量做異常值處理的時(shí)候就會(huì)去除缺失值做異常值處理。對(duì)于缺失值小于30%,就讓其變量的缺失值跟其他值一起做異常值處理。第二就是針對(duì)判定為異常值觀測(cè)不會(huì)就直接刪掉，而是先輸出該觀測(cè)，等到全部的變量做完了異常值檢查之后，再判斷這個(gè)觀測(cè)出現(xiàn)了幾次的異常。這時(shí)候你定一個(gè)伐值，假設(shè)是5次就刪掉，那就是只要一個(gè)觀測(cè)在這批變量中出現(xiàn)過(guò)5次判斷為異常的那就會(huì)刪掉?；舅悸肪褪沁@樣子啦。那就上代碼吧。

/*使用標(biāo)準(zhǔn)差挑出異常數(shù)，每個(gè)變量單獨(dú)挑出在三倍標(biāo)準(zhǔn)差的異常值,這里是在5各變量中都顯示異常的觀測(cè)則剔除*/

*%Extremes(DSin, VarX, IDVar, NSigmas, DSout);

*DSin 填入原數(shù)據(jù)集;

*VarX 要檢查異常的變量;

*IDVar 數(shù)據(jù)集的主鍵，用于標(biāo)識(shí)是那條觀測(cè);

*NSigmas 在幾倍標(biāo)準(zhǔn)差內(nèi)屬于異常值，在后續(xù)的執(zhí)行代碼中，我寫的是3;

*DSout輸出的數(shù)據(jù)集;


%macro Extremes(DSin, VarX, IDVar, NSigmas, DSout);

proc sort data=&DSin. out=temp(keep= &VarX. &IDVar.);by &IDVar;

run;

 proc univariate data=temp noprint;

 var &VarX;

 output out=temp_u   STD=VSTD   Mean=VMean;

run;

data _null_;

 set temp_u;

 call symput('STD', VSTD);

 call symput('Mean', VMean);

run;

%let ULimit=%sysevalf(&Mean + &NSigmas * &STD);

%let LLimit=%sysevalf(&Mean - &NSigmas * &STD);

data &DSout;

 set temp;

 if &VarX < &Llimit or &VarX > &ULimit;

run;

proc datasets library=work nodetails nolist ;

delete temp temp_u;

quit;

%mend;

%macro Extremes1(DSin, VarX, IDVar, NSigmas, DSout);

proc sort data=&DSin. out=temp(keep= &VarX. &IDVar.);by &IDVar;

run;

 proc univariate data=temp noprint;

 var &VarX;

 output out=temp_u   STD=VSTD   Mean=VMean;

run;

data _null_;

 set temp_u;

 call symput('STD', VSTD);

 call symput('Mean', VMean);

run;

%let ULimit=%sysevalf(&Mean + &NSigmas * &STD);

%let LLimit=%sysevalf(&Mean - &NSigmas * &STD);

data &DSout;

 set temp(where=(&VarX.^=.));

 if &VarX < &Llimit or &VarX > &ULimit;

run;

proc datasets library=work nodetails nolist ;

delete temp temp_u;

quit;

%mend;

/*這個(gè)宏是產(chǎn)生一個(gè)變量列表。這的宏在這里的過(guò)程是，因?yàn)樽址兞壳捌谖乙呀?jīng)定義完全，沒有異常值，所以只檢查在

原數(shù)據(jù)集中的數(shù)值變量是否有異常值*/

*var_namelist(data=,coltype=,tarvar=);

*data 填入原始數(shù)據(jù)集;

*coltype 變量的類型，數(shù)值是“num”,字符是“char”;

*tarvar 填入你不要做異常值檢驗(yàn)的變量，這里只能填一個(gè)，理論上填的是主鍵;

*dsor 輸出的數(shù)據(jù)集;

%macro var_namelist(data=,coltype=,tarvar=,dsor=);

    %let lib=%upcase(%scan(&data.,1,'.'));

    %let dname=%upcase(%scan(&data.,2,'.'));

    %global var_list var_num;

    proc sql ;

      create table &dsor. as

        select name

        from sashelp.VCOLUMN

        where left(libname)="&lib." and left(memname)="&dname." and type="&coltype." and lowcase(name)^=lowcase("&tarvar.");

    quit;

%mend;


/*這個(gè)宏是上面兩個(gè)宏的總宏，之前的兩個(gè)宏是服務(wù)于這個(gè)宏。這個(gè)宏就是最后輸出異常值的匯總的appl_id的數(shù)據(jù)集*/

*a 填入數(shù)據(jù)集的名字即可;

%macro  ivar(data,tar_var,id);

  proc datasets lib=work;

  delete kk;

  run;

   %var_namelist(data=&data.,coltype=num,tarvar="&tar_var.",dsor=score_total_list_1)

  data _null_;

   set score_total_list_1;

   call symput (compress("var"||left(_n_)),compress(name));

   call symput(compress("n"),compress(_n_));

   run;

     %do i= 2 %to &n.;

        proc sql;

        select count(case when &&Var&i=. then 1 else 0 end)/count(*) into:num&i.

        from &data.;

      quit;

     %if  &&num&i.<0.3 %then %do;

      %Extremes(DSin=&data., VarX=&&Var&i., IDVar=appl_id, NSigmas=4, DSout=aa_&i.);

       %end;

       %else %do;

      %Extremes1(DSin=&data., VarX=&&Var&i., IDVar=appl_id, NSigmas=4, DSout=aa_&i.);

     %end;

        proc append base=kk data=aa_&i.(keep=&id.);

       run;

        proc datasets lib=work;

      delete aa_&i.;

      run;

        %end;


%mend;

ivar(data,tar_var,id);

data:輸入你的數(shù)據(jù)集。

Tar_var:輸入你的因變量。

Id:輸入你的主鍵。

輸出的數(shù)據(jù)集是主鍵，對(duì)其計(jì)數(shù)就知道他在多少個(gè)變量里面表現(xiàn)為異常值，再根據(jù)自己判斷的伐值進(jìn)行刪除。

我個(gè)人覺得這個(gè)代碼的對(duì)于邏輯回歸模型的可用性不是太強(qiáng)，因?yàn)?a href='/map/luojihuigui/' style='color:#000;font-size:inherit;'>邏輯回歸中對(duì)于變量并沒與太多的要求，若是你建模用的模型是線性回歸估計(jì)可能對(duì)你有用。那么這次的分享就到這里吧。