SAS信用評分之番外篇異常值的識別

今天想分享給大家的是我早期建模的時候一個識別異常值的辦法，也許你在“信用風(fēng)險評分卡研究”看過，但是代碼只能識別一個變量，我將這個代碼作了改良，但是我在這里必須聲明一點，就是假設(shè)你身處的公司數(shù)據(jù)并不多的話，我不建議你使用這個代碼，因為我是簡單粗暴的將異常值直接剔除了。

就因為我的數(shù)據(jù)不多，所以我之前在做建模的時候使用的是先等量分組再最優(yōu)分段的方式來使變量不用識別異常值，說道這里，我又需要跟大家提醒一下就是關(guān)于最優(yōu)分段的代碼，說有過擬合的現(xiàn)象。這里跟大家解釋一下就是關(guān)于最優(yōu)分段過擬合，因為最優(yōu)分段的基礎(chǔ)是建立在等量分組的基礎(chǔ)上，所以重點就是在等量分組上，假設(shè)你領(lǐng)導(dǎo)能接受的最小一組的總數(shù)據(jù)量的1/20，那么你就在等量分組中分20組，保證在后面的產(chǎn)出至少一組都是1/20以上，以此類推。

進入正題，我來講這個識別異常值的代碼，首先，這個代碼只針對連續(xù)變量，而且是正態(tài)分布或者是接近正態(tài)分布的變量，若是雙峰或者左偏單峰，或者右偏單峰都不適用這個代碼的識別。其實這個代碼有很多局限性，所以我寫出來之后也不是經(jīng)常的用到，所以叫做番外篇。

接下來的這個代碼分為兩部分，第一就是針對缺失值大于30%的變量在業(yè)務(wù)上可以解釋的通的，那這個變量做異常值處理的時候就會去除缺失值做異常值處理。對于缺失值小于30%,就讓其變量的缺失值跟其他值一起做異常值處理。第二就是針對判定為異常值觀測不會就直接刪掉，而是先輸出該觀測，等到全部的變量做完了異常值檢查之后，再判斷這個觀測出現(xiàn)了幾次的異常。這時候你定一個伐值，假設(shè)是5次就刪掉，那就是只要一個觀測在這批變量中出現(xiàn)過5次判斷為異常的那就會刪掉。基本思路就是這樣子啦。那就上代碼吧。

/*使用標準差挑出異常數(shù)，每個變量單獨挑出在三倍標準差的異常值,這里是在5各變量中都顯示異常的觀測則剔除*/

*%Extremes(DSin, VarX, IDVar, NSigmas, DSout);

*DSin 填入原數(shù)據(jù)集;

*VarX 要檢查異常的變量;

*IDVar 數(shù)據(jù)集的主鍵，用于標識是那條觀測;

*NSigmas 在幾倍標準差內(nèi)屬于異常值，在后續(xù)的執(zhí)行代碼中，我寫的是3;

*DSout輸出的數(shù)據(jù)集;


%macro Extremes(DSin, VarX, IDVar, NSigmas, DSout);

proc sort data=&DSin. out=temp(keep= &VarX. &IDVar.);by &IDVar;

run;

 proc univariate data=temp noprint;

 var &VarX;

 output out=temp_u   STD=VSTD   Mean=VMean;

run;

data _null_;

 set temp_u;

 call symput('STD', VSTD);

 call symput('Mean', VMean);

run;

%let ULimit=%sysevalf(&Mean + &NSigmas * &STD);

%let LLimit=%sysevalf(&Mean - &NSigmas * &STD);

data &DSout;

 set temp;

 if &VarX < &Llimit or &VarX > &ULimit;

run;

proc datasets library=work nodetails nolist ;

delete temp temp_u;

quit;

%mend;

%macro Extremes1(DSin, VarX, IDVar, NSigmas, DSout);

proc sort data=&DSin. out=temp(keep= &VarX. &IDVar.);by &IDVar;

run;

 proc univariate data=temp noprint;

 var &VarX;

 output out=temp_u   STD=VSTD   Mean=VMean;

run;

data _null_;

 set temp_u;

 call symput('STD', VSTD);

 call symput('Mean', VMean);

run;

%let ULimit=%sysevalf(&Mean + &NSigmas * &STD);

%let LLimit=%sysevalf(&Mean - &NSigmas * &STD);

data &DSout;

 set temp(where=(&VarX.^=.));

 if &VarX < &Llimit or &VarX > &ULimit;

run;

proc datasets library=work nodetails nolist ;

delete temp temp_u;

quit;

%mend;

/*這個宏是產(chǎn)生一個變量列表。這的宏在這里的過程是，因為字符變量前期我已經(jīng)定義完全，沒有異常值，所以只檢查在

原數(shù)據(jù)集中的數(shù)值變量是否有異常值*/

*var_namelist(data=,coltype=,tarvar=);

*data 填入原始數(shù)據(jù)集;

*coltype 變量的類型，數(shù)值是“num”,字符是“char”;

*tarvar 填入你不要做異常值檢驗的變量，這里只能填一個，理論上填的是主鍵;

*dsor 輸出的數(shù)據(jù)集;

%macro var_namelist(data=,coltype=,tarvar=,dsor=);

    %let lib=%upcase(%scan(&data.,1,'.'));

    %let dname=%upcase(%scan(&data.,2,'.'));

    %global var_list var_num;

    proc sql ;

      create table &dsor. as

        select name

        from sashelp.VCOLUMN

        where left(libname)="&lib." and left(memname)="&dname." and type="&coltype." and lowcase(name)^=lowcase("&tarvar.");

    quit;

%mend;


/*這個宏是上面兩個宏的總宏，之前的兩個宏是服務(wù)于這個宏。這個宏就是最后輸出異常值的匯總的appl_id的數(shù)據(jù)集*/

*a 填入數(shù)據(jù)集的名字即可;

%macro  ivar(data,tar_var,id);

  proc datasets lib=work;

  delete kk;

  run;

   %var_namelist(data=&data.,coltype=num,tarvar="&tar_var.",dsor=score_total_list_1)

  data _null_;

   set score_total_list_1;

   call symput (compress("var"||left(_n_)),compress(name));

   call symput(compress("n"),compress(_n_));

   run;

     %do i= 2 %to &n.;

        proc sql;

        select count(case when &&Var&i=. then 1 else 0 end)/count(*) into:num&i.

        from &data.;

      quit;

     %if  &&num&i.<0.3 %then %do;

      %Extremes(DSin=&data., VarX=&&Var&i., IDVar=appl_id, NSigmas=4, DSout=aa_&i.);

       %end;

       %else %do;

      %Extremes1(DSin=&data., VarX=&&Var&i., IDVar=appl_id, NSigmas=4, DSout=aa_&i.);

     %end;

        proc append base=kk data=aa_&i.(keep=&id.);

       run;

        proc datasets lib=work;

      delete aa_&i.;

      run;

        %end;


%mend;

ivar(data,tar_var,id);

data:輸入你的數(shù)據(jù)集。

Tar_var:輸入你的因變量。

Id:輸入你的主鍵。

輸出的數(shù)據(jù)集是主鍵，對其計數(shù)就知道他在多少個變量里面表現(xiàn)為異常值，再根據(jù)自己判斷的伐值進行刪除。

我個人覺得這個代碼的對于邏輯回歸模型的可用性不是太強，因為邏輯回歸中對于變量并沒與太多的要求，若是你建模用的模型是線性回歸估計可能對你有用。那么這次的分享就到這里吧。