【SAS宏】使用WOE和IV實現風險因素篩選

在信用風險評估領域，信用評分卡模型在國內外都是一種非常成熟的預測模型，無論是使用傳統的Logistic回歸建模乃至一些使用Neural networks算法建模，變量篩選都是整個建模過程中至關重要的一步。建模工作人員通過變量篩選的結果能夠迅速識別那些最具預測能力的風險因素。

Core concepts

首先介紹一下WOE（Weight Of Evidence）

一般情況下我們將違約客戶標記為1，正?？蛻魳擞洖?。那么WOE其實就是自變量取某個值時對違約比例的一重影響。其計算公式如下：

通過WOE的計算公式可以發(fā)現其反映的是在自變量每個分組下壞客戶對好客戶的比例與總體壞客戶對好客戶占比之間的差異，所以我們可以直觀的認為WOE蘊含了自變量取值對于應變量（0,1）的影響。同時，WOE的計算形式與Logistic regression中的Logit變換非常相似，故可直接使用自變量的WOE值代替原自變量。

想必有的讀者已經發(fā)現WOE無法對連續(xù)變量進行轉換，事實上對于連續(xù)變量（或者分類繁雜的離散變量），通常使用區(qū)間切分的方式將其轉換成離散形式，進而通過聚類的方法完成區(qū)間的切分，并進行最終的WOE計算。

然后介紹一下IV值（Information Value)

IV值衡量的是某變量所含的信息量，其計算公式如下：

      通過公式可以看到IV值其實是WOE值的一個加權求和，其值的大小決定了該自變量對于目標變量的影響程度（不難發(fā)現IV值公式和信息熵的公式非常相似）。

Advantages

相比其他變量篩選方法，WOE和IV值有兩大優(yōu)勢：

1. 它可以對所有分類變量，順序變量以及連續(xù)變量統一進行預測能力的計量。

2. 可以對缺失值進行處理，將其看作一類即可分析信息缺失對于風險是否有影響

Macro

%macroIV(dataset,varnum);

proc sql;

select sum(case when target=1then1else0end), sum(case when target=0then1else0end), count(*) into :tot_bad, :tot_good, :tot_both

from &dataset.;

quit;

/*循環(huán)計算每個變量的WOE和IV*/

%doi=1%to&varnum.;

/*計算WOE*/

proc sql;

create table woe&i as

(select"x&i"as variable,

x&i as tier,

count(*) as cnt,

count(*)/&tot_both as cnt_pct,

sum(case when target=0then1else0end) as sum_good,

sum(case when target=0then1else0end)/&tot_good as dist_good,

sum(case when target=1then1else0end) as sum_bad,

sum(case when target=1then1else0end)/&tot_bad as dist_bad,

log((sum(case when target=0then1else0end)/&tot_good)/(sum(case when

target=1then1else0end)/&tot_bad))*100as woe,

((sum(case when target=0then1else0end)/&tot_good)-(sum(case when

target=1then1else0end)/&tot_bad))

*log((sum(case when target=0then1else0

end)/&tot_good)/(sum(case when target=1then1else0end)/&tot_bad)) as pre_iv,

sum(case when target=1then1else0end)/count(*) as outcome

from &dataset.

group by x&i

)

order by x&i;

quit;

/*計算IV*/

proc sql;

create table iv&i as select"x&i"as variable,

sum(pre_iv) as iv

from woe&i; 

quit;

%end;

/*合并IV結果*/

data iv;

length variable$5.;

set iv1-iv&varnum.;

run;

/*根據IV值排序*/

proc sort data=iv;

by decending iv;

quit;

%mend;

Results

為了方便，這里就例舉只有10個風險因素的例子，通過結果可以得到IV值由高到低的一個排序以及相應變量的數據缺失情況。

那我們應該如何評價以上10個變量呢？

下表則是公認的評價IV值的關系表（By Siddiqi)。

事實上，IV值小于0.02的變量將被程序自動剔除，因為這些變量被認為是沒有預測能力的。另外，值得一提的是IV值大于0.5是可疑的，需要綜合分析該變量后謹慎選擇。

Final selection

最終選擇進入模型的變量不僅需要較高的IV值，還需要考慮數據缺失率，變量分布，模型解釋能力等。

Conclusion

根據實踐驗證，經過WOE變化之后的建模效果及模型的穩(wěn)定性會比不進行變化的模型有一定的提升，事實上使用WOE來對自變量做編碼的一大目的就是使得辨識度最大化。另外，WOE變化之后，自變量具備了標準化的性質，從而自變量各取值之間可以直接通過WOE進行比較，同時，不同自變量之間的各種取值也可以直接通過WOE進行比較。

       通過WOE和IV值的計算，我們可以更直觀地理解各自變量對目標變量的作用效果和方向，同時提升最終的預測效果。