你應(yīng)該知道的模型評(píng)估的五個(gè)方法

好久沒(méi)更新了，我怕再不更，我要掉粉了，這次來(lái)更新的是模型評(píng)估的常見的五個(gè)方法：

1、混淆矩陣。

2、提升圖&洛倫茲圖。

3、 基尼系數(shù)

4、ks曲線

5、roc曲線。

1

混淆矩陣

混淆矩陣不能作為評(píng)估模型的唯一標(biāo)準(zhǔn)，混淆矩陣是算模型其他指標(biāo)的基礎(chǔ)，后面會(huì)講到，但是對(duì)混淆矩陣的理解是必要的。

模型跑出來(lái)的“Y”值為每個(gè)客戶的預(yù)測(cè)違約概率，可以理解為客戶的有多大的可能違約。把概率等分分段，y坐標(biāo)為該區(qū)間的人數(shù)，可以得到這樣子一個(gè)圖表。

可以看到圖中這條線，一切下去，在左邊就算是違約的客戶，那么右邊就是正常的客戶，本身模型沒(méi)辦法百分百的判斷客戶的狀態(tài)，所以cd就算是會(huì)誤判的，d本來(lái)是是左邊這個(gè)小山的客戶，那就是壞客戶，但是模型預(yù)測(cè)他的概率比較高別劃分到了好客戶的這邊了，所以d就是被預(yù)測(cè)為好客戶的壞客戶，同樣的道理，c就是被預(yù)測(cè)為壞客戶的好客戶。

2

提升圖&洛倫茲圖

假設(shè)我們現(xiàn)在有個(gè)10000的樣本，違約率是7%，我們算出這10000的樣本每個(gè)客戶的違約概率之后降序分為每份都是1000的記錄，那么在左圖中，第一份概率最高的1000個(gè)客戶中有255個(gè)違約的。違約客戶占了全部的36.4。如果不對(duì)客戶評(píng)分，按照總體的算，這個(gè)分組；理論上有70個(gè)人是違約的。

把剛才的圖，每組中的隨機(jī)違約個(gè)數(shù)以及模型違約個(gè)數(shù)化成柱形圖，可以看到假設(shè)現(xiàn)在是p值越大的客戶，違約概率越大，那就是說(shuō)這里第一組的1000個(gè)人就是概率倒序排序之后的前1000個(gè)人。那么可以看到通過(guò)模型，可以識(shí)別到第一組的客戶違約概率是最高的，那么在業(yè)務(wù)上運(yùn)用上可以特別注意這部分客戶，可以給予拒絕的處理。

那么洛倫茲圖就是將每一組的一個(gè)違約客戶的個(gè)數(shù)累計(jì)之后連接成一條線，可以看到在12組的時(shí)候，違約人數(shù)的數(shù)量上升是一個(gè)比較明顯的狀態(tài)，但是越到后面的組，違約人數(shù)上升的越來(lái)越少了。那么在衡量一個(gè)模型的標(biāo)準(zhǔn)就是這個(gè)條曲線是越靠近y軸1的位置越好，那樣子就代表著模型能預(yù)測(cè)的違約客戶集中在靠前的幾組，所以識(shí)別客戶的效果就是更好。

3

基尼系數(shù)

洛倫茨曲線是把違約概率降序分成10等分，那么基尼統(tǒng)計(jì)量的上圖是把違約概率升序分成10等分，基尼統(tǒng)計(jì)量的定義則為：

G的值在0到1之間，在隨機(jī)選擇下，G取0。G達(dá)到0.4以上即可接受。

4

ks值

ks曲線是將每一組的概率的好客戶以及壞客戶的累計(jì)占比連接起來(lái)的兩條線，ks值是當(dāng)有一個(gè)點(diǎn)，好客戶減去壞客戶的數(shù)量是最大的。那么ks的值的意義在于，我在那個(gè)違約概率的點(diǎn)切下去，創(chuàng)造的效益是最高的，就圖中這張圖來(lái)說(shuō)就是我們大概在第三組的概率的中間的這個(gè)概率切下，我可以最大的讓好客戶進(jìn)來(lái)，會(huì)讓部分壞客戶進(jìn)來(lái)，但是也會(huì)有少量的壞客戶進(jìn)來(lái)，但是這已經(jīng)是損失最少了，所以可以接受。那么在建模中是，模型的ks要求是達(dá)到0.3以上才是可以接受的。

5

roc

靈敏度可以看到的是判斷正確的違約客戶數(shù)，這里給他個(gè)名字為違約客戶正確率(tpr)，誤判率就是判斷錯(cuò)誤的正?？蛻魯?shù)（fpr）。特殊性就是正?？蛻舻恼_率，那么roc曲線是用誤判率和違約客戶數(shù)畫的一條曲線。這里就需要明確一點(diǎn)就是，我們要的效果是，tpr的越高越好，fpr是越低越好。ROC曲線就是通過(guò)在0-1之間改變用于創(chuàng)建混淆矩陣的臨界值，繪制分類準(zhǔn)確的違約記錄比例與分類錯(cuò)誤的正常記錄比例。具體我們來(lái)看圖。

我們首先來(lái)看A,B點(diǎn)的含義，A點(diǎn)的TPR大概為0.7左右，F(xiàn)PR大概是0.3左右，那么就是說(shuō)假設(shè)我錯(cuò)誤的將30%壞客戶判斷是壞的，那么可以識(shí)別70%的客戶肯定壞的。B點(diǎn)的TPR大概為0.3左右，F(xiàn)PR大概是0.7左右，那就是我錯(cuò)誤的將70%好客戶當(dāng)做壞客戶，只能得到30%的客戶是確定 壞客戶。所以這么說(shuō)的話，點(diǎn)越靠近左上方，模型就是越好的，對(duì)于曲線也是一樣的。

總結(jié)

我個(gè)人建議，要依據(jù)不同的業(yè)務(wù)目的，選取不同的評(píng)估方式， 基尼系數(shù)、提升圖可以用于用人工審批情況的業(yè)務(wù)目的，不同的分組突出客戶的質(zhì)量的高低，ks、roc可以用于線上審批審核的情況，根據(jù)最小損失公式，計(jì)算出概率點(diǎn)。