你應(yīng)該知道的模型評估的五個方法

好久沒更新了，我怕再不更，我要掉粉了，這次來更新的是模型評估的常見的五個方法：

1、混淆矩陣。

2、提升圖&洛倫茲圖。

3、 基尼系數(shù)

4、ks曲線

5、roc曲線。

1

混淆矩陣

混淆矩陣不能作為評估模型的唯一標準，混淆矩陣是算模型其他指標的基礎(chǔ)，后面會講到，但是對混淆矩陣的理解是必要的。

模型跑出來的“Y”值為每個客戶的預(yù)測違約概率，可以理解為客戶的有多大的可能違約。把概率等分分段，y坐標為該區(qū)間的人數(shù)，可以得到這樣子一個圖表。

可以看到圖中這條線，一切下去，在左邊就算是違約的客戶，那么右邊就是正常的客戶，本身模型沒辦法百分百的判斷客戶的狀態(tài)，所以cd就算是會誤判的，d本來是是左邊這個小山的客戶，那就是壞客戶，但是模型預(yù)測他的概率比較高別劃分到了好客戶的這邊了，所以d就是被預(yù)測為好客戶的壞客戶，同樣的道理，c就是被預(yù)測為壞客戶的好客戶。

2

提升圖&洛倫茲圖

假設(shè)我們現(xiàn)在有個10000的樣本，違約率是7%，我們算出這10000的樣本每個客戶的違約概率之后降序分為每份都是1000的記錄，那么在左圖中，第一份概率最高的1000個客戶中有255個違約的。違約客戶占了全部的36.4。如果不對客戶評分，按照總體的算，這個分組；理論上有70個人是違約的。

把剛才的圖，每組中的隨機違約個數(shù)以及模型違約個數(shù)化成柱形圖，可以看到假設(shè)現(xiàn)在是p值越大的客戶，違約概率越大，那就是說這里第一組的1000個人就是概率倒序排序之后的前1000個人。那么可以看到通過模型，可以識別到第一組的客戶違約概率是最高的，那么在業(yè)務(wù)上運用上可以特別注意這部分客戶，可以給予拒絕的處理。

那么洛倫茲圖就是將每一組的一個違約客戶的個數(shù)累計之后連接成一條線，可以看到在12組的時候，違約人數(shù)的數(shù)量上升是一個比較明顯的狀態(tài)，但是越到后面的組，違約人數(shù)上升的越來越少了。那么在衡量一個模型的標準就是這個條曲線是越靠近y軸1的位置越好，那樣子就代表著模型能預(yù)測的違約客戶集中在靠前的幾組，所以識別客戶的效果就是更好。

3

基尼系數(shù)

洛倫茨曲線是把違約概率降序分成10等分，那么基尼統(tǒng)計量的上圖是把違約概率升序分成10等分，基尼統(tǒng)計量的定義則為：

G的值在0到1之間，在隨機選擇下，G取0。G達到0.4以上即可接受。

4

ks值

ks曲線是將每一組的概率的好客戶以及壞客戶的累計占比連接起來的兩條線，ks值是當有一個點，好客戶減去壞客戶的數(shù)量是最大的。那么ks的值的意義在于，我在那個違約概率的點切下去，創(chuàng)造的效益是最高的，就圖中這張圖來說就是我們大概在第三組的概率的中間的這個概率切下，我可以最大的讓好客戶進來，會讓部分壞客戶進來，但是也會有少量的壞客戶進來，但是這已經(jīng)是損失最少了，所以可以接受。那么在建模中是，模型的ks要求是達到0.3以上才是可以接受的。

5

roc

靈敏度可以看到的是判斷正確的違約客戶數(shù)，這里給他個名字為違約客戶正確率(tpr)，誤判率就是判斷錯誤的正?？蛻魯?shù)（fpr）。特殊性就是正常客戶的正確率，那么roc曲線是用誤判率和違約客戶數(shù)畫的一條曲線。這里就需要明確一點就是，我們要的效果是，tpr的越高越好，fpr是越低越好。ROC曲線就是通過在0-1之間改變用于創(chuàng)建混淆矩陣的臨界值，繪制分類準確的違約記錄比例與分類錯誤的正常記錄比例。具體我們來看圖。

我們首先來看A,B點的含義，A點的TPR大概為0.7左右，F(xiàn)PR大概是0.3左右，那么就是說假設(shè)我錯誤的將30%壞客戶判斷是壞的，那么可以識別70%的客戶肯定壞的。B點的TPR大概為0.3左右，F(xiàn)PR大概是0.7左右，那就是我錯誤的將70%好客戶當做壞客戶，只能得到30%的客戶是確定 壞客戶。所以這么說的話，點越靠近左上方，模型就是越好的，對于曲線也是一樣的。

總結(jié)

我個人建議，要依據(jù)不同的業(yè)務(wù)目的，選取不同的評估方式， 基尼系數(shù)、提升圖可以用于用人工審批情況的業(yè)務(wù)目的，不同的分組突出客戶的質(zhì)量的高低，ks、roc可以用于線上審批審核的情況，根據(jù)最小損失公式，計算出概率點。