機(jī)器學(xué)習(xí)模型評(píng)價(jià)指標(biāo)及R實(shí)現(xiàn)

1.ROC曲線

考慮一個(gè)二分問(wèn)題，即將實(shí)例分成正類(lèi)（positive）或負(fù)類(lèi)（negative）。對(duì)一個(gè)二分問(wèn)題來(lái)說(shuō)，會(huì)出現(xiàn)四種情況。如果一個(gè)實(shí)例是正類(lèi)并且也被 預(yù)測(cè)成正類(lèi)，即為真正類(lèi)（True positive）,如果實(shí)例是負(fù)類(lèi)被預(yù)測(cè)成正類(lèi)，稱(chēng)之為假正類(lèi)（False positive）。相應(yīng)地，如果實(shí)例是負(fù)類(lèi)被預(yù)測(cè)成負(fù)類(lèi)，稱(chēng)之為真負(fù)類(lèi)（True negative）,正類(lèi)被預(yù)測(cè)成負(fù)類(lèi)則為假負(fù)類(lèi)（false negative）。
列聯(lián)表如下表所示，1代表正類(lèi)，0代表負(fù)類(lèi)。

真正類(lèi)率(true positive rate ,TPR), 也稱(chēng)為 Sensitivity，計(jì)算公式為T(mén)PR=TP/ (TP+ FN)，刻畫(huà)的是分類(lèi)器所識(shí)別出的 正實(shí)例占所有正實(shí)例的比例。
    假正類(lèi)率(false positive rate, FPR),計(jì)算公式為FPR= FP / (FP + TN)，計(jì)算的是分類(lèi)器錯(cuò)認(rèn)為正類(lèi)的負(fù)實(shí)例占所有負(fù)實(shí)例的比例。
    真負(fù)類(lèi)率（True Negative Rate，TNR），也稱(chēng)為specificity,計(jì)算公式為T(mén)NR=TN/ (FP+ TN) = 1 - FPR。 在一個(gè)二分類(lèi)模型中，對(duì)于所得到的連續(xù)結(jié)果，假設(shè)已確定一個(gè)閾值，比如說(shuō) 0.6，大于這個(gè)值的實(shí)例劃歸為正類(lèi)，小于這個(gè)值則劃到負(fù)類(lèi)中。如果減小閾值，減到0.5，固然能識(shí)別出更多的正類(lèi)，也就是提高了識(shí)別出的正例占所有正例的比例，即TPR，但同時(shí)也將更多的負(fù)實(shí)例當(dāng)作了正實(shí)例，即提高了FPR。為了形象化這一變化，在此引入ROC。

ROC曲線正是由兩個(gè)變量1-specificity(x軸) 和 Sensitivity(y軸)繪制的，其中1-specificity為FPR，Sensitivity為T(mén)PR。隨著閾值的改變，就能得到每個(gè)閾值所對(duì)應(yīng)的1-specificity和Sensitivity，最后繪制成圖像。
該圖像的面積如果越接近1，那么我們則認(rèn)為該分類(lèi)器效果越好。從直覺(jué)上來(lái)說(shuō)，假設(shè)我們的預(yù)測(cè)全部100%正確，那么不管閾值怎么變（除了閾值等于0和1時(shí)），我們的Sensitivity（真正類(lèi)）率永遠(yuǎn)等于1，1-specificity（1-真負(fù)類(lèi)率）永遠(yuǎn)等于0，所以該圖就是個(gè)正方形，面積為1，效果最好。

樣例數(shù)據(jù)集：

library(ROCR)
data(ROCR.simple)
ROCR.simple<-as.data.frame(ROCR.simple)
head(ROCR.simple)
# predictions labels
# 1   0.6125478      1
# 2   0.3642710      1
# 3   0.4321361      0
# 4   0.1402911      0
# 5   0.3848959      0
# 6   0.2444155      1

繪制ROC圖：

pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)
perf <- performance(pred,"tpr","fpr")
plot(perf,colorize=TRUE)

2.AUC值
AUC值就是ROC曲線下的面積，可以通過(guò)以下代碼計(jì)算：
pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)
auc.tmp <- performance(pred,"auc")
auc <- as.numeric(auc.tmp@y.values)
3.Recall-Precision（PR）曲線
同樣是一個(gè)二分類(lèi)的模型的列聯(lián)表，我們可以定義：

然后我們通過(guò)計(jì)算不同的閾值，以Recall為X軸，Precision為Y軸繪制圖像。
PR圖可以有這樣的應(yīng)用，引用一個(gè)例子[1]:
1. 地震的預(yù)測(cè)
對(duì)于地震的預(yù)測(cè)，我們希望的是RECALL非常高，也就是說(shuō)每次地震我們都希望預(yù)測(cè)出來(lái)。這個(gè)時(shí)候我們可以犧牲PRECISION。情愿發(fā)出1000次警報(bào)，把10次地震都預(yù)測(cè)正確了；也不要預(yù)測(cè)100次對(duì)了8次漏了兩次。
2. 嫌疑人定罪
基于不錯(cuò)怪一個(gè)好人的原則，對(duì)于嫌疑人的定罪我們希望是非常準(zhǔn)確的。及時(shí)有時(shí)候放過(guò)了一些罪犯（recall低），但也是值得的。

對(duì)于分類(lèi)器來(lái)說(shuō)，本質(zhì)上是給一個(gè)概率，此時(shí)，我們?cè)龠x擇一個(gè)CUTOFF點(diǎn)（閥值），高于這個(gè)點(diǎn)的判正，低于的判負(fù)。那么這個(gè)點(diǎn)的選擇就需要結(jié)合你的具體場(chǎng)景去選擇。反過(guò)來(lái)，場(chǎng)景會(huì)決定訓(xùn)練模型時(shí)的標(biāo)準(zhǔn)，比如第一個(gè)場(chǎng)景中，我們就只看RECALL=99.9999%（地震全中）時(shí)的PRECISION，其他指標(biāo)就變得沒(méi)有了意義。

繪制代碼：

pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)
RP.perf <- performance(pred, "prec", "rec")
plot (RP.perf)
#查看閾值為0.1，0.5，0.9下的召回率和精確率
plot(RP.perf, colorize=T, colorkey.pos="top",
     print.cutoffs.at=c(0.1,0.5,0.9), text.cex=1,
     text.adj=c(1.2, 1.2), lwd=2)

一般這曲線越靠上，則認(rèn)為模型越好。對(duì)于這個(gè)曲線的評(píng)價(jià)，我們可以使用F分?jǐn)?shù)來(lái)描述它。就像ROC使用AUC來(lái)描述一樣。

4.F1分?jǐn)?shù)

Fβ

分?jǐn)?shù)定義如下：

我們可以使用R計(jì)算F1分?jǐn)?shù)：

pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)
f.perf <- performance(pred, "f")
plot(f.perf) #橫坐標(biāo)為閾值的取值

5.均方根誤差RMSE

回歸模型中最常用的評(píng)價(jià)模型便是RMSE（root mean square error，平方根誤差），其又被稱(chēng)為RMSD（root mean square deviation），其定義如下：

其中，yi是第i個(gè)樣本的真實(shí)值，y^i是第i個(gè)樣本的預(yù)測(cè)值，n是樣本的個(gè)數(shù)。該評(píng)價(jià)指標(biāo)使用的便是歐式距離。
??RMSE雖然廣為使用，但是其存在一些缺點(diǎn)，因?yàn)樗鞘褂闷骄`差，而平均值對(duì)異常點(diǎn)（outliers）較敏感，如果回歸器對(duì)某個(gè)點(diǎn)的回歸值很不理性，那么它的誤差則較大，從而會(huì)對(duì)RMSE的值有較大影響，即平均值是非魯棒的。 所以有的時(shí)候我們會(huì)先剔除掉異常值，然后再計(jì)算RMSE。

R語(yǔ)言中RMSE計(jì)算代碼如下：

pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)
rmse.tmp<-performance(pred, "rmse")
rmse<-rmse.tmp@y.values
6.SAR

SAR是一個(gè)結(jié)合了各類(lèi)評(píng)價(jià)指標(biāo)，想要使得評(píng)價(jià)更具有魯棒性的指標(biāo)。(cf. Caruana R., ROCAI2004):

其中準(zhǔn)確率(Accuracy)是指在分類(lèi)中，使用測(cè)試集對(duì)模型進(jìn)行分類(lèi)，分類(lèi)正確的記錄個(gè)數(shù)占總記錄個(gè)數(shù)的比例：

pred <- prediction(ROCR.simple$predictions, ROCR.simple$labels)
sar.perf<-performance(pred, "sar")
7.多分類(lèi)的AUC[5]

將二類(lèi) AUC 方法直接擴(kuò)展到多類(lèi)分類(lèi)評(píng)估中, 存在表述空間維數(shù)高、復(fù)雜性大的問(wèn)題。 一般采用將多類(lèi)分類(lèi)轉(zhuǎn)成多個(gè)二類(lèi)分類(lèi)的思想, 用二類(lèi) AUC 方法來(lái)評(píng)估多類(lèi)分類(lèi)器的性能。Fawcett 根據(jù)這種思想提出了 F- AUC 方法[4], 該評(píng)估模型如下

其中AUC(i,rest)是計(jì)算 用 ” 1- a- r”方 法 得 到 的 每 個(gè) 二 類(lèi) 分 類(lèi)器的 AUC 值,“ 1- a- r”方法思想是 k 類(lèi)分類(lèi)問(wèn)題構(gòu)造 k 個(gè)二類(lèi)分類(lèi)器, 第 i 個(gè)二類(lèi)分類(lèi)器中用第 i 類(lèi)的訓(xùn)練樣本作為正例, 其他所有樣本作為負(fù)例。 p ( i) 是計(jì)算每個(gè)類(lèi)在所有樣本中占有的比例,