機(jī)器學(xué)習(xí)中的Accuracy，Precision，Recall和F1-Score

在模式識別和信息檢索領(lǐng)域，二分類的問題（binary classification）是常會遇到的一類問題。例如，銀行的信用卡中心每天都會收到很多的信用卡申請，銀行必須根據(jù)客戶的一些資料來預(yù)測這個客戶是否有較高的違約風(fēng)險，并據(jù)此判斷是否要核發(fā)信用卡給該名客戶。顯然“是否會違約”就是一個二分類的問題。

如果你已經(jīng)根據(jù)訓(xùn)練數(shù)據(jù)建立了一個模型，接下來你會用一些測試數(shù)據(jù)來評估你模型的效果，即 Evaluate model on held-out（留存） test data。通常你可能會考慮的評估指標(biāo)主要有

Accuracy

Precision

Recall

F1 Score

但是這些指標(biāo)常常令人混淆不清，下面我們逐個介紹并加以辨析。作為一個例子，來看表中這組分類結(jié)果

1、Accuracy

2、Precision

盡管 Accuracy 和 Precision 都可以翻譯成“準(zhǔn)確率”，但是二者含義并不相同。Precision 又稱為 Positive predictive value，對于一個機(jī)器學(xué)習(xí)模型而言，假設(shè)有下圖所示的預(yù)測結(jié)果：

那么，Precision = TP/(TP+FP)，如果我們將B視作Positive class，那么Precision就是

“被預(yù)測成B且正確的/（被預(yù)測成B且正確的+被預(yù)測成B但錯誤的），即有

如果現(xiàn)在討論的是一個信息檢索問題，那么Precision，通常可譯為“查準(zhǔn)率”，（假設(shè)我們的目標(biāo)是檢索B）就是指：檢索到的正確的信息（或文檔）數(shù)（正確就是指與B相關(guān)）/ {檢索到的正確的信息數(shù)（IR認(rèn)為與B相關(guān)且確實相關(guān)） + 檢索到的錯誤的信息數(shù)（IR認(rèn)為與B相關(guān)但并不相關(guān)）}

3、Recall

Recall （常常譯為”召回率“）是與 Precision  相對應(yīng)的另外一個廣泛用于信息檢索和統(tǒng)計學(xué)分類領(lǐng)域的度量值，用來評價結(jié)果的質(zhì)量。

Recall = TP/(TP + FN)，同樣如果我們將B視作Positive class，那么 Recall 就是

“被預(yù)測成B且正確的/（被預(yù)測成B且正確的+被預(yù)測成A但錯誤的（其實本來是B的）），即有

如果現(xiàn)在討論的是一個信息檢索問題，那么Recall通常可譯為“查全率”，（假設(shè)我們的目標(biāo)是檢索B）就是指：檢索到的正確的信息（或文檔）數(shù)（正確就是指與B相關(guān)）/ {檢索到的正確的信息數(shù)（IR認(rèn)為與B相關(guān)且確實相關(guān)） + 沒有檢索到的但卻相關(guān)的信息數(shù)（本來與B相關(guān)但I(xiàn)R認(rèn)為并不相關(guān)所以未檢索到的）}，即檢索出的相關(guān)文檔數(shù)和文檔庫中所有的相關(guān)文檔數(shù)的比率。

顯然，   Precision 和 Recall 兩者取值在0和1之間，數(shù)值越接近1，查準(zhǔn)率或查全率就越高。 

4、F1 Score

F1 score (或稱 F-score 或 F-measure) ，是一個兼顧考慮了Precision 和 Recall 的評估指標(biāo)。通常， F-measure 就是指 Precision 和 Recall 的調(diào)和平均數(shù)（Harmonic mean），即數(shù)據(jù)分析師培訓(xùn)

更廣泛的，對于一個實數(shù)β，還可以定義