數(shù)據(jù)挖掘系列分類算法評(píng)價(jià)

一、引言

分類算法有很多，不同分類算法又用很多不同的變種。不同的分類算法有不同的特定，在不同的數(shù)據(jù)集上表現(xiàn)的效果也不同，我們需要根據(jù)特定的任務(wù)進(jìn)行算法的選擇，如何選擇分類，如何評(píng)價(jià)一個(gè)分類算法的好壞，前面關(guān)于決策樹的介紹，我們主要用的正確率（accuracy）來評(píng)價(jià)分類算法。

正確率確實(shí)是一個(gè)很好很直觀的評(píng)價(jià)指標(biāo)，但是有時(shí)候正確率高并不能代表一個(gè)算法就好。比如某個(gè)地區(qū)某天地震的預(yù)測(cè)，假設(shè)我們有一堆的特征作為地震分類的屬性，類別只有兩個(gè)：0：不發(fā)生地震、1：發(fā)生地震。一個(gè)不加思考的分類器，對(duì)每一個(gè)測(cè)試用例都將類別劃分為0，那那么它就可能達(dá)到99%的正確率，但真的地震來臨時(shí)，這個(gè)分類器毫無察覺，這個(gè)分類帶來的損失是巨大的。為什么99%的正確率的分類器卻不是我們想要的，因?yàn)檫@里數(shù)據(jù)分布不均衡，類別1的數(shù)據(jù)太少，完全錯(cuò)分類別1依然可以達(dá)到很高的正確率卻忽視了我們關(guān)注的東西。接下來詳細(xì)介紹一下分類算法的評(píng)價(jià)指標(biāo)。

二、評(píng)價(jià)指標(biāo)

1、幾個(gè)常用的術(shù)語(yǔ)

這里首先介紹幾個(gè)常見的模型評(píng)價(jià)術(shù)語(yǔ)，現(xiàn)在假設(shè)我們的分類目標(biāo)只有兩類，計(jì)為正例（positive）和負(fù)例（negtive）分別是：

1）True positives(TP):  被正確地劃分為正例的個(gè)數(shù)，即實(shí)際為正例且被分類器劃分為正例的實(shí)例數(shù)（樣本數(shù)）；

2）False positives(FP): 被錯(cuò)誤地劃分為正例的個(gè)數(shù)，即實(shí)際為負(fù)例但被分類器劃分為正例的實(shí)例數(shù)；

3）False negatives(FN):被錯(cuò)誤地劃分為負(fù)例的個(gè)數(shù)，即實(shí)際為正例但被分類器劃分為負(fù)例的實(shí)例數(shù)；

4）True negatives(TN): 被正確地劃分為負(fù)例的個(gè)數(shù)，即實(shí)際為負(fù)例且被分類器劃分為負(fù)例的實(shí)例數(shù)?！　?/span>

上圖是這四個(gè)術(shù)語(yǔ)的混淆矩陣，我只知道FP叫偽陽(yáng)率，其他的怎么稱呼就不詳了。注意P=TP+FN表示實(shí)際為正例的樣本個(gè)數(shù)，我曾經(jīng)誤以為實(shí)際為正例的樣本數(shù)應(yīng)該為TP+FP，這里只要記住True、False描述的是分類器是否判斷正確，Positive、Negative是分類器的分類結(jié)果。如果正例計(jì)為1、負(fù)例計(jì)為-1，即positive=1、negtive=-1，用1表示True，-1表示False，那么實(shí)際的類標(biāo)=TF*PN，TF為true或false，PN為positive或negtive。例如True positives(TP)的實(shí)際類標(biāo)=1*1=1為正例，F(xiàn)alse positives(FP)的實(shí)際類標(biāo)=（-1）*1=-1為負(fù)例，F(xiàn)alse negatives(FN)的實(shí)際類標(biāo)=（-1）*（-1）=1為正例，True negatives(TN)的實(shí)際類標(biāo)=1*（-1）=-1為負(fù)例。

2、評(píng)價(jià)指標(biāo)

1）正確率（accuracy）

正確率是我們最常見的評(píng)價(jià)指標(biāo)，accuracy = （TP+TN）/(P+N)，這個(gè)很容易理解，就是被分對(duì)的樣本數(shù)除以所有的樣本數(shù)，通常來說，正確率越高，分類器越好；

2）錯(cuò)誤率（error rate)

錯(cuò)誤率則與正確率相反，描述被分類器錯(cuò)分的比例，error rate = (FP+FN)/(P+N)，對(duì)某一個(gè)實(shí)例來說，分對(duì)與分錯(cuò)是互斥事件，所以accuracy =1 -  error rate；

3）靈敏度（sensitive）

sensitive = TP/P，表示的是所有正例中被分對(duì)的比例，衡量了分類器對(duì)正例的識(shí)別能力；

4）特效度（specificity)

specificity = TN/N，表示的是所有負(fù)例中被分對(duì)的比例，衡量了分類器對(duì)負(fù)例的識(shí)別能力；

5）精度（precision）

精度是精確性的度量，表示被分為正例的示例中實(shí)際為正例的比例，precision=TP/（TP+FP）；

6）召回率（recall）

召回率是覆蓋面的度量，度量有多個(gè)正例被分為正例，recall=TP/(TP+FN)=TP/P=sensitive，可以看到召回率與靈敏度是一樣的。

7）其他評(píng)價(jià)指標(biāo)

計(jì)算速度：分類器訓(xùn)練和預(yù)測(cè)需要的時(shí)間；

魯棒性：處理缺失值和異常值的能力；

可擴(kuò)展性：處理大數(shù)據(jù)集的能力；

可解釋性：分類器的預(yù)測(cè)標(biāo)準(zhǔn)的可理解性，像決策樹產(chǎn)生的規(guī)則就是很容易理解的，而神經(jīng)網(wǎng)絡(luò)的一堆參數(shù)就不好理解，我們只好把它看成一個(gè)黑盒子。

對(duì)于某個(gè)具體的分類器而言，我們不可能同時(shí)提高所有上面介紹的指標(biāo)，當(dāng)然，如果一個(gè)分類器能正確分對(duì)所有的實(shí)例，那么各項(xiàng)指標(biāo)都已經(jīng)達(dá)到最優(yōu)，但這樣的分類器往往不存在。比如我們開頭說的地震預(yù)測(cè)，沒有誰(shuí)能準(zhǔn)確預(yù)測(cè)地震的發(fā)生，但我們能容忍一定程度的誤報(bào)，假設(shè)1000次預(yù)測(cè)中，有5次預(yù)測(cè)為發(fā)現(xiàn)地震，其中一次真的發(fā)生了地震，而其他4次為誤報(bào)，那么正確率從原來的999/1000=99.9%下降到996/1000=99.6，但召回率從0/1=0%上升為1/1=100%，這樣雖然謊報(bào)了幾次地震，但真的地震來臨時(shí)，我們沒有錯(cuò)過，這樣的分類器才是我們想要的，在一定正確率的前提下，我們要求分類器的召回率盡可能的高。