分類模型評(píng)價(jià)指標(biāo)：精確率、正確率、召回率、F值、ROC、AUC等指標(biāo)。

精確率(precision)是針對(duì)我們預(yù)測(cè)結(jié)果而言的，它表示的是預(yù)測(cè)為正的樣本中有多少是真正的正樣本，也就是precision=TP/(TP+FP)。

而召回率(recall)是針對(duì)我們?cè)瓉?lái)的樣本而言的，它表示的是樣本中的正例有多少被預(yù)測(cè)正確了，也就是recall=TP/(TP+FN)。

一個(gè)分母是預(yù)測(cè)為正的樣本數(shù)，另一個(gè)是原來(lái)樣本中所有的正樣本數(shù)。

準(zhǔn)確率(accuracy)是預(yù)測(cè)對(duì)的數(shù)量占所有樣本的比例，也就是accuracy= (TP+TN)/(TP+FN+FP+TN)。

F值是精確率和召回率的調(diào)和平均值，精確率和召回率都高的情況下，F(xiàn)值也會(huì)高。也就是2/F=1/P+1/R，即F=P*R/2(P+R)=2TP/(2TP+FP+FN)。

評(píng)估一個(gè)分類器的好壞可以設(shè)一個(gè)閾值，大于這個(gè)值的為正類，小于這個(gè)值為負(fù)類。如果我們減小這個(gè)閥值，那么更多的樣本會(huì)被識(shí)別為正類。這會(huì)提高正類的識(shí)別率，但同時(shí)也會(huì)使得更多的負(fù)類被錯(cuò)誤識(shí)別為正類。為了形象化這一變化，在此引入 ROC，ROC 關(guān)注兩個(gè)指標(biāo)：true positive rate：TPR=TP/(TP+FN)，false positive rate：FPR=FP/(FP+TN)。TPR 代表能將正例分對(duì)的概率，F(xiàn)PR 代表將負(fù)例錯(cuò)分為正例的概率。在 ROC 空間中，每個(gè)點(diǎn)的橫坐標(biāo)是 FPR，縱坐標(biāo)是 TPR，這也就描繪了分類器在 TP（真正率）和 FP（假正率）間的 trade-off2。

AUC（Area Under Curve）被定義為ROC曲線下的面積，顯然這個(gè)面積的數(shù)值不會(huì)大于1。隨機(jī)挑選一個(gè)正樣本以及一個(gè)負(fù)樣本，分類器判定正樣本的值高于負(fù)樣本的概率就是 AUC 值。AUC值越大的分類器，正確率越高。

既然已經(jīng)有那么多的評(píng)價(jià)指標(biāo)，為什么還要使用ROC和AUC呢？

因?yàn)镽OC曲線有個(gè)很好的特性：當(dāng)測(cè)試集中的正負(fù)樣本的分布變化的時(shí)候，ROC曲線能夠保持不變。在實(shí)際的數(shù)據(jù)集中經(jīng)常會(huì)出現(xiàn)類不平衡現(xiàn)象，即負(fù)樣本比正樣本多很多或者少很多。

回歸模型的評(píng)價(jià)指標(biāo)：平均絕對(duì)誤差、平均平方誤差。

平均絕對(duì)誤差MAE（Mean Absolute Error）又被稱為 l₁ 范數(shù)損失：

平均平方誤差MSE（Mean Squared Error）又被稱為 l₂范數(shù)損失：