08-分類評(píng)價(jià)指標(biāo)

1、分類模型的評(píng)價(jià)指標(biāo)王秋月中國(guó)人民大學(xué)信息學(xué)院要求你為白血病的診斷構(gòu)建一個(gè)分類器訓(xùn)練數(shù)據(jù)：1% 的樣例患有白血病，99% 是健康的評(píng)價(jià)指標(biāo)是預(yù)測(cè)精度：即預(yù)測(cè)正確的百分比精度指標(biāo)的局限性要求你為白血病的診斷構(gòu)建一個(gè)分類器訓(xùn)練數(shù)據(jù)：1% 的樣例患有白血病，99% 是健康的評(píng)價(jià)指標(biāo)是預(yù)測(cè)精度：即預(yù)測(cè)正確的百分比那么構(gòu)建一個(gè)最簡(jiǎn)單的分類器，對(duì)所有輸入都回答“健康”仍然可以達(dá)到99%的精度。精度指標(biāo)的局限性現(xiàn)實(shí)中樣本在不同類別的分布不平衡，導(dǎo)致精度不能很好地反應(yīng)分類器的性能PredictedPositivePredictedNegativeActual PositiveTrue Positive (TP)

2、False Negative (FN)Actual NegativeFalse Positive (FP)True Negative (TN)混淆矩陣混淆矩陣（confusion matrix）可以展示各種類型的錯(cuò)誤，能更好地描述模型的性能；從混淆矩陣中可計(jì)算出多種指標(biāo)。PredictedPositivePredictedNegativeActual PositiveTrue Positive (TP)False Negative (FN)Actual NegativeFalse Positive (FP)True Negative (TN)Type II ErrorType I Error混

3、淆矩陣漏報(bào)誤報(bào)PredictedPositivePredictedNegativeActual PositiveTrue Positive (TP)False Negative (FN)Actual NegativeFalse Positive (FP)True Negative (TN)Accuracy = TP + TNError = 1 - AccuracyTP + FN + FP + TN精度：預(yù)測(cè)正確的比例SensitivityTP + FNRecall or= TPPredictedPositivePredictedNegativeActual PositiveTrue Posit

4、ive (TP)False Negative (FN)Actual NegativeFalse Positive (FP)True Negative (TN)查全率或敏感度：識(shí)別出所有正例Precision = TPTP + FPPredictedPositivePredictedNegativeActual PositiveTrue Positive (TP)False Negative (FN)Actual NegativeFalse Positive (FP)True Negative (TN)查準(zhǔn)率：識(shí)別出的都是正例Specificity = TN FP + TNPredictedPo

5、sitivePredictedNegativeActual PositiveTrue Positive (TP)False Negative (FN)Actual NegativeFalse Positive (FP)True Negative (TN)特異度：避免誤報(bào)PredictedPositivePredictedNegativeActual PositiveTrue Positive (TP)False Negative (FN)Actual NegativeFalse Positive (FP)True Negative (TN)Accuracy =TP + TNPrecision

6、=TP + FN + FP + TN TPTP + FPRecall or SensitivityTP=Specificity =TP + FN TNFP + TNF1 = 2 xPrecision * RecallPrecision + Recall錯(cuò)誤評(píng)價(jià)指標(biāo)0.20.40.60.81.0Perfect ModelBetterRandom GuessWorse0.20.40.60.81.0False Positive Rate (1Specificity)取所有可能的閾值，計(jì)算（FPR, TPR)True Positive Rate (Sensitivity)受試者工作特征（Receive

7、r Operating Characteristic，ROC）曲線真正例率（TPR）：在所有實(shí)際為陽性的樣本中，被正確地判斷為陽性之比率。假正例率（FPR）：在所有實(shí)際為陰性的樣本中，被錯(cuò)誤地判斷為陽性之比率。取所有可能的閾值，計(jì)算（FPR, TPR)0.20.40.60.81.00.20.40.60.81.0False Positive Rate (1Specificity)AUC 0.9AUC 0.75AUC 0.5True Positive Rate (Sensitivity)ROC曲線下面積（AUC）衡量ROC曲線下的面積衡量查準(zhǔn)率與查全率之間的權(quán)衡P-R曲線Predicted Cla

8、ss 1Predicted Class 2Predicted Class 3Actual Class 1TP1ActualClass 2TP2Actual Class 3TP3多分類錯(cuò)誤評(píng)價(jià)指標(biāo)Predicted Class 1Predicted Class 2Predicted Class 3Actual Class 1TP1ActualClass 2TP2Actual Class 3TP3Accuracy =TP1 + TP2 + TP3Total多分類錯(cuò)誤評(píng)價(jià)指標(biāo)Predicted Class 1Predicted Class 2Predicted Class 3Actual Class

9、 1TP1ActualClass 2TP2Actual Class 3TP3Accuracy =TP1 + TP2 + TP3Total大部分多分類錯(cuò)誤評(píng)價(jià)指標(biāo)和二分類的類似只是擴(kuò)展為求和取平均。多分類錯(cuò)誤評(píng)價(jià)指標(biāo)宏平均和微平均宏平均（Macro-averaging），先對(duì)每個(gè)類統(tǒng)計(jì)指標(biāo)值，然后再對(duì)所有類求算術(shù)平均值。微平均（Micro-averaging），對(duì)數(shù)據(jù)集中每個(gè)實(shí)例不分類別進(jìn)行統(tǒng)計(jì)，建立全局混淆矩陣，然后再計(jì)算相應(yīng)指標(biāo)。練習(xí)假設(shè)有10個(gè)樣本，屬于A、B、C三個(gè)類別。假設(shè)這10個(gè)樣本的真實(shí)類別和預(yù)測(cè)的類別分別是：真實(shí)：A A A C B C A B B C預(yù)測(cè)：A A C B A C

10、 A C B C求出每個(gè)類別的P, R, 和F1求出宏平均P, R, 和F1求出微平均P, R, 和F1micro-F1=micro-precision=micro-recall = accuracy導(dǎo)入想用的評(píng)價(jià)指標(biāo)函數(shù)：from sklearn.metrics import accuracy_score在測(cè)試集和預(yù)測(cè)得到的結(jié)果上計(jì)算指標(biāo)值：accuracy_value = accuracy_score(y_test, y_pred)分類錯(cuò)誤評(píng)價(jià)指標(biāo)的語法導(dǎo)入想用的評(píng)價(jià)指標(biāo)函數(shù)：from sklearn.metrics import accuracy_score在測(cè)試集和預(yù)測(cè)得到的結(jié)果上計(jì)算指標(biāo)值：accuracy_value = accuracy_score(y_test, y_pred)分類錯(cuò)誤評(píng)價(jià)指標(biāo)的語法其他評(píng)價(jià)指標(biāo)函數(shù)和檢測(cè)工具:from sklearn.metrics import precision_score, recall_score,f1_score, roc_auc_score,confu