ROC曲線(xiàn)-閾值評(píng)價(jià)標(biāo)準(zhǔn)參考模板

1、ROC曲線(xiàn)指受試者工作特征曲線(xiàn) / 接收器操作特性曲線(xiàn)(receiver operating characteristic curve), 是反映敏感性和特異性連續(xù)變量的綜合指標(biāo),是用構(gòu)圖法揭示敏感性和特異性的相互關(guān)系，它通過(guò)將連續(xù)變量設(shè)定出多個(gè)不同的臨界值，從而計(jì)算出一系列敏感性和特異性，再以敏感性為縱坐標(biāo)、（1-特異性）為橫坐標(biāo)繪制成曲線(xiàn)，曲線(xiàn)下面積越大，診斷準(zhǔn)確性越高。在ROC曲線(xiàn)上，最靠近坐標(biāo)圖左上方的點(diǎn)為敏感性和特異性均較高的臨界值。ROC曲線(xiàn)的例子考慮一個(gè)二分問(wèn)題，即將實(shí)例分成正類(lèi)（positive）或負(fù)類(lèi)（negative）。對(duì)一個(gè)二分問(wèn)題來(lái)說(shuō)，會(huì)出現(xiàn)四種情況。如果一個(gè)實(shí)例是正類(lèi)

2、并且也被 預(yù)測(cè)成正類(lèi)，即為真正類(lèi)（True positive）,如果實(shí)例是負(fù)類(lèi)被預(yù)測(cè)成正類(lèi)，稱(chēng)之為假正類(lèi)（False positive）。相應(yīng)地，如果實(shí)例是負(fù)類(lèi)被預(yù)測(cè)成負(fù)類(lèi)，稱(chēng)之為真負(fù)類(lèi)（True negative）,正類(lèi)被預(yù)測(cè)成負(fù)類(lèi)則為假負(fù)類(lèi)（false negative）。TP：正確肯定的數(shù)目；FN：漏報(bào)，沒(méi)有正確找到的匹配的數(shù)目；FP：誤報(bào)，給出的匹配是不正確的；TN：正確拒絕的非匹配對(duì)數(shù)；列聯(lián)表如下表所示，1代表正類(lèi)，0代表負(fù)類(lèi)。   預(yù)測(cè)   10合計(jì)實(shí)際1True Positive（TP）False Negative（FN）Actu

3、al Positive(TP+FN) 0False Positive（FP)True Negative(TN)Actual Negative(FP+TN)合計(jì) Predicted Positive(TP+FP)Predicted Negative(FN+TN)TP+FP+FN+TN從列聯(lián)表引入兩個(gè)新名詞。其一是真正類(lèi)率(true positive rate ,TPR), 計(jì)算公式為T(mén)PR=TP/ (TP+ FN)，刻畫(huà)的是分類(lèi)器所識(shí)別出的 正實(shí)例占所有正實(shí)例的比例。另外一個(gè)是負(fù)正類(lèi)率(false positive rate, FPR),計(jì)算公式為FPR= FP /

4、 (FP + TN)，計(jì)算的是分類(lèi)器錯(cuò)認(rèn)為正類(lèi)的負(fù)實(shí)例占所有負(fù)實(shí)例的比例。還有一個(gè)真負(fù)類(lèi)率（True Negative Rate，TNR），也稱(chēng)為specificity,計(jì)算公式為T(mén)NR=TN/ (FP+ TN) = 1-FPR。1 / 3其中，兩列True matches和True non-match分別代表應(yīng)該匹配上和不應(yīng)該匹配上的兩行Pred matches和Pred non-match分別代表預(yù)測(cè)匹配上和預(yù)測(cè)不匹配上的在一個(gè)二分類(lèi)模型中，對(duì)于所得到的連續(xù)結(jié)果，假設(shè)已確定一個(gè)閥值，比如說(shuō) 0.6，大于這個(gè)值的實(shí)例劃歸為正類(lèi)，小于這個(gè)值則劃到負(fù)類(lèi)中。如果減小閥值，減到0.5，固然

5、能識(shí)別出更多的正類(lèi)，也就是提高了識(shí)別出的正例占所有正例 的比類(lèi)，即TPR,但同時(shí)也將更多的負(fù)實(shí)例當(dāng)作了正實(shí)例，即提高了FPR。為了形象化這一變化，在此引入ROC，ROC曲線(xiàn)可以用于評(píng)價(jià)一個(gè)分類(lèi)器。ROC曲線(xiàn)和它相關(guān)的比率(a)理想情況下，TPR應(yīng)該接近1，F(xiàn)PR應(yīng)該接近0。ROC曲線(xiàn)上的每一個(gè)點(diǎn)對(duì)應(yīng)于一個(gè)threshold，對(duì)于一個(gè)分類(lèi)器，每個(gè)threshold下會(huì)有一個(gè)TPR和FPR。比如Threshold最大時(shí)，TP=FP=0，對(duì)應(yīng)于原點(diǎn)；Threshold最小時(shí)，TN=FN=0，對(duì)應(yīng)于右上角的點(diǎn)(1,1)(b)P和N得分不作為特征間距離d的一個(gè)函數(shù)，隨著閾值theta增加，TP和FP都增

6、加Receiver Operating Characteristic,翻譯為"接受者操作特性曲線(xiàn)"，夠拗口的。曲線(xiàn)由兩個(gè)變量1-specificity 和 Sensitivity繪制. 1-specificity=FPR，即負(fù)正類(lèi)率。Sensitivity即是真正類(lèi)率，TPR(True positive rate),反映了正類(lèi)覆蓋程度。這個(gè)組合以1-specificity對(duì)sensitivity,即是以代價(jià)(costs)對(duì)收益(benefits)。       此外，ROC曲線(xiàn)還可以用來(lái)計(jì)算“均值平均精度”（mean average

7、precision），這是當(dāng)你通過(guò)改變閾值來(lái)選擇最好的結(jié)果時(shí)所得到的平均精度（PPV）.下表是一個(gè)邏輯回歸得到的結(jié)果。將得到的實(shí)數(shù)值按大到小劃分成10個(gè)個(gè)數(shù) 相同的部分。 Percentile實(shí)例數(shù)正例數(shù)1-特異度(%)敏感度(%)10618048792.7334.6420618028049.8054.55306180216518.2269.92406180150628.0180.6250618098738.9087.6260618052950.7491.3870618036562.9393.9780618029475.2696.0690618029787.5998.171006177258100.00100.00其正例數(shù)為此部分里實(shí)際的正類(lèi)數(shù)。也就是說(shuō)，將邏輯回歸得到的結(jié) 果按從大到小排列，倘若以前10%的數(shù)值作為閥值，即將前10%的實(shí)例都劃歸為正類(lèi)，6180個(gè)。其中，正確的個(gè)數(shù)為4879個(gè)，占所有正類(lèi)的 4879