ROC 曲線が破線(ランダム分類器)より上に大きく位置していれば、モデルはランダムよりも良く分類できていることを示します。曲線が左上に近いほど性能が高く、AUC(曲線下面積)が大きくなります。

ProbWinが一番良い

 

•     ProbWin: 青線が対角線に近く、予測確率と実際の発生率が概ね一致している。確率の信頼性(calibration)が良好。
•     Prob2: 青線が対角線から大きく外れている。ある確率帯で過大評価または過小評価があり、確率そのものを閾値や意思決定に使うと期待通りに動かない可能性が高い。
•     Prob3: Prob2ほどではないが、いくつかのビンで乖離が見られる。部分的に補正すれば改善できる余地がある。