正文

机器学习性能指标（ROC、AUC、召回率）

IP云
IP云V管理员/4 阅读
08/01
提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

混淆矩阵

构造一个高正确率或高召回率的分类器比较容易，但很难保证二者同时成立

ROC

  1. 横轴：FPR(假正样本率)=FP/(FP+TN) 即，所有负样本中被分错的比例

  2. 纵轴：TPR(真正样本率)=TP/(TP+FN) 即，所有正样本中被分对的比例

横轴越小越好，纵轴越大越好，即，ROC曲线在斜对角线以下，则表示该分类器效果差于随机分类器，反之，效果好于随机分类器，当然，我们希望ROC曲线尽量除于斜对角线以上，也就是向左上角（0,1）凸。

AUC

ROC下的面积，即，

  1. ROC曲线反映了分类器的分类能力，结合考虑了分类器输出概率的准确性

  2. AUC量化了ROC曲线的分类能力，越大分类效果越好，输出概率越合理

  3. AUC常用作CTR的离线评价，AUC越大，CTR的排序能力越强

  • AUC ＝ 1，代表完美分类器

  • 0.5 < AUC < 1，优于随机分类器

  • 0 < AUC < 0.5，差于随机分类器