二分类算法评估指标

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了二分类算法评估指标，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含3983字，纯文字阅读大概需要6分钟。

内容图文

我们都知道机器学习要建模，但是对于模型性能的好坏我们并不知道是怎样的，很可能这个模型就是一个差的模型，对测试集不能很好的预测。那么如何知道这个模型是好是坏呢？必须有个评判的标准，需要用某个指标来衡量，这就是性能度量的意义。有了一个指标，就可以对比不同模型了，从而知道哪个模型更好，或者通过这个指标来调参优化选用的模型。 ? 对于分类、回归、聚类等，分别有各自的评判标准。本篇主要介绍二分类算法（多分类可以扩展转化成二分类）的相关指标。评估一个二分类的分类器的性能指标有：准确率、查准率、查全率、F1值、AUC/ROC。前面几个比较直观，AUC/ROC相对抽象一点。经常会以AUC/ROC为代表来考察对分类算法指标的认知程度：什么是AUC/ROC？横轴纵轴都代表什么？有什么优点？为什么要使用它？不是因为它的复杂度更高，主要是它对项目场景的衡量更贴切。 ? ? 背景介绍-混淆矩阵与常规定义 对于二分类模型，预测情况与实际情况会得出2*2=4种组合，形成混淆矩阵：

	预测正例	预测反例
实际正例	TP: True Positive	FN: False Negative
实际反例	FP: False Positive	TN: True Negative

? 真正(True??Positive , TP)：被模型预测为正的正样本 假正(False Positive , FP)：被模型预测为正的负样本 假负(False Negative , FN)：被模型预测为负的正样本 真负(True??Negative , TN)：被模型预测为负的负样本 ? 真正率(True??Positive Rate,TPR)：TPR=TP/(TP+FN)，即被预测为正的正样本数 /正样本实际数 假正率(False Positive Rate,FPR) ：FPR=FP/(FP+TN)，即被预测为正的负样本数 /负样本实际数 假负率(False Negative Rate,FNR) ：FNR=FN/(TP+FN)，即被预测为负的正样本数 /正样本实际数 真负率(True??Negative Rate,TNR) ：TNR=TN/(TN+FP)，即被预测为负的负样本数 /负样本实际数 ? ? 性能指标 准确率（Accuracy）：  Accuracy = (TP+TN)/(TP+FN+FP+TN) 即正确预测的正反例数 /预测总数。准确率是预测正确的结果占总样本的百分比，是很自然就会想到的指标，但很多项目场景都不适用！最主要的原因是样本不平衡。举个简单的例子，比如在一个总样本中，正样本占90%，负样本占10%，样本是严重不平衡的。对于这种情况，我们只需要将全部样本预测为正样本即可得到90%的高准确率，但实际上我们并没有很用心的分类，只是随便无脑一分而已。这就说明了：由于样本不平衡的问题，导致了得到的高准确率结果含有很大的水分。即如果样本不平衡，准确率就会失效。 ? 精确率（Precision）： Precision = TP/(TP+FP) 即正确预测的正例数 /预测正例总数。可理解为查准率。在预测为正的记录中，有多少实际为正？ ? 召回率（Recall）： Recall = TP/(TP+FN) 即正确预测的正例数 /实际正例总数 。可理解为查全率。在实际为正的记录中，有多少预测为正？ ? F1 score ： 2/F1 = 1/Precision + 1/Recall 精确率和召回率的调和值。由于Precision和Recall是一对不可调和的矛盾，很难同时提高二者，也很难综合评价。故提出F1来试图综合二者，F1是P和R的调和平均。F1更接近于两个数较小的那个，所以精确率和召回率接近时值最大。很多推荐系统会用的评测指标。 ? ROC曲线： 以假正率FPR为横轴，以真正率TPR为纵轴，绘制的曲线 FPR表示模型虚报的响应程度，而TPR表示模型预测响应的覆盖程度。我们希望：虚报的越少越好，覆盖的越多越好。总结一下就是FPR越低TPR越高（即ROC曲线越陡），那么模型就越好。ROC曲线无视样本不平衡。 画曲线的用意是：用假正率与真正率的变化趋势，来观察模型是否能在较低的假正率下得到较高的真正率。 ? AUC： Area under the ROC curve   绘制ROC曲线时，横轴纵轴都是0~1，形成一个1*1的正方形。AUC就是在这个正方形里ROC曲线围成的面积。 如果连接正方形的对角线，它的面积正好是0.5。对角线的实际含义是：随机判断响应与不响应，正负样本覆盖率都是50%，即AUC ＝0.5表示随机分类器。AUC < 0.5表示差于随机分类器，没有建模价值；AUC ＝ 1表示完美分类器，不存在；0.5 < AUC < 1，优于随机分类器，大多模型都在这个区间里。 ? AUC的一般判断标准 0.5 - 0.7：效果较低，但用于预测股票已经很不错了 0.7 - 0.85：效果一般 0.85 - 0.95：效果很好 0.95 - 1：效果非常好，但基本不太可能 ? ? 场景决定指标 指标没有单纯的谁比谁好，选择指标还是要结合具体的使用场景。比如： 嫌疑人定罪：基于不错怪一个好人的原则，有时候放过一些嫌疑人也是值得的。宁漏，不错。 地震的预测：情愿发出100次警报10次都没漏，也不要发出10次警报对了8次漏了2次。宁错，不漏。 在地震场景中可以只看Recall=99.99999%（地震全中）时的Precision，其他指标就变得没有了意义。 ? ? 学习参考： https://www.cnblogs.com/zongfa/p/9431807.html?综合性介绍 https://www.jianshu.com/p/7b3cc8e44096?非AUC/ROC示例好理解 https://www.jianshu.com/p/f07a79dfeb1d?AUC/ROC的讲解更清晰 ? ?

内容总结

以上是互联网集市为您收集整理的二分类算法评估指标全部内容，希望文章能够帮你解决二分类算法评估指标所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---