数据分析-评估指标(F1score和ROC曲线)

~

这里我介绍数据分析的两个评估指标， F1 score 跟 ROC曲线 ，在介绍F1 score跟ROC曲线之前，我们要先了解以下概念：

什么是混淆矩阵，我们来看下图：

注意，在上图中，蓝点是阳性，红点是阴性。
一般从医学角度说，阳性（positive），代表有病或者有病毒，阴性（negative），代表正常。

我们来上述模型有多少真阳性、真阴性、假阳性、假阴性？

上图，这就是混淆矩阵。

下面我们来学习衡量模型性能的一种方式，准确率。
准确率是什么？我们继续引用上面的图片

准确率就是在图表所有数据里，正确分类的点有多少，就是正确分类的点和总点数的比例；数学公式就是准确率=正确分类的点/总点数。
上图中，正确分类=真阳性（6）+ 真阴性（5）= 11；总点数为14

上图的准确率=11/14=0.7857

在了解精准率之前，我们来看看下面的医学预测图：

精准率的定义就是在所有预测阳性的点里有多少是真阳性？换种说法就是在所有诊断为病人中，有多少是真正的病人？

在图中可以看出，精准率都在Diagnosed sick 这一列

这一列都是诊断为阳性的数据。真阳性的数量是1000，所有阳性的数量是1000+800=1800；

所以精准率(precision) = 1000/1800=55.6%

那下图的精准率呢？

精准率是在所有预测所有诊断为病人中，有多少是真正的病人，召回率是在所有真正病人中，有多少是成功诊断为病人。召回率这里所有真正的病人是真阳性（true positive）跟 假阴性（false negative）的和，因为假阴性（false negative）是是将有病的检查为没病也是病人。

所以召回率是统计sick 这一行

这一列都是诊断为阳性的数据。真阳性的数量是1000，所有病人的数量是是真阳性（true positive）跟 假阴性（false negative）的和，1000+200=1200；

所以召回率(recall) = 1000/1200=83.3%

那下图的召回率呢？

在上面我们已经学习了精准率(precision) 跟召回率(recall) 了，从上面我们知道医疗模型的精准率(precision) 55.6%，召回率(recall) 是 83.3%，这是个高召回率模型（如果精准率(precision) 高，召回率(recall) 低那就是高精准率模型）。

现在问题是，这里有两个指标，我们每次判断模型是高精准率模型还是高召回率模型都要使用这个两个指标来判断么，这样很不方便，有没有一个指标就可以直接判断出来，这个指标就是F1 score。

问题是我们怎么把这个两个分数合并在一起呢？你能想出方法来么，有个简单的方式就是取精准率(precision) 跟召回率(recall) 这个两个数的平均值，我们可以得到平均值(55.6%+83.3%)/2=69.45%，这是一个可以接受的指标，但是取平均值没有给我们提供更多的信息，我们来在一个极端的例子来检验平均值；

比如以信用卡欺诈检测为例，图中我们有很多正常和欺诈的交易

从图中可以算出，欺诈交易比例=472/(472+284335)=0.16%。

我们使用混淆矩阵来分析它，上面《全部交易都是欺诈交易》极端模型有真阳性（472）、真阴性（0）、假阳性（284335）、假阴性（0）
该模型的精准率(precision)是就是所有我们判断为欺诈行为里面有多少真正的欺诈交易，因为我们定义所有交易都是欺诈交易，所以精准率(precision)=472/(472+284335)=0.16%，召回率(recall) 就是真正的欺诈交易里，有多少我们成功判断为欺诈行为，所以召回率(recall)=472/472=100%。

如果是取平均值作为指标来判断的话，这里平均值就是50.08%；
在这个极端模型里面使用50.08%来判断欺诈交易分数还是太高了，我们应该给一个更低的分数，甚至是零分，所以取平均值作为指标不是最好的方法。

原则上如果精准率(precision)和召回率(recall)有一个值非常低，即使另一个指标非常高，我们也想给它一个低分，这里有一个解决方案，就是 调和平均值 。
它的工作原理如下：
假设我们有两个值：x，y，x比y小，中间的值就是平均值，比平均值小的就是调和平均值，调和平均值总是小于平均值，如果两个x和y值相等，调和平均值就是平均值。调和平均值比较接近较小的数值，而不是较大的数值。所以调和平均值总是接近精准率(precision)和召回率(recall)之中的最小值。

F1 得分练习
接下来，请记住 F1 得分的公式为：

注意，在 F-β 得分公式中，如果设β=0, 则

因此， β 的最低值为 0，这时候就得出高精准率。

注意，如果 N 非常大，则

随着 Nˉ2 变成无穷大，可以看出，1/1+Nˉ2 变成 0，并且Nˉ2/1+Nˉ2会变成 1，
因此，如果取极限值，则

因此，得出结论：β 的界限在 0 和 无穷大∞ 之间。

练习：
在下面的三个模型中，哪个的 F-β 得分应该是 2、1 和 0.5？每个模型的相应的得分应该是多少？

答案是宇宙飞船的β 值是2，手机通知是1，免费样品是0.5

解答： 对于宇宙飞船，我们不允许出现任何故障零件，可以检查本身能正常运转的零件。因此，这是一个高召回率模型，因此 β = 2。
对于通知模型，因为是免费发送给客户，如果向更多的用户发送邮件也无害。但是也不能太过了，因为可能会惹怒用户。我们还希望找到尽可能多感兴趣的用户。因此，这个模型应该具有合适的精度和合适的召回率。β = 1 应该可行。
对于免费样品模型，因为寄送样品需要成本，我们不希望向不感兴趣的用户寄送样品。因此是个高精度模型。β = 0.5 应该可行。

在了解ROC曲线是怎么形成的，ROC将伪阳性率（FPR）定义为 X 轴，真阳性率（TPR）定义为 Y 轴，根据多种划分方式，得到一组（x，y）轴数据来组成的曲线， 我们来看下图，假设红蓝点都在一条线上，我们怎么划分它们呢，可以有很多中划分，比如图中红色划线的5种划分方式；

现在我们来说一下它们的伪阳性率（FPR）跟真阳性率（TPR）是多少？
首先我们来看最左边的划线，算一下（x，y）的值是多少
伪阳性率（flase positive rate）= false positives/ all negatives = 7/7=1；
真阳性率（true positive rate）= true positives/ all positives = 7/7=1；

然后我们来看最右边的划线，算一下（x，y）的值是多少
伪阳性率（flase positive rate）= false positives/ all negatives = 0/7=0；
真阳性率（true positive rate）= true positives/ all positives = 0/7=0；

从中可以看出，不管数据极端怎么变好，计算的坐标值都是在(0, 0) 到 (1,1) 的之间；

我们来看一下中间那条线的划分的（x，y）的值是多少
伪阳性率（flase positive rate）= false positives/ all negatives = 2/7=0。286；
真阳性率（true positive rate）= true positives/ all positives = 6/7=0.857；

你们可以移动该线条，计算不同的（x，y）的值，这里我就不一一计算了，计算出来的（x，y）数组，就可以画出ROC曲线。

从图中数据，我们可以计算ROC曲线的面积大概是area = 0.8；
不用的模型画出的ROC曲线不同，大概有下图的三种不同模型的ROC曲线；

第一种是随机划分的模型，第二种是比较好的划分模型，第三种是完美划分模型，随机划分的模型ROC曲线面积大概接近0.5，比较好的划分模型ROC曲线面积大概接近0.8，完美划分模型ROC曲线面积大概接近1，总的来说，ROC曲线面积越来越接近1，模型就越好。

---

龙潭区17598645343： 评价指标f - measure怎么画 - ？
林梦芦丁： 准确率与召回率(Precision & Recall) 我们先看下面这张图来加深对概念的理解,然后再具体分析.其中,用P代表Precision,R代表Recall 一般来说,Precision 就是检索出来的条目中(比如:文档、网页等)有多少是准确的,Recall就是所有准...

龙潭区17598645343： 机器学习除了准确率,召回率,roc,还有没有其他的评价指标 - ？
林梦芦丁： 看你要做什么样的任务,根据任务来定指标.比如说你如果要做的是检索方面的任务,那么准确率、召回率还有其衍生出来的F1值是常用的指标.ROC曲线当然也是一个不错的指标.如果你做的是预测方面的任务,那么衡量的就是预测的误差了,这个时候可能就会要用到RMSE(均方根误差)这样的指标了.具体的计算公式你可以百度.如果你要做的是排序方面的任务,还有MAP(平均准确率)、NDCG等等.所以说,要先确定问题,再根据问题选择相应的评价指标

龙潭区17598645343： 如何进行有效的数据分析 - ？
林梦芦丁： 首先,我们要明确数据分析的概念和含义,清楚地理解什么是数据分析; 什么是数据分析呢,浅层面讲就是通过数据,查找其中蕴含的能够反映现实状况的规律. 专业一点讲:数据分析就是适当的统计分析方法对收集来的大量数据进行分析,...

龙潭区17598645343： 如何使用SPSS进行数据分析 - ？
林梦芦丁： 说集体点,刚用Spss处理完一个调查问卷的项目,我相信肯定能帮到你! 1、如果你的数据是excel文件,直接导入到spss中(文件-数据-》选择你的数据文件) 2、其他格式的也可以导入,如果没有数据,你自己在spss里面输入,和excel没什么不同 3、因子分析,检验数据的效度,提取因子 4、信度分析 5、回归分析,计算出路径系数,这也就是最后需要的结果. 希望能帮到到您!

龙潭区17598645343： 网站统计数据分析有哪些衡量指标 - ？
林梦芦丁： 网站统计数据主要有四大指标:第一:网站趋势分析,包括实时访客,今日访客,昨日访客,最近30天访客 第二:网站来源分析,包括搜索引擎来源,搜索词来源,外部链接来源(外链) 第三:页面分析,包括受访页面,受访域名,入口页面,页面点击图分析,页面上下游内容对比 第四:访客属性分析,访客地域分布,系统环境,新老访客,访客忠诚度

龙潭区17598645343： 浅谈如何进行便利店日常数据分析 - ？
林梦芦丁： 定期进行科学的数据分析,是门店负责人掌握门店经营方向的重要手段. 门店经营指标数据分析 1、销售指标分析:主要分析本月销售情况、本月销售指标完成情况、与去年同期对比情况.通过这组数据的分析可以知道同比销售趋势、实际销售...

龙潭区17598645343： 如何用spss进行数据分析 - ？
林梦芦丁： 原发布者:herman890111【本文中采用SPSS18】首先,要把问卷中的答案都输进SPSS中,强烈建议直接在SPSS中输入,不要在EXCEL中输入,再导入SPSS,这样可能会出问题……在输数据之前先要到变量视图中定义变量……如下图所...

龙潭区17598645343： 如何制定数据统计和分析部门的 KPI - ？
林梦芦丁： 数据统计方面,主要是考核各种数据输出报表的数量、报表输出的准确率、报表汇总输出的时间;因为数据统计是各种数据需求的支持方和完成方,所以要注重产出的效率和数量.数据分析方面,主要结合两个方面,一个是数据报告产出的数量,另外是数据分析决策的收益(例如数据分析跟进一个产品,产品一年间收入增加了200%;或者根据数据分析作出的产品改进,导致ARPU增加了30%)

龙潭区17598645343： 财务分析包含的指标体系有哪些 - ？
林梦芦丁： 财务分析指标是以简明的形式,以数据为语言,来传达财务信息并说明财务活动情况和结果.在此建立的财务指标与国家考核企业工作规定的财务指标是不同的.涉及到企业财务活动较广的范围,包含的指标数目多,而国家规定的考核指标则是...

龙潭区17598645343： 管理信息系统评价的目的和指标有哪些? - ？
林梦芦丁： 一、管理信息系统评价的目的: 评价的关键是要定出评定质量的指标以及评定优劣标准.由于管理信息系统的评估指标(包括定性指标和定量指标)不仅数量多、比较复杂,而且随着信息系统的发展,指标也在变化,因此建立价值评估体系是...