[说人话的统计学·协和八]第三章·上 t 检验-两组平均数的比较
根据样本均值与标准值的差距、样本均值的波动范围算出两者的比值,然后用这个比值的大小来做判断
那如何获得样本的平均质量的波动范围呢?
样本平均值的波动是由单个随机变量的波动和样本大小所决定的。
如果样本大小为N,样本平均值的波动(标准差)等于总体波动(标准差)除以根号N。
检验统计量 (test statistic)
标准化了的样本与总体均值的差距
样本均值记为X拔,总体均值记为μ0,总体的标准差为σ,样本大小为N,这个比值就是检验统计量
任意一个正态分布可以由两个参数确定,一个是它的均值(也叫位置参数)µ,决定它在数轴上的什么方位;一个是其标准差(也叫形状参数)σ,决定它的胖瘦。因此,我们把正态分布记为N( µ, σ)。
令统计量
则z服从标准正态分布N(0,1)。
当样本量N足够大时,S会非常接近σ,t也会很接近标准正态分布。但是当N比较小时,样本方差往往会小于总体方差,比如在只有一个样本的极端情况下,样本方差必然是0,这显然比总体方差要小了。
由于这个原因,N比较小时,t的分布就会偏离正态分布。统计学家发现,在总体服从正态分布的前提下,t会服从另外一种分布,称为 学生t分布 。
在用t检验时,增加样本的数量是提高统计显著性的有效手段。
在总体服从正态分布的前提下,统计量 t 服从一个类似于正态分布的概率分布——t 分布。对于任意的 t 值,我们可以根据 t 分布的性质(我们在上一集的末尾提到,它其实还与样本量 N 有关)算出对应的「与样本相同或更极端」的概率,这就是我们所说的 p 值了。
这个例子所使用的 t 检验,是将样本的平均值与某个特定的标准值相比较,称为 单样本 t 检验 (one sample t test)
单侧检验p 值就是 t 分布下由数据所得的 t 值左边的曲线下的面积了。
由于 t 分布是对称的,因此对于同样的样本而言,双侧检验对应的 p 值将会是单侧检验的两倍。
要比较两个平均值的差别,而不是一个平均值和已知标准值的差别。这时,我们要使用的统计检验被称作「成对样本的t检验」(paired samples t test)。
这里两个样本中的每个数据点都是一一对应的
成对样本的 t 检验最常见于同一组实验对象两个时间点(比如说干预前后)之间的比较。
独立样本的 t 检验 (independentsamples t test)。顾名思义,它用于比较来自两个独立的样本的均值。
而这两个样本可能来源于两个不同的分布,因此在确定 t 统计量的分母时,我们需要考虑两个样本所来自的分布是否有相同的发散程度(即方差)。因此,在我们使用独立样本的 t 检验之前,需要先进行另外一个检验,查看两个样本各自来自的分布方差是否相等,进而对 t 统计量以及有效的样本量(称为「自由度」)进行不同的处理或修正
使用 Levene 氏检验 (Levene’s test) 分析两个分布方差是否相等,并分类为
方差相等的独立样本的 t 检验
方差不相等的独立样本的 t 检验
样本平均值(或者样本的其他统计量,如标准差等)因为抽样随机性产生的分布,称为抽样分布
当样本量足够大时,抽样分布的正态性就会比较好,t 检验计算出的 p 值从而比较准确。
为了将数据的分布和正态分布做比较,我们需要一个参考正态分布,具有与待测样本相同的均值和方差,然后通过对比这两个分布的形状来判断手上的数据是不是接近正态分布
q 代表的是 quantile(分位数)
当我们有 n 个数据点时,我们可以计算机模拟出正态分布对应的 n 分位数(此为第一 q,对应 x 轴坐标);同时,我们将数据从小到大排列,就可以得到数据的 n 分位数(此为第二 q,对应 y 轴坐标)。这样我们就能得到一个 q-q 图
q-q 图不仅可以用来判断数据是否符合正态分布,也可以用来判断数据是否符合其它分布,只要用待检测的分布计算出对应的分位数作为 x 轴坐标即可
q-q 图还可以判断两组数据是否来自同一个分布
夏皮罗-威尔克检验(Shapiro-Wilk test)
科尔莫戈罗夫-斯米尔诺夫检验(Kolmogorov-Smirnov test)
有些书认为,当样本量为 15 以上时就可以用 t 检验了
取决于我们的抽样分布在从样本量为 1 一路增长到正无穷时,逼近正态分布的速度
那就是总体分布的形状
感性地来说,总体分布与正态分布越相近(连续、对称),抽样分布能近似为正态分布所需的样本量也就越小
既然总体分布越接近正态分布,抽样分布趋近正态分布的速度就越快,那么一个解决方案便是对数据进行某种转化,使总体分布向正态分布靠拢,从而加快抽样分布逼近正态分布的速度
中心极限定理说了,只要样本量越来越大,甭管那总体分布原来长啥样儿,抽样分布迟早都会变成正态分布
对原数据进行函数变换
保证次序不变:此函数必须是单调的
右偏 (right-skewed)
正偏态 (positive skewness)
例子:人均收入
对数函数 和平方根函数
例子:死亡年龄
取镜像,再用上述方法
或者使用指数函数
并不能解决所有非正态性的问题
对数据进行变换后,重新进行原来计划的统计检验,其意义会发生变化
特例:对数变换 几何平均数(geometric mean)
自动寻找「最佳」变换函数的方法
要确定一个正态分布,只需要两个参数,一是均值(确定分布所在的位置),二是标准差(确定分布的形状有多宽)。
要找到使变换后样本正态性最好的那个 λ,我们只需在所有的 λ 里找出使得正态假设下似然函数最大的那一个。
找 λ 这样的脏活累活交给计算机来干就好了,现在许多数据分析和统计软件都已实现了一键式 Box-Cox 变换的操作。
想要好好说话,你也该懂点传播学
常常看到同样在写作的朋友们感叹,身边人的故事都快被我们写光了,同学朋友前男女友表弟表妹发小同事,闺蜜的姐姐堂哥的干妹姨妈的女儿同学的男友...为什么所有人都会需要讲故事?为什么有人讲的故事让你迫不及待的想要看下去,而另一些不是呢?英国统计学家费希尔提出的理论是:人际沟通的一切形式几乎都...
为什么有人会觉得算命“很准”?
巴纳姆效应在生活中十分普遍,比如算命先生一段无关痛痒的话常会使求助者深信不疑,其实这些话对大多数人都是适合的。再加上那些去算命的人本身就有易受暗示的特点,算命先生只要稍微揣摩求助者的内心感受,求助者立刻会感到算命先生说得“很准”。 (2)知觉的选择性人的周围环境复杂多样,大脑不可能...
统计学(30)-零假设和备择假设
"如果这位女士不具备这种能力" 理解假设检验,必须先理解这句话! 这句话是前提,正是因为这句话,假设检验才有了意义。如果这位女士不具备品尝能力,那么,她能够品对1杯的概率有50% 。在这种情况下,即使她品对了,我们也不会立刻就相信她有这种能力,因为这种概率太高了,理论上一半人都可...
统计学专业难考吗?就业怎么样?
银行岗位:建议在校期间也多多考取证券从业资格,基金银行从业资格等金融方面相关证书统计学专业在金融行业还是挺吃香的~如果想要学统计学,但是又担心学不好或者不感兴趣的话,基本的你可以首先评估一下自己对数学的喜爱哦~希望每个人都能选到自己喜欢自己适合的专业与院校~加油!
哈尔滨工业大学社会学考研经验分享?
社会统计学,参考书目:《社会统计学》(第二版),尹海洁、李树林编著,中国人民大学出版社,2018年,是学校自己老师写的书,比我本科的统计学教材要更加“说人话”比较容易理解,不理解建议去B站找统计学视频,如果你看过真题,就会发现这部分最重要的就是背公式!公式是一切题的基础,18年之前只会考察参数统计部分,而不会...
早说话的孩子聪明,还是晚说话的孩子聪明。
数学家、税务、会计、统计学家、科学家、电脑软体研发人员等是特别需要逻辑数学智能的几种职业。对逻辑数学智能强的人来说,他们在学校特别喜欢数学或科学类的课程;喜欢提出问题并执行实验以寻求答案(假如我每天给我的盆景多浇一倍的水会怎样?);喜欢寻找事物的规律及逻辑顺序; 对科学的新发展有兴趣,...
FIT失效率(一)
与此同时这货也是有定义的,它主要是用来定义产品的可靠性,同时它还是它本身参数的单位,1 FIT(失效率)指的是1个(单位)的产品在1*10^9小时内出现1次失效(或故障)的情况。好,说人话,有个产品呢在使用1亿小时之内,只发生了1次失效,那我们就称这个产品在该时间段内的失效率是1fit。记住...
什么样的人才算聪明
“这压根就不准”,但也会有人在愣了一下后就激起了对这个问题本质的好奇心,比如说从统计学角度怎么解释,从幸存者偏差的角度看又是怎么样的,即便他们...他们有自己想做的事,想读的书,想去的地方,这些都会消耗宝贵的时间,所以情商的利用是低效的话,他们更愿意独处。 善于发现分歧的本质 聪明人会很快会发现...
统计学好不好
个人感受 ⭐从我跟我朋友的聊天就可以看出来,他还是比较喜欢学这个专业的,不仅仅是因为所学的专业知识有趣,这个专业的就业前景也很不错哦。这个专业学的主要是跟金融有关系的知识,所以如果你对数据敏感的话,学起这个专业来还是很容易上手的。专业介绍 ⭐近几年来,统计学这个专业...
你身边极度聪明的人都是什么样的?
🏆🏆有独当一面的自信牛羊成群,猛兽独行,这里的独行,不是说他们独来独往,不与人交际,相反他们的人际关系也处理得不错,他们有能力做自己的事情,即使一个群作业里面只有他一个人,他也能够把这一项作业做得及其完美,甚至和多人的作业相比,甚至思考的角度和完整度都是最高的,...
尧索吲哚: 首先要明确的是:感性思维丰富和理性思维并不冲突.理性思维是需要后天培养的,各位逻辑不清晰的童鞋不用气馁.只要多加后天练习,这种技能是会自然而然的内化为你自身的一种能力的.练好理性思维大法有三层境界.修炼好这三层....
讷河市19833708943: 与“我扑在书上,就像饥饿的人扑在面包上一样”类似的名言 - ?
尧索吲哚: 读书破万卷,下笔如有神.(杜甫) 读书之法,在循序而渐进,熟读而精思.(朱熹) 读万卷书,行万里路.(刘彝) 非学无以广才,非志无以成学.(诸葛亮) 书是逆境中的慰藉. 书房是文人精神的巢穴,生命的禅堂. 世界上最壮丽的宫...
讷河市19833708943: 请问有统计说老鼠的数量是人类现在的多少倍吗??
尧索吲哚: 老鼠环赤道10周
讷河市19833708943: 怎么教育孩子呀?斑斑忙 - ?
尧索吲哚: 俗话说父母是孩子的第一任老师.要教好孩子,就必须注意自己的一言一行,作到行为规范,树立良好的道德品质,使自己成为孩子学习的榜样.正人先正己,说的就是这个道理. 教育孩子,使其在德...
讷河市19833708943: 人类的社会行为很多,根据后果来分的话可以分为两类:一种是对社会或...?
尧索吲哚: 答案:北京协和医学院是清华大学医学部首先,清华大学医学院和清华大学医学部不是一个概念,两者目前都存在.清华大学医学院是清华大学的一个院系,而清华大学医...
讷河市19833708943: 蟹是人们非常喜爱的营养极高的食品,俗话说"菊黄蟹肥",那么蟹的最? ?
尧索吲哚: 虽说一年四季皆有蟹吃,但是在秋天,才是吃蟹的最好季节.有说“秋风起,蟹脚痒;菊花开,闻蟹来”,每年9~10月正是螃蟹黄多油满之时,所以有食家言“秋天以吃螃...