高级计量经济学 13:最大似然估计(下)
此文内容为《高级计量经济学及STATA应用》的笔记,陈强老师著,高等教育出版社出版。
我只将个人会用到的知识作了笔记,并对教材较难理解的部分做了进一步阐述。为了更易于理解,我还对教材上的一些部分( 包括证明和正文 )做了修改。
目录
在计量经济学中,常常使用以下三类大样本下渐近等价的统计检验。对于 线性回归模型 ,检验原假设为 ,其中 为未知参数, 已知,共有 个约束。
通过研究 的无约束估计量 和 的距离来进行检验
他检验的东西是我所估计出来的 是否可能等于
其基本思想是,如果 正确,那么 与 的距离应该不要很大(注意,这里是 和 的距离 )。Wald Test 统计量为:
其中, 为约束条件的个数(即解释变量的个数),其证明在 高级计量 第6、7期有,大家可以回顾(也可以在我的上看), 我在这里多嘴说一下如何理解它 。
我们从标量的情形开始。显然 衡量了 和 的距离。但是,这有两个问题:
由于出现了上面的两个困境,于是我们就很容易想到标量情形下 Wald Test 的表达式:
也就是:
的形式。
很容易拓展到向量的情形。如果我们要对多个参加进行检验,那么 就变成了向量 ,此时 虽然也可以反映两个向量之间的距离,但绝对值的数学性质并不良好,我们更多的是使用欧拉距离,也就是使用
的形式( 二次型 )。同样地,这个式子还没有解决 把握 和 量纲 的问题,于是我们也需要对它除以“标准差”。我们前面已经反复强调,在向量下的除法运算就是 逆 、向量下的方差就是 协方差矩阵 、向量下的二次函数就是 二次型 ,那么于是我们就有:
这就是 Wald Test 统计量的来源。至于它如何收敛到 分布,请移步 高级计量 第6、7期。
通常来说,无约束的似然函数最大值 比有约束的似然函数最大值 更大,这是因为无约束条件下的参数空间 显然比带约束的参数空间 更大,即: 。
LR的思想是,如果 正确,那么 不应该很大。在 正确下, ,那么LR统计量就是:
证明的方法是将LLF做二阶泰勒展开(因为MLE的一阶条件表明, ,可以看前一篇文章)。 高级计量7 中的 统计的似然比表达式就是按照这个原理设计的。
下面的证明我没有参考别的资料,我尽量做到严谨,推着玩玩儿。
考虑有约束条件的对数似然函数最大化问题:
引入拉格朗日函数:
其中, 为拉格朗日乘子向量,如果 ,那么说明此约束条件 不紧 (tight)或者不是 硬约束 (binding constraint),加上这个约束条件并不会使似然函数的最大值下降很多,即原假设 很可能成立。根据上述问题的一阶条件,对 求导,有:
即最优的拉格朗日乘子 等于似然函数在 处的梯度向量,那么 统计量为:
其中, 为信息矩阵在 处的取值。由于 有被称作 得分函数 (score function),所以这个检验也被称为 得分检验 (score test);而 正正是得分函数的协方差矩阵,这我们前面已经证明过了。直观来说,就是由于在无约束估计量 处,得分函数为 向量,那么如果原假设 成立,那么在约束估计量 处,梯度向量也应该接近于 向量,即:
而 统计量反应的就是此接近程度。
总之,Wald检验仅利用无约束估计的信息;LM检验仅使用有约束估计的信息;LR检验同时利用了有约束和无约束估计的信息。在原假设为 下,我总结了下表:
在大样本下,三种检验是渐近等价的;在小样本下, 。
另外,如果不对模型的具体概率分布作假设,则无法得到似然函数,于是就一般没有办法使用 检验和 检验;不过 检验依然可以使用。所以 检验的使用范围最广。
如果随机变量不服从正态分布,却使用了以正态分布为前提的最大似然估计法,该估计量 仍有可能是一致的 !
定义 使用不正确的似然函数而得到的最大似然估计,称为 准最大似然估计 (Quasi MLE, QMLE)或 伪最大似然估计 (Pseudo MLE)。
之所以在某些情况下可以“歪打正着”地得到一致估计的准最大似然估计,是因为 MLE 也可以被视为 GMM,而后者并不需要对随机变量的具体分布作出假定(见教材第10章)。也就是说,虽然 MLE 要求随机变量服从正态分布,不过这个假定其实可以稍微放松。如果 QMLE 满足以下条件,那么它依然是一致估计量:
然而,更一般的情况下, QMLE 并非一致估计 ,比如 14 章的 Tobit 回归。就算 QMLE 恰巧为一致估计,但其渐近方差也通常不是一致估计(即参数估得准,不过参数的不确定性估不准)。
假设正确的对数似然函数为 而被误设为 ,那么我们称后者为 准对数似然函数 (pseudo log likelihood function, PLLF)。最大化 的结果也就是 QMLE 估计量:
类似于 MLE 一致性的证明步骤,我们可以证明 ,其中 称为 准真实值 (peseudo-true value),但通常 。对于 的大样本分布,可以用类似于 MLE 的推导证明:
其中, 和 的表达式类似于 和 的表达式。不过,由于 并非真实的 LLF,所以信息矩阵等式不再成立,于是通常 ,这为渐近正态的协方差矩阵 的进一步简化造成了麻烦。
在我们 很有把握 的条件下,我们可以用基于 的标准误差来做假设检验,这被称为 胡贝尔-怀特稳健标准误 (Huber-White robust standard errors)。这个标准误也被称为 稳健标准误 ,因为它与第 5 章介绍的 异方差稳健标准误 是一致的。需要注意的是,如果 ,就算使用稳健的标准误也 无济于事 ,你首先要考虑的是估计的一致性问题。
对线性回归模型,如果扰动项不服从正态分布,则虽然OLS 估计量是一致的且服从正态分布,但是无法使用小样本 OLS 进行假设检验。在这种情形下,就需要对扰动项是否服从正态分布进行检验。当然,如果是大样本,那就可以用渐近正态的理论处理,我们也不关心扰动项是否服从正态分布了。
不过,对非线性模型使用 MLE 时,由于正态分布假定时推导 MLE 的前提,故而检验扰动项是否服从正态分布可能就显得比较重要。
为了考察扰动是否正态,最直观的方法是画图。可以把残差画成直方图,然后用 核密度估计 方法得到光滑的曲线,然后与正态分布的曲线进行对比。一个核密度估计的例子如下图所示:
叶亭立舒:[答案] 最大似然估计 是一种统计方法 ,它用来求一个样本集的相关概率密度函数的参数.这个方法最早是遗传学家以及统计学家罗纳德·费雪 爵士在1912年至1922年间开始使用的.“似然”是对likelihood 的一种较为贴近文言文的翻译,“似然”用现代的中...
原州区18038137497: 最大似然法的定义 - ?
叶亭立舒: 最大似然估计是一种统计方法,它用来求一个样本集的相关概率密度函数的参数.这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在 1912 年至1922 年间开始使用的.最大似然法明确地使用概率模型, 其目标是寻找能够以较高概率产...
原州区18038137497: 最大似然估计和最小二乘法怎么理解 - ?
叶亭立舒: 最大似然估计:现在已经拿到了很多个样本(你的数据集中所有因变量),这些样本值已经实现,最大似然估计就是去找到那个(组)参数估计值,使得前面已经实现的样本值发生概率最大.因为你手头上的样本已经实现了,其发生概率最大才...
原州区18038137497: 什么叫 最大似然估计的不变性? - ?
叶亭立舒: 就是说,f(x)的最大似然估计和g(f(x))的最大似然估计是同一个x0
原州区18038137497: 最大似然估计和最小二乘估计的区别与联系 - ?
叶亭立舒: 简言之,最大似然估计中,如果当前观测到的事件已发生,即尘埃落定,不会再变了,这就好比统计中的最小二乘法中,观测到的数据不再变化,当然在最大似然中就是他的概率是1,这里可能与贝叶斯定理有一定联系,你们可以考虑一下.但我们在预言当前事件发生的概率却总小于一,这就表明我们的预言有误差,正如最小二乘法中因变量的预言有误差一样.于是我们就想使误差最小,这是一个很自然的想法,也就是使当前事件发生的概率最大,残差最小.这就体现了两者的联系,区别自然很好理解,从其使用目的便可想象出来.
原州区18038137497: 二项分布 最大似然估计 - ?
叶亭立舒: 二项分布就是n个两点分布,两点分布的概率是P=p^x*(1-p)^(1-x),所以似然函数L=p^∑Xi*(1-p)^(n-∑Xi),构造lnL=∑Xi*lnp+(n-∑Xi)ln(1-p),对p进行求导,令其结果等于0,就是∑Xi/p+(n-∑Xi)/(1-p)=0,通分后令分母等于0,可以得到p=(∑Xi)/n...
原州区18038137497: 最大似然函数 - ?
叶亭立舒: 就是当你在做参数估计的时候,最大似然估计是一种比较好的方法,比点估计的有效性更好一些…… 给你说说解题过程吧…… 首先,求出似然函数L(其实就是关于未知参数的函数)…… 离散的就是把所有的概率p(x;未知参数)连乘 连续的是...
原州区18038137497: 最大似然估计原理的出发点是最大概率的事件最有可能出现. - 上学吧...?
叶亭立舒: 从似然函数的表达式看,这里的x(1)代表极小次序统计量,theta越大,似然函数就越大,这个题根本不适合求导;=x(1) .所以theta的极大似然 估计为x(1)求导只是找极大值点的常规办法,但 thetalt