比较线性回归模型和广义线性模型两类方法的异同

广义线性模型和一般线性模型的区别~

广义线性模型（GLM）。这种模型是把自变量的线性预测函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵
模型，Logistic回归，softmax回归。
广义线性模型GLM很简单，举个例子，物的疗效和物的剂量有关。这个相关性可能是多种多样的，可能是简单线性关系（发烧时吃一片退烧0.1度，两片退烧0.2度，以此类推；这种情况就是一般线性模型），也可能是比较复杂的其他关系，如指数关系（一片退烧0.1度，两片退烧0.4度），对数关系等等。这些复杂的关系一般都可以通过一系列数学变换变成线性关系，以此统称为广义线性模
而对于广义线性混合模型GLMM比较复杂，GLM要求观测值误差是随机的，而GLMM则要求误差值并非随机，而是呈一定分布的。举个例子，我们认为疗效可能与服时间相关，但是这个相关并不是简简单单的疗效随着服时间的变化而改变。更可能的是疗效的随机波动的程度与服时间有关。比如说，在早上10：00的时候，所有人基本上都处于半饱状态，此时吃，相同剂量物效果都差不多。但在中午的时候，有的人还没吃饭， 有的人吃过饭了，有的人喝了酒，结果酒精和物起了反应，有的人喝了醋，醋又和物起了另一种反应。显然，中午吃会导致物疗效的随机误差非常大。这种疗效的随机误差（而非疗效本身）随着时间的变化而变化，并呈一定分布的情况，必须用广义线性混合模型了。

1、不同点
多元线性回归中的古典假定比简单线性回归时多出一个无多重共线性假定。
假定各解释变量之间不存在线性关系，或各个解释变量观测值之间线性无关。解释变量观测值矩阵X列满秩（k列），这是保证多元线性回归模型参数估计值有解的重要条件。
2、相同点
基本假定包括
（1）零均值假定；
（2）同方差假定；
（3）无自相关假定；
（4）随机扰动项与解释变量不相关假定；
（5）正态性假定。
扩展资料
建立多元线性回归模型时，为了保证回归模型具有优良的解释能力和预测效果，应首先注意自变量的选择，其准则是：
（1）自变量对因变量必须有显著的影响，并呈密切的线性相关；
（2）自变量与因变量之间的线性相关必须是真实的，而不是形式上的；
（3）自变量之间应具有一定的互斥性，即自变量之间的相关程度不应高于自变量与因变量之因的相关程度；
（4）自变量应具有完整的统计数据，其预测值容易确定。
参考资料来源：百度百科--多元线性回归
参考资料来源：百度百科--简单线性回归

• logistic回归：

Logistic回归的应用条件是：
① 独立性。各观测对象间是相互独立的；
② LogitP与自变量是线性关系；
③ 样本量。经验值是病例对照各50例以上或为自变量的5-10倍（以10倍为宜），不过随着统计技术和软件的发展，样本量较小或不能进行似然估计的情况下可采用精确logistic回归分析，此时要求分析变量不能太多，且变量分类不能太多；
④ 当队列资料进行logistic回归分析时，观察时间应该相同，否则需考虑观察时间的影响（建议用Poisson回归）。
logistic回归一般是用来解决二元分类问题，它是从贝努力分布转换而来的

　　hθ(x) = g(z)=1/1+e-z ;z=θTx

　　最大似然估计L(θ) = p(Y|X;θ)

　　　　　　　　　　 =∏p(y(i)|x(i);θ)

　　　　　　　　　　 =∏(hθ(x))y(i)(1-hθ(x))1-y(i)

     l(θ) = logL(θ)

           =Σy(i)loghθ(x(i))+(1-y(i))log(1-hθ(x(i)))

　  θ的优化目的就是让最大似然估计最大，用梯度上升法求θ

　　θj=θj+α∂l(θ)/∂θj=θj+α(y(i)-hθ(x(i)))x(i)j

　　logistic回归用梯度上升法求得的θ的迭代公式看起来跟线性回归很像，但这跟线性回归是有本质区别的

　　1.线性回归是由高斯分布推导而来，而logistic回归是由贝努力分布推导而来

　　2.二种回归的最大似然估计是不一样的，只不过求完导后的结果看似相同

      3.二种回归hθ(x)是不同的

• 广义线性模型：

广义线性模型是线性模型的扩展，其特点是不强行改变数据的自然度量，数据可以具有非线性和非恒定方差结构[59]，主要是通过联结函数g()(link function)，建立响应变量Y的数学期望值 与线性组合的预测变量P之间的关系：。与线性模型相比，GLM模型中Y的分布可以是任何形式的指数分布（如高斯分布、泊松分布、二项式分布），联结函数可以是任何单调可微函数（如对数函数logarithm 或逻辑函数logit）。Y的方差通过方程函数 依赖于其数学期望值 ，这里 ，为比例（或者称为离差）参数[57-58,60]。这些优点使得GLM模型可以处理非正态分布的响应变量，同时可包含定性、半定量的预测变量；Y通过连接函数g(E(Y))与线性预测因子P建立联系，不仅确保线性关系，且可保证预测值落在响应变量的变幅内，并可解决数据过度离散的问题，从而使GLM逐渐成为植被-环境关系研究的重要模型，并得到越来越多的关注。

　　之前已经写了线性回归和logistic回归，基本的形式都是先设定hθ(x)，然后求最最大似然估计L(θ),然后求出l(θ)=logL(θ),然后用梯度上升法或其它方法求出θ，二种回归如此想你的原因就是在于它都都是广义线性模型里的一员。

　　如果一个概念分布可以表示成p(y;η)=b(y)exp(ηTT(y)-a(η))时，那么这个概率分布可以称之为指数分布

　　贝努力分布转换为指数分布：p(y;ø)=øy(1-ø)1-y

　　　　　　　　　　　　　　　　　　 =exp(log(øy(1-ø)1-y))

　　　　　　　　　　　　　　　　　　 =exp(ylogø+(1-y)log(1-ø))

　　　　　　　　　　　　　　　　　　 =exp((log(ø/(1-ø)))y+log(1-ø))

　　根据上面指数分布的公式可得出：

　　　　　　　　　　　　　　　  b(y)=1

　　　　　　　　　　　　　　　  η=logø/(1-ø);ø=1/(1+e-η)

　　　　　　　　　　　　　　　  T(y) = y

　　　　　　　　　　　　　　　  a(η)=-log(1-ø)

　　高斯分布转换为指数(因为σ的取值对最后的结果没影响，所以设σ2=1)：p(y;μ)=(1/2π)exp(-1/2(y-μ)2);2π上有根号

                                          =(1/2π)exp(-1/2y2).exp(μy-1/2μ2)

　　根据上面指数分布的公式可得出：

　　　　　　　　　　　　　　　 b(y)=(1/2π)exp(-1/2y2);2π上有根号

                                           η=μ

                                           T(y) = y

                                           a(η)=1/2μ2

　　广义线性模型的三步是：
　　　　　　　　1.将y|x;θ变换成以η为参数的指数分布的形式

　　　　　　　   2.因为h(x)=E[y|x],所以能过第1步的变换可以得到E[y|x]与η的对应关系(对于logistic回归，期望值是ø，ø与η的关系是ø=1/(1+e-η)；对于线性回归，期望值是μ，μ与η的关系是η=μ)

　　　　　　　　3.设定η=θTx(如果η是一个向量值的话，那么ηi=θiTx)

---

琼结县18020423058： 广义线性模型和一般线性模型的区别 - ？
桓肤迈格： 答: 是广义线性模型(英文generalized linear model的缩写).

琼结县18020423058： 广义线性模型和广义线性混合模型怎么区分使用 - ？
桓肤迈格： 广义线性模型(GLM).这种模型是把自变量的线性预测函数当作因变量的估计值.在机器学习中,有很多模型都是基于广义线性模型的,比如传统的线性回归模型,最大熵 模型,Logistic回归,softmax回归.广义线性模型GLM很简单,举个...

琼结县18020423058： 如何检验同一样本下两个回归方程中的变量系数差异 - ？
桓肤迈格： ?为此,我总结了回归系数 的比较方法,如下. 回归系数的比较通常可以分为两类,线性回归模型回归系数比较和非线性回归模型回归系数比较. 我们先谈谈线性回归模型回归系数比较,而本帖只针对上面的文献讲解两组回归系数之间的比较.多组线性回归模型的回归系数比较与两组之间比较类似,只是多了几个虚变量,而非线性回归系统比较则使用的是残差平方和简化测验(sum of square reduction test, SSRT),你可以参考”不同株型小麦干物质积累与分配对氮肥响应的动态分析“. 我们虚构

琼结县18020423058： 如何检验两组回归系数之间的差异显著性?(转) - ？
桓肤迈格：[答案] 随后作者比较了两个生育时期线性回归模型的回归系数(斜率)和截距,作者发现两个生育时期回归系数(斜率)差异不显著,而截距差异显著.这种两组或多组回归系数之间的差异性如何检验?如何在R软件中实现?为此,我总结了回归系数 的比较...

琼结县18020423058： 连续型变量如何分组使得两组之间差异最显著 - ？
桓肤迈格： 随后作者比较了两个生育时期线性回归模型的回归系数(斜率)和截距,作者发现两个生育时期回归系数(斜率)差异不显著,而截距差异显著.这种两组或多组回归系数之间的差异性如何检验?如何在R软件中实现?为此,我总结了回归系数...

琼结县18020423058： 广义线性模型的介绍 - ？
桓肤迈格： 《广义线性模型》由四本介绍线性模型的小册子组成,它们分别是《广义线性模型导论》、《应用logistic回归分析》、《定序因变量的logistic回归模型》以及《logit与probit:次序模型和多类别模型》.《广义线性模型》集中介绍了社会学研究分析方法中的一个非常有效且重要的数据分析方法,即线性模型.作者通过阐释广义线性模型的概念、基本原则,探讨了从线性模型推广至其他模型的可能路径,并举例比较了不同模型的拟合优度,为读者全面掌握线性模型分析法提供了一个可行的指南.

琼结县18020423058： 什么是线性回归模型 - ？
桓肤迈格： 实验数据是离散的,用一线性方程式逼近数据,此线性方程式就是线性回归模型.

琼结县18020423058： 怎么判断用线性回归还是非线性回归? - ？
桓肤迈格： 优先选择线性回归,因为线性回归容易处理.也可以选择非线性回归.非线性回归很复杂,而线性回归的方法基本上前人已经完善的差不多了. 处理可线性化处理的非线性回归的基本方法是,通过变量变换,将非线性回归化为线性回归,然后用...

琼结县18020423058： 多元线性回归模型与一元线性回归模型有哪些区别? - ？
桓肤迈格： 多元线性回归模型与一元线性回归模型区别表现在如下几个方面:一是解释变量的个数不同;二是模型的经典假设不同,多元线性回归模型比一元线性回归模型多了个“解释变量之间不存在线性相关关系”的假定;三是多元线性回归模型的参数...