线性回归面经总结
作者&投稿：齐赖 （若有异议请与网页底部的电邮联系）
线性回归的损失函数并非固定，可以采用多种形式，如均方误差 (MAE)、泊松损失、tweedie损失等。使用平方差形式的损失函数，如均方误差 (MSE)，能很好地表达我们希望预测结果与实际标签越接近越好这一目标。统计学角度解释了为何使用平方差，即假设残差项服从正态分布，这使得通过最小化平方差来最大化数据与模型拟合度的似然函数成为可能。
在选择线性回归的损失函数时，可以灵活设置，以适应特定业务需求。例如，如果关注的是预测结果与真实标签之间的线性关系而非完全拟合，可以使用皮尔逊损失函数，而不是仅仅追求最小的平方误差。
线性回归中，常见的错误观念是仅使用平方差形式的损失函数。实际上，损失函数的选择可以根据问题的具体要求而定，例如在量化领域，可能更重视预测结果与真实标签之间的皮尔逊相关性，而不是完全的拟合。
在进行线性回归时，我们经常使用R^2（决定系数）来衡量模型的拟合优度。增加特征时，R^2 值通常会增加，这表明新特征对模型的贡献是正向的，但需要结合权重系数来判断特征的显著性。R^2 只是衡量拟合优度的一种指标，并非直接与模型的显著性相关。
正则化是线性回归中降低过拟合的一种常用方法。通过在损失函数中添加正则项，如 L1 或 L2 正则化，可以约束模型的复杂度，从而减少过拟合。L1 正则化通过引入拉普拉斯先验，使得参数趋于零，从而进行特征选择；L2 正则化通过引入高斯先验，使得参数分布更加集中。正则化的效果是增加模型的偏差而减少方差，从而提高模型的泛化能力。
在处理数据预处理问题时，对于分类变量，如天气类型，可以使用 one-hot 编码将其转换为多项式特征；对于缺失值，可以采用模型插补、多重插补等方法，避免简单删除或使用均值、中位数等导致数据分布改变的处理方法。
线性回归在处理非线性问题时，可以通过特征工程进行增强，例如进行特征离散化、特征交叉或使用多项式特征。离散化可以提高模型对异常值的鲁棒性，通过引入非线性特征交叉和多项式特征，可以提升模型的表达能力。
线性回归的基本假设包括线性关系、误差项独立、自变量独立、误差项方差常数和误差项正态分布。这些假设对于模型的有效性至关重要。如果线性回归模型效果不佳，可能原因包括数据分布不符合基本假设、模型过于简单无法捕捉复杂关系、过拟合、或需要进行大量特征工程以转化为线性问题。
线性回归解析解的推导通常涉及矩阵求逆、梯度下降法、牛顿法、拟牛顿法（如 LBFGS）、协方差估计（如 SAG）等优化方法。这些方法在解决线性回归问题时，各有优缺点，具体选择取决于数据规模、计算资源和优化效率的需求。
逻辑回归与线性回归同属广义线性模型家族，区别在于输出层的激活函数和损失函数。线性回归输出层通常使用线性激活函数，损失函数为均方误差；而逻辑回归通过 sigmoid 函数将输出限制在 [0,1] 之间，损失函数则通常采用二元交叉熵。逻辑回归因此更适合处理分类问题，尤其是二分类问题。
橱柜面板用什么材料好
镜面树脂板目前在橱柜市场上用的仍是比较多,它的属性跟烤漆门板差未几,也就是时尚,色彩丰硕,防水性好,但是不耐磨,轻易划花,而且耐高温性也不是很好,所以对色彩要求高、追求时尚的消费者可以选择镜面树脂板的橱柜,但由于轻易划花,所以使用时应留意保养。 小编总结:橱柜面板用什么材料好的相关内容,小编就先介绍到这...
橱柜用什么面板好?橱柜面板怎么选购?
钢丝球清洁表面也不会被刮花，因此比不锈钢更耐摩擦。3、价格中等。石英石的硬度更高，不会轻易破碎，但是价格比岩板便宜许多，优质的石英石为800~1200元\/平方米，因此性价比极高。最后再总结一下：石英石是最具性价比的，大理石的颜值最高，不锈钢是最便宜的，岩板是使用体验最好的。
戏祥六味： 如果在回归分析中,只包括一个自变量和一个因变量,且二者的关知系可用一条直道线近似表示,这种回归分析称为一元线性回归分析.如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关回系,则称为多元线性回归分析.详细原理这里答就不细说了,具体参照线性回归.http://baike.baidu.com/view/4942739.htm
雅安市17120599006： 什么是线性回归,怎样回归?如何回归? - ？
戏祥六味： 实际上是通过自变量与因变量的数据矩阵,求出他们之间的线性关系,即一次函数.spss等统计软件可以很快处理.
雅安市17120599006： spss 线性回归分析结果怎么看? - ？
戏祥六味： Model Summary 是对模型拟合效果的总结,R是相关系数,R2是决定系数,系数越大表面拟合效果越好. ANOVA是方差分析,然后F检验 Coefficients就是回归结果,得到的回归方程的系数
雅安市17120599006： 简单线性回归的理论模型 - ？
戏祥六味： 给定一个随机样本,一个线性回归模型假设回归子Yi和回归量之间的关系可能是不完美的.我们加入一个误差项(也是一个随机变量)来捕获除了之外任何对Yi的影响.所以一个多变量线性回归模型表示为以下的形式: 其他的模型可能被认定成非线性模型.一个线性回归模型不需要是自变量的线性函数.线性在这里表示Yi的条件均值在参数β里是线性的.例如:模型在β1和β2里是线性的,但在里是非线性的,它是Xi的非线性函数.
雅安市17120599006： 线性回归方程 - ？
戏祥六味： 我们以一简单数据组来说明什么是线性回归.假设有一组数据型态为 y=y(x),其中x={0, 1, 2, 3, 4, 5}, y={0, 20, 60, 68, 77, 110}如果我们要以一个最简单的方程式来近似这组数据,则非一阶的线性方程式莫属.先将这组数据绘图如下图中的斜线...
雅安市17120599006： 线性回归的一般步骤有什么,要做哪些检验,什么含义? - ？
戏祥六味： 做完线性回归之后,我们需要对模型进行检验. 常用的检验有d-w检验,用来检验模型拟合之后的残差是否依然具有相关性 R^2值,可以告诉我们模型拟合的是否够好. 还有就是模型的预测变量之间是否有强烈的相关性的问题.
雅安市17120599006： 线性回归参数含义的理解问题 - ？
戏祥六味： 我擦,题主这么多问题一点悬赏都没有,太小气了!!知道我也不答!!题主仍然小气的让人心碎,你得知道这个问题还是很复杂的.那我就简单讲讲吧. 首先线性回归模型有一个通用的公式是Y=(X^T)B (X^T是向量的转置,向量默认列向量)...
雅安市17120599006： 什么是线性回归法?？
戏祥六味： 一元线性回归法是分析一个因变量与一个自变量之间的线性关系的预测方法. 常用统计指标:平均数、增减量、平均增减量
雅安市17120599006： 线性回归模型和非线性回归模型的区别是什么 - ？
戏祥六味： 线性回归模型和非线性回归模型的区别是: 线性就是每个变量的指数都是1,而非线性就是至少有一个变量的指数不是1.通过指数来进行判断即可.线性回归模型,是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量...
雅安市17120599006： 什么是线性回归模型 - ？
戏祥六味： 实验数据是离散的,用一线性方程式逼近数据,此线性方程式就是线性回归模型.
