最小二乘法的计算过程

~

一、最小二乘法简介

最小二乘法是一种用于寻找数据最佳拟合线或曲线的方法。它的核心思想是，通过最小化    观测数据点与拟合线（或曲线）之间的垂直距离的平方和，来确定最佳拟合的参数。

想象一组散点数据，你想要找到一条直线或曲线，使得所有这些点到这条线（或曲线）的距离之和的平方尽可能小。最小二乘法就是为了找到这条线（或曲线），使得这个距离之和的平方最小。

这个方法在很多领域都有应用，比如统计学、机器学习和工程。通过数学计算，你可以找到最小二乘法的解析解，确定最佳拟合线的斜率和截距（如果是线性拟合的话），或者更复杂的参数（如果是多项式或非线性拟合）。

总的来说，最小二乘法是一种寻找最佳拟合模型的数学方法，通过最小化数据点与拟合模型之间的误差来找到最优解。

二、公式及分析

最小二乘法的基本公式是用于线性回归的。在简单线性回归中，我们试图拟合一个线性模型 y = mx + b 来最好地描述数据。

假设我们有 n 个数据点，表示为 (x_i, y_i)，其中 i 是数据点的索引。我们的目标是找到最佳的斜率 m 和截距 b，使得拟合线与数据点的误差平方和最小。

拟合的线性模型的预测值为 {y}_i = mx_i + b。数据点 y_i 和预测值 {y}_i 之间的误差是 e_i = y_i - {y}_i。

最小二乘法的目标是最小化所有数据点的误差平方和：

为了找到最小化误差平方和的解析解，我们对误差平方和关于参数 m 和 b 分别求导数，并令导数等于零，然后解这个方程组。这样可以得到最佳的斜率 m 和截距 b 的估计值。

最终得到的解析解公式为：

这些公式通过对误差平方和进行求导，然后将导数等于零解方程得到。它们给出了最小二乘法用于简单线性回归的斜率和截距的估计值。

三、公式由来

当使用最小二乘法解决简单线性回归时，我们希望最小化误差平方和：

其中，S 是误差平方和，n 是数据点的数量，(x_i, y_i) 是每个数据点的坐标，m 是斜率，b 是截距。

要找到最小化 S 的 m 和 b，我们分别对 S 关于 m 和 b 求偏导数，并令偏导数等于零。

首先对 S 求关于 m 的偏导数：

接下来对 S 求关于 b 的偏导数：

然后，令这些偏导数等于零，然后解方程组来找到最优的 m 和 b 值。这些导数为零的方程将帮助我们找到最小化误差平方和的斜率和截距的估计值。

四、当用均值代替后的m和b的表达式

当用数据的均值来代替 $\sum_{i=1}^{n} x_i$、$\sum_{i=1}^{n} y_i$ 和 $\sum_{i=1}^{n} (x_i)^2$ 后，可以得到校准的 $m$ 和 $b$ 的表达式。

对于斜率 $m$ 的表达式，假设：

$aver_x$ 是 $x$ 的均值

$aver_y$ 是 $y$ 的均值

$aver_xy$ 是 $x \cdot y$ 的均值

$aver_xx$ 是 $x^2$ 的均值

斜率 $m$ 的表达式为：

请点击输入图片描述

对于截距 $b$ 的表达式：

请点击输入图片描述

这些表达式是用数据集的均值来估计直线拟合的斜率和截距的方法。在简单线性回归中，这些表达式提供了一个直观且简单的方式来计算拟合直线的参数。

五、为什么可以用均值替代

在最小二乘法的推导中，我们通过对误差平方和 $S = \sum_{i=1}^{n} (y_i - mx_i - b)^2$ 对 $m$ 和 $b$ 求偏导数并令其为零，来找到最佳的斜率 $m$ 和截距 $b$。

当我们使用均值来替代 $\sum_{i=1}^{n} x_i$、$\sum_{i=1}^{n} y_i$ 和 $\sum_{i=1}^{n} (x_i)^2$ 时，是因为最小二乘法的求解中，这些均值代表了数据的中心趋势和分布。

通过使用样本均值代替总和，我们在推导中实际上是在寻找一个拟合直线，使得该直线穿过了数据的中心（均值点）。在线性回归中，拟合直线的斜率和截距的计算中，样本均值提供了对数据集的一个代表性估计，因此可以用均值来近似表示总和。

这种代替方法是基于对数据的近似，通常在数据量较大时尤为有效。然而，在某些情况下，数据的均值可能无法很好地代表总和的准确值，特别是当数据分布不均匀或存在异常值时，使用均值来代替总和可能会导致估计的不准确性。

∑（X--X平）（Y--Y平）=∑X^2--nX平^2（针对y=ax+b形式）a=（NΣxy-ΣxΣy）/（NΣx^2-（Σx）^2）b=y（平均）-a*x（平均）。

1、定义

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误养的平方和为最小。最小二乘法还可用于曲线拟合。

2、原理

未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后得和为最小。

3、背景

在梯度下降时候需要用到最小二乘法，极大似然估计法和交叉熵法，用来比较两个模型的概率分布，而最小二乘法也是梯度下降更新中寻找数值解的优异方法，在统计学习中，需要通过偏差计算梯度。

最小二乘法的计算方法

1、先把n个数据测量值画在坐标纸上，如果呈现一种直线趋势，才可以进行最小二乘法（直线回归法）。

2、然后就是计算这些n个数据点的横坐标和纵坐标的各自平均值。

3、接着计算所有点的横坐标求和结果，以及所有点的纵坐标求和结果。

4、然后是计算每个数据点横坐标的平方，然后求和，以及计算每个点横坐标乘以纵坐标的乘积，然后求和。

5、 最后就是利用两个公式，把将要求的直线方程中的截距a和斜率b这两个参数代入上面的公式计算出来。

6、求出了a和b这两个参数之后，就可以得到直线方程：y=ax+b。这个时候还要利用这个方程，先取两个点，这两个点要求横坐标x1和x2距离比较远，这样误差会比较小（太近的两个点，误差比较大）。

然后分别代入刚求出来的直线方程y=ax+b，求出对应的y1和y2，然后把（x1，y1）和（x2，y2）描点在坐标纸上，这样就可以利用两点画出一条最终的回归直线了。

---

尉犁县17772267537： 最小二乘法(数学代数概念) - 搜狗百科？
潘尹脑苷：[答案] 1、最小二乘法的拟合曲线(即,估计值,含有未知数) 2、真实值-估计值,然后平方. 3、对未知数求导,=0,这样使得误差最小. 4、根据方程组,求解未知数. 希望对楼主有帮助~~

尉犁县17772267537： 最小二乘法怎么算 - ？
潘尹脑苷：[答案] 最小二乘法(又称最小平方法)是一种数学优化技术.它通过最小化误差的平方和寻找数据的最佳函数匹配.利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小.最小二乘法还可用于曲线拟合.其他一...

尉犁县17772267537： 最小二乘法的公式 - ？
潘尹脑苷：[答案] 最小二乘法公式:∑(X--X平)(Y--Y平)=∑X^2--nX平^2(针对y=ax+b形式)a=(NΣxy-ΣxΣy)/(NΣx^2-(Σx)^2)b=y(平均)-a*x(平均)

尉犁县17772267537： 统计方面 最小二乘法a b是怎么算出来的? - ？
潘尹脑苷：[答案] 最小二乘法公式 ∑(X--X平)(Y--Y平)=∑(XY--X平Y--XY平+X平Y平)=∑XY--X平∑Y--Y平∑X+nX平Y平=∑XY--nX平Y平--nX平Y平+nX平Y平=∑XY--nX平Y平 ∑(X --X平)^2=∑(X^2--2XX平+X平^2)=∑X^2--2nX平^2+nX平^2=∑X^2--nX平^2 最小二乘法原...

尉犁县17772267537： 最小二乘法怎样算以及含义 - ？
潘尹脑苷：[答案] pX=Y,在p误解情况下的最优解;p=[(x(转置)*x)(结果取逆) *x(转置)] *y 中括号里面的叫做X的近似逆运算(pseudo inverse);含义的话你可以结合几何理解下,两向量乘积(p,X,确定一个平面o),结果要和另外一条向量重...

尉犁县17772267537： 有人知道最小二乘法求线性回归方程是如何计算的吗? - ？
潘尹脑苷：[答案] y = Ax + B: a = sigma[(yi-y均值)*(xi-x均值)] / sigma[(xi-x均值)的平方]; b = y均值 - a*x均值;

尉犁县17772267537： 一元线性最小二乘法正规方程组的求解过程 - ？
潘尹脑苷：[答案] 我帮你简单叙述下最小二乘法的概念对于你所述的这种矛盾方程组 是工程上的常见问题而用最小二乘法是为了得到一个解,使其在每个方程中的误差之和达到最小但每个误差有正有负,因此我们就以“偏差的平方和最小”为原则具体的计算方法为 ...

尉犁县17772267537： 最小2乘法 步骤 - ？
潘尹脑苷： 最小二乘法百科名片最小二乘法(又称最小平方法)是一种数学优化技术.它通过最小化误差的平方和寻找数据的最佳函数匹配.利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小.最小二...

尉犁县17772267537： 最小2乘法是怎么算的呀? - ？
潘尹脑苷： 向真解无线接近,比如真解为1.1,第一次求解的范围为1-10,第二次就应该在1-5之间求解,第三次在1-2.5之间,每次取接近真解的那一半作为求解区间,无限循环下去,达到精度要求为止