摘要：最小二乘法公式为a＝y（平均）－b＊x（平均）。在研究两个变量（x，y）之间的相互关系时，通常可以得到一系列成对的数据（x1，y1），（x2，y2） （xm，...

最小二乘法公式为a＝y（平均）－b＊x（平均）。

在研究两个变量（x，y）之间的相互关系时，通常可以得到一系列成对的数据（x1，y1），（x2，y2）...（xm，ym）；将这些数据描绘在x－y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如a＝y（平均）－b＊x（平均）。其中：a、b是任意实数。

最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

根据样本数据，采用最小二乘估计式可以得到简单线性回归模型参数的估计量。但是估计量参数与总体真实参数的接近程度如何，是否存在更好的其它估计式，这就涉及到最小二乘估计式或估计量的最小方差（或最佳）性、线性及无偏性。

最小二乘

找到一个（组）估计值，使得实际值与估计值的距离最小。本来用两者差的绝对值汇总并使之最小是最理想的，但绝对值在数学上求最小值比较麻烦，因而替代做法是，找一个（组）估计值，使得实际值与估计值之差的平方加总之后的值最小，称为最小二乘。“二乘”的英文为least square，其实英文的字面意思是“平方最小”。这时，将这个差的平方的和式对参数求导数，并取一阶导数为零，就是OLSE。

最小二乘法的核心是权衡，因为你要在很多条线中间选择，选择出距离所有的点之和最短的；

换一种方式描述最小二乘法

（1）已知多条近似交汇于同一个点的直线，想求解出一个近似交点：寻找到一个距离所有直线距离平方和最小的点，该点即最小二乘解；

（2）已知多个近似分布于同一直线上的点，想拟合出一个直线方程：设该直线方程为y=kx+b，调整参数k和b，使得所有点到该直线的距离平方之和最小，设此时满足要求的k=k0，b=b0，则直线方程为y=k0x+b0。

举个最简单的例子理解最小二乘

假设身高是变量X，体重是变量Y，我们都知道身高与体重有比较直接的关系。生活经验告诉我们：一般身高比较高的人，体重也会比较大。但是这只是我们直观的感受，只是很粗略的定性的分析。在数学世界里，我们大部分时候需要进行严格的定量计算：能不能根据一个人的身高，通过一个式子就能计算出他或者她的标准体重？

接下来，我们会找一些人进行采样，我们会得到一堆数据(x1,y1),(x2,y2),⋯,(xn,yn)，其中x是身高，y是体重。

得到这堆数据以后，接下来肯定是要处理这堆数据了。生活常识告诉我们：身高与体重是一个近似的线性关系，用最简单的数学语言来描述就是y=β0+β1x。于是，接下来的任务就变成了：怎么根据我们现在得到的采样数据，求出这个β0与β1呢？这个时候，就轮到最小二乘法发飙显示威力了。