最小二乘法及其应用..说课材料

最小二乘法及其应用

1． 引言

最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。

2. 最小二乘法

所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为：

21022)()(m in

i i i i i

x b b Y Y Y e

--=-=∑∑∑∧

为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例.

i i i x B B Y μ++=10 （一元线性回归方程）

由于总体回归方程不能进行参数估计，我们只能对样本回归函数来估计即：

i i i e x b b Y ++=10)...2,1(n i =

从上面的公式可以看出：残差i e 是i Y 的真实值与估计值之差，估计总体回归函数最优方法是，选择10,B B 的估计量10,b b ，使得残差i e 尽可能的小.

总之，最小二乘原理就是选择样本回归函数使得所有Y 的估计值与真实值差的平方和为最小，这种确定10,b b 的方法叫做最小二乘法。

最小二乘法是回归分析中的最基本的方法。回归方程一般分为2类，线性回归方程和非线性回归方程。

2.1 线性回归最小二乘法

最小二乘法是由实验或调查的数据，建立线性型公式的一种常用方法. 在建立线性型公式中，虽然有很多种不同的方法来求样本回归函数（即真实总体回归函数的估计值），但是在回归分析中最广泛应用的方法是最小二乘法.

如果变量y x 和有精确的线性关系比如说b ax y +=,那么∧

=i i y y 即观测值与回归值是相等的.事实上现实世界中的诸多变量的关系未必都是如此，由于受诸多随机因数的干扰使得物与物之间没有那种很明确的对应关系.比如说人的身高和体重就是一个对应，我们都知道长的高的人不一定就重，同理长的矮的人也不一定就轻.但身高和体重的确存在着一定的关系,而这种关系并非是b ax y +=所能确定的.那么我们要寻求身高和体重之间的关系就需要通过数学的方法.首先调查统计得出数据;其次把数据描绘出来；然后拟合一条跟已有的图象最接近的曲线,这样就可以相对地将身高和体重之间的关系表示出来.在处理类似的事情中常常用到最小二乘法.

2.2 非线性回归最小二乘法

非线性回归的种类很多，常用的有抛物线方程（2Y a bX cX =++）、指数方程（x Y ab =）等。

设已知列表函数()(0,1,...,)i i y f x i m ==，并且我们想用一个通常的

()n m <次多项式

()01...n n n p x a a x a x =+++ （1）

去近似它。问题是应该如何选择01...n a a a ，，

， 使()n p x 能较好地近似列表函数()f x 。按最小二乘法，应该选择01...n a a a ，，

，使得 ()()()()

2

010

...m

n i

n

i

i S a a a f x p x ==-∑，，，

（2）

取最小。注意到S 是非负的，且是01...n a a a ，，

，的2次多项式，它必有最小值。求S 对01...n a a a ，，

， 的偏导数，并令其等于零，得到 ()0

10

...0m

n k i

i n i i i y a

a x a x x =----=∑ (0,1,...,)k n =

进一步，可以将它们写成

1

01...m

m

m

m

k

k

k k n i i

i i

n i i o

i o

i o

i o

y x

a x a x a x ++=====+++∑∑∑∑ (0,1,...,)k n =

引进记号

m

m

k

k k i k i i i o

i o

s x u y x ====∑∑和

则上述方程组为

00110102111

0112,

,n n n n n n n n n

s a s a s a u s a s a s a u s a s a s a u +++++=??+++=????+++=?L L L L L L L L L L L L L (3)

它的系数行列式是

0112

1112.n n n n n n

s s s s s s s s s X +++=

L L

M M M L

由(0,1,,2)i i n s =L 的定义及行列式性质，可以断言 ()()21011

,,,.(1)!

n n X W n ξξξ+=

+∑L (4)

此处符号W 表Vandermonde 行列式，而∑是对所有可能的(0,1,,)i i n ξ=L 求和（每个i ξ 可以取值01,,,,m x x x L 并且当i j ≠时i j ξξ≠。由（4）式及Vandermonde 行列式的性质可知，当01,,,m x x x L 互异时，

()01

22

201010111

1

0.,,,n

n n n n

n n W ξξξξξξξξξξξξ=≠L L L

M

M

M

L L

从而，()100n X +≠>方程组(3)有唯一解01,,,n a a a L ,且它们使(2)取极小值如此，我们应用最小二乘法找到了()f x 的近似多项式()n x p .

在利用最小二乘法组成和式(2)时，所有点i x 都起到了同样的作用，但是有时依据某种理由认为∑中的某些项的作用大些，而另外一些作用小些（例如，一些i y 是由精度较高的仪器或操作上比较熟练的人员获得的，自然应该予以较大的信任），这在数学上表现为用和

()()()2

0m

i i n i i f x p x ρ=-∑ （5）

替代和(2)取最小值.0i ρ>，且1

1n

i i ρ==∑,i ρ通常称之为权；而(5)为加权和.

用多项式()01n n n x a a x a x p =+++L 去近似一个给定的列表函数（即给出的一组观测值()i i y f x =时。需要确定的参数是01,,,n a a a L ;而()n x p 可以看成是01,,,n a a a L 的线性函数.但是有时在利用观测或实验数据去确定一个经验公式时，往往要确定的函数和待定参数之间不具有线性形式的关系.这样问题就变得有些复杂.然而，常常可以通过变量替换使其线性化.

最小二乘法原理是用来求解线性方程组的,非线性方程经线性化后方可应用该原理. 通常在测量中遇到的问题不一定都是线性问题, 必须先把非线性问题线性化, 然后求解. 例如：

（i ）有时，我们希望用如下类型的函数：

q s pt = (6) 去近似一个由一组观测数据（列表）所描绘的函数，其中p 和q 是待定的两个参数.显然s 已非p 和q 的线性函数.怎样线性化呢？为此，我们在(6)式两端取对数，得到

Ins Inp qInt =+

记01,,,,Ins y Inp a a q x Int ====则 (6)式变成

01y a a x =+ .

这是一个一次多项式，它的系数0a 和1a 可以用最小二乘法求得.

(ii) 我们经常希望用函数

Ct S Ae = (7) 去近似一个以给定的列表函数，其中A 、C 是待定的参数.这时，我们可以(7)的两端取对数：

InS InA Ct =+

记011,,,InS y InA a C a x t ====，则(1.7)式变成

01y a a x =+

这样仍可用最小二乘法定出01,a a （从而也就定出了A ,C ），得到近似函数

Ct S Ae = .

下面列出几种常用的线性处理方法，利用最小二乘法的原理对直线型、抛物线型和指数曲线型的方程的参数估计方法，介绍如下： （1）直线型

直线方程的一般形式为

Y a bX =+

令22()()Y C a bX C -=+-∑∑为最小值，分别为a 和b 求偏导数，并令导数等于0，得到联立方程组。解方程组，即可得到参数的计算公式 。

22

()a Y bX n X Y X Y b n X X ?=-?

?-??

=?-?

∑∑∑∑∑ （2）抛物线型

抛物线方程的一般形式为

2Y a bX cX =++

令22()()Y C a bX C -=+-∑∑为最小值，分别为 a 、b 、c 求偏导数,并令导数等于0,得到联立方程组解方程组,即可得到参数的计算公式。

2223

2234

00Y na b X c X Y X a X b X c X Y X a X b X c X ?---=???---=??---=??

∑∑∑∑∑∑∑∑∑∑∑ （3)指数曲线型 指数曲线的一般形式为

X Y ab =

取对数，将指数曲线转化成对数直线形式

lg lg lg Y a X b =+

用最小二乘法估计参数a,b,可有如下方程组

2

lg lg lg (lg )lg lg Y n a b X

X Y a X b X

?=+????=?+???∑∑∑∑∑ 解此方程组，可得参数的对数值，查其反对数，即可得参数值。

3．最小二乘法原理的应用

3.1最小二乘法原理在线性回归中应用

例1.已知2009年3月到2010年4月居民收入与物价信心的满意指数如下

t=[1 2 3 4 5 6];

x=[29.50 28.20 25.90 21.70 21.90 13.80]; plot(t,x,'o');

polyfit(t,x,1) ans =

-2.9029 33.6600

则所得到的近似方程为

y=-2.9029+33.6600x.

3.2 最小二乘法原理在非线性回归中的应用

例2 设已知函数f (x )的表列值为

试按最小二乘法构造f (x )的二次近似多项式.

解：下面用Matlab 程序来求参数01,a a 和2a . 程序如下： x=[0.2 0.5 0.7 0.85 1];

y=[1.221 1.649 2.014 2.340 2.718];

plot(x,y,'o');

polyfit(x,y,2) ans =

0.9248 0.7553 1.0346

即所求0a =0.9248，1a =0.7553，2a =1.0346. 所求的近似多项式为

2()0.92480.7553 1.0346f x x x =++.

例3、在某冶炼过程中，根据统计数据的含碳量与时间关系，试求含碳量y 与时间t 的拟合曲线。

解：实验程序如下：

t=[0 5 10 15 20 25 30 35 40 45 50 55];

y=[0 1.27 2.16 2.86 3.44 3.87 4.15 4.37 4.51

4.58 4.02

4.64];

plot(t,y,'o');

p=polyfit(t,y,2) p =

-0.0024 0.2037 0.2305 综上，y 与t 的拟合曲线是

y=-0.0024+0.2037t+0.0.23052t 。

例2 设已知如下一组实验数据： t =2.2 2.7 3.5 4.1 S =65 60 53 50

试求一个Ct S Ae 型的函数去近似它.

解: 计算以紧凑的形式表示如下：

01014 1.93077.0144,

1.93070.9748 3.3671.

a a a a +=??

+=? 解之得011.963,91.9,0.434a Inp p q a =====-从而

0.43491.9S t -=。

4.小结

应用最小二乘法的几个问题：

最小二乘法虽然在数据处理方面具有显著的效果,但如果使用不当会导致很大的误差,甚至错误的结果。因此,在应用时必须注意以下几个问题:

(1) 慎重选择拟合关系式。在实际问题中,适当选择拟合关系式是一项十分谨慎的工作,它将直接影响计算的工作量和结论。

(2) 自变量的选择。在实际工作中,对一组实验()11,x y 数据按不同的拟合形式,结果会不一样。特别注意当两个变量都有一定误差时,应当使用双变量最小二乘法进行处理,否则可以使用单变量最小二乘法。

(3) 加权最小二乘法。此法是应用于实验测量值1y 非等精度的情况下的拟合方法。它不同程度的消除误差因素,结果更准确可靠。

设拟合函数为()y f x =,当x 值取1x 时y 的实测值为1y ,取()111y f x σ-。加权偏差平方和()()2

211

1

m

m

i

i i i i i s w w y f x σ====-∑∑,式中i w 为第i 个实验点的权

重因子。选取合适的权重因子i w 可获得高精度的拟合参数。

（4）最小二乘原理在很多领域有着广泛应用，利用MATLAB 求解非常方便，但一定要组要问题的类型，尤其是数据大且复杂时，来更好的突出Matlab 计算出线性参数的最佳估计值，提高了效率和精度。

（5）非线性参数的最小二乘法处理程序可归结为：首先根据具体问题将非线性问题线性化，列出误差方程；再按最小二乘法原理，利用求极值的方法将误差方程转化为正规方程；然后求解正规方程，得到待求的估计量；最后给出精度估计。上面例题利用程序求解组合测量问题，用Matlab 进行曲线的拟合。

致谢：

长江之滨，青山湖畔，是我美丽的校园。转眼间，我已经在美丽的湖师度过了四个年头。四年，这是我人生中非常重要的四年，我有幸能够接触到这些不仅传授我知识、学问，而且从更高层次指导我的人生与价值追求的良师。他们使我坚定了人生的方向，获得了追求的动力，留下了大学生活的美好回忆。在此，我真诚地向我尊敬的老师们和母校表达我深深的谢意！

这篇论文是在我的导师胡宏昌教授的多次指导下完成的。从论文的选题到结构安排，从内容到文字润饰，都凝聚了他大量的心血。在这篇论文的写作过程中，胡老师不辞辛劳，不惜在百忙的工作学习中抽出时间多次与我就论文中许多核心问题作深入细致地探讨，给我提出切实可行的指导性建议，无论是论文的整体机构，还是论文的文字、排版还是一个标点符号，胡老师都是认真的帮我查看并细心全面地帮我修改。更重要的是胡老师在指导我的论文的过程中，不顾自己由于长时间在电脑前工作的颈椎的疼痛还依然在我每次过去找他帮我修改论文时，细心的在电脑前为我指出排版的错误，甚至一个标点符号。胡老师这种一丝不苟的负责精神，使我深受感动。在此，请允许我向尊敬的胡宏昌老师表示真挚的谢意！