最小二乘法的综述及算例
题目:最小二乘法的综述及算例
院系：航天学院自动化
班级：
学号：
学生签名：
指导教师签名：
日期：2011年12月6日
目录
1．综述 (3)
2．概念 (3)
3．原理 (4)
4．算例 (6)
5．总结 (10)
参考文献 (10)
1．综述
最小二乘法最早是由高斯提出的，这是数据处理的一种很有效的统计方法。高斯用这种方法解决了天文学方面的问题，特别是确定了某些行星和彗星的天体轨迹。这类天体的椭圆轨迹由5个参数确定，原则上，只要对它的位置做5次测量就足以确定它的整个轨迹。但由
于存在测量误差，由5次测量所确定的运行轨迹极不可靠，相反，要进行多次测量，用最小二乘法消除测量误差，得到有关轨迹参数的更精确的值。最小二乘法近似将几十次甚至上百次的观察所产生的高维空间问题降到了椭圆轨迹模型的五维参数空间。
最小二乘法普遍适用于各个科学领域，它在解决实际问题中发挥了重要的作用。它在生产实践、科学实验及经济活动中均有广泛应用。比如说，我们引入等效时间的概念,根据Arrhenius 函数和指数函数研究水化热化学反应速率随温度的变化,最后采用最小二乘法回归分析试验数据,确定绝热温升和等效时间的关系式。
为了更好地掌握最小二乘法，我们引入以下两个问题：
(1)假设已知一组二维数据（i i y x ,），（i=1,2,3···n ），怎样确定它的拟合曲线y=f(x)（假
设为多项式形式f(x)=n n x a x a a +++...10）,使得这些点与曲线总体来说尽量接近？
(2)若拟合模型为非多项式形式bx
ae y =，怎样根据已知的二维数据用最小二乘线性拟合确定其系数，求出曲线拟合函数？
怎样从给定的二维数据出发，寻找一个简单合理的函数来拟合给定的一组看上去杂乱无章的数据，正是我们要解决的问题。 2．概念
在科学实验的统计方法研究中，往往要从一组实验数（i i y x ,）（i=1,2,3···m ）中寻找自变量x 与y 之间的函数关系y=F(x).由于观测数据往往不准确，此时不要求y=F(x)经过所有点（i i y x ,），而只要求在给定i x 上误差i δ=F （i x ）i y -（i=1,2,3···m ）按某种标准最小。
若记δ=()δδδm T 2,1,就是要求向量δ的范数δ最小。如果用最大范数，计算上困难较大，通常就采用Euclid 范数2δ作为误差度量的标准。
关于最小二乘法的一般提法是：对于给定的一组数据（i i y x ,） (i=0,1,…m)要求在函数空间Φ=span{
n ???,....,,10}中找一个函数S*(x)，使加权的误差平方和22δ=2
0))()((i i
m i i y x S x -∑=ω最小，其中，0)(>=i x ω是[a,b]上的权函数，它表示反应数据（i i y x ,）
在实验中所占数据的比重。
我们说，S(x)=)()()(1100x a x a x a n n ???+++ (n 在研究两个变量之间的关系时，可以用回归分析的方法进行分析。当确定了描述两个变 最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程） 最小二乘法原理 1. 概念 最小二乘法多项式曲线拟合，根据给定的m 个点,并不要求这条曲线精确地经过这些点，而是曲线y=f(x)的近似曲线y= φ(x)。 2. 原理 给定数据点pi(xi,yi)，其中i=1,2,…,m 。求近似曲线y= φ(x)。并且使得近似曲线与y=f(x)的偏差最小。近似曲线在点pi 处的偏差δi= φ(xi)-yi ，i=1,2,...,m 。 常见的曲线拟合方法： 1. 是偏差绝对值最小 11min (x )y m m i i i i i φδφ===-∑∑ 2. 是最大的偏差绝对值最小 min max (x )y i i i i φδ?=- 3. 是偏差平方和最小 2211min ((x )y )m m i i i i i φδ?===-∑∑ 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 01...k k y a a x a x =+++ 2. 各点到这条曲线的距离之和，即偏差平方和如下： 2 2 011(...)m k i i k i i R y a a x a x =??=-+++??∑ 3. 为了求得符合条件的a 值，对等式右边求ak 偏导数，因而我们得到了： 011 2(...)0m k i k i i y a a x a x =??--+++=??∑ 011 2(...)0m k i k i i y a a x a x x =??--+++=??∑ …….. 0112( 0 k k i k i i y a a x a x x =??--+++=??∑ 4. 将等式简化一下，得到下面的式子 01111...n n n k i k i i i i i a n a x a x y ===+++=∑∑∑ 2 1011111...n n n n k i i k i i i i i i i a x a x a x y x +====+++=∑∑∑∑ …… 12011111...n n n n k k k k i i k i i i i i i i a x a x a x y x +====+++=∑∑∑∑ 5. 把这些等式表示成矩阵形式，就可以得到下面的矩阵： 11102111111121111.........n n n k i i i i i i n n n n k i i i i i i i i i n n n n k k k k k i i i i i i i i i n x x y a a x x x x y a x x x x y ===+====+====??????????????????????=?????????????????????? ∑∑∑∑∑∑∑∑∑∑∑ 6. 将这个范德蒙矩阵化简后得到： 0111122 21...1...1...k k k k n n n a y x x a y x x a y x x ??????????????????=???????????????????? 曲线拟合及其应用综述 摘要：本文首先分析了曲线拟合方法的背景及在各个领域中的应用，然后详细介绍了曲线拟合方法的基本原理及实现方法，并结合一个具体实例，分析了曲线拟合方法在柴油机故障诊断中的应用，最后对全文内容进行了总结，并对曲线拟合方法的发展进行了思考和展望。 关键词：曲线拟合最小二乘法故障模式识别柴油机故障诊断 1背景及应用 在科学技术的许多领域中，常常需要根据实际测试所得到的一系列数据，求出它们的函数关系。理论上讲，可以根据插值原则构造n 次多项式Pn(x)，使得Pn(x)在各测试点的数据正好通过实测点。可是, 在一般情况下，我们为了尽量反映实际情况而采集了很多样点，造成了插值多项式Pn(x)的次数很高，这不仅增大了计算量，而且影响了函数的逼近程度；再就是由于插值多项式经过每一实测样点，这样就会保留测量误差，从而影响逼近函数的精度，不易反映实际的函数关系。因此，我们一般根据已知实际测试样点，找出被测试量之间的函数关系，使得找出的近似函数曲线能够充分反映实际测试量之间的关系，这就是曲线拟合。 曲线拟合技术在图像处理、逆向工程、计算机辅助设计以及测试数据的处理显示及故障模式诊断等领域中都得到了广泛的应用。 2 基本原理 2.1 曲线拟合的定义 解决曲线拟合问题常用的方法有很多，总体上可以分为两大类：一类是有理论模型的曲线拟合，也就是由与数据的背景资料规律相适应的解析表达式约束的曲线拟合；另一类是无理论模型的曲线拟合，也就是由几何方法或神经网络的拓扑结构确定数据关系的曲线拟合。 2.2 曲线拟合的方法 解决曲线拟合问题常用的方法有很多，总体上可以分为两大类：一类是有理论模型的曲线拟合，也就是由与数据的背景资料规律相适应的解析表达式约束的曲线拟合；另一类是无理论模型的曲线拟合，也就是由几何方法或神经网络的拓扑结构确定数据关系的曲线拟合。 2.2.1 有理论模型的曲线拟合 有理论模型的曲线拟合适用于处理有一定背景资料、规律性较强的拟合问题。通过实验或者观测得到的数据对（x i,y i）（i=1,2, …,n），可以用与背景资料规律相适应的解析表达式y=f(x,c)来反映x、y之间的依赖关系，y=f(x,c)称为拟合的理论模型，式中c=c0,c1,…c n是待定参数。当c在f中线性出现时，称为线性模型，否则称为非线性模型。有许多衡量拟合优度的标准，最常用的方法是最小二乘法。 2.2.1.1 线性模型的曲线拟合 线性模型中与背景资料相适应的解析表达式为： ε β β+ + =x y 1 （1） 式中，β0，β1未知参数，ε服从N(0，σ2)。 将n个实验点分别带入表达式（1）得到： i i i x yε β β+ + = 1 （2） 式中i=1,2,…n，ε1, ε2,…, εn相互独立并且服从N(0，σ2)。 根据最小二乘原理，拟合得到的参数应使曲线与试验点之间的误差的平方和达到最小，也就是使如下的目标函数达到最小： 2 1 1 ) ( i i n i i x y Jε β β- - - =∑ = （3） 将试验点数据点入之后，求目标函数的最大值问题就变成了求取使目标函数对待求参数的偏导数为零时的参数值问题，即： ) ( 2 1 1 = - - - - = ? ?∑ = i i n i i x y J ε β β β （4） 最小二乘法的原理及其应用 一、研究背景 在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。 其中，最小二乘法是一种最基本、最重要的计算技巧与方法。它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。本文着重讨论最小二乘法在化学生产以及系统识别中的应用。 二、最小二乘法的原理 人们对由某一变量t或多个变量t1…..tn 构成的相关变量y感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型 , q个相关变量或p个附加的相关变量去拟和。 通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。 其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。 确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为： 第一节 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 0 2 =[]∑==-m i i i y x p 0 2 min )( 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线)(x p y =（图6-1）。函数)(x p 称为拟合 函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法. 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) 当拟合函数为多项式时，称为多项式拟合，满足式（1）的)(x p n 称为最小二乘 拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。 毕业论文文献综述 信息与计算科学 最小二乘法的原理及应用 一、国内外状况 国际统计学会第56届大会于2007年8月22-29日在美丽的大西洋海滨城市、葡萄牙首都里斯本如期召开。应大会组委会的邀请，以会长李德水为团长的中国统计学会代表团一行29人注册参加了这次大会。北京市统计学会、山东省统计学会，分别组团参加了这次大会。中国统计界（不含港澳台地区）共有58名代表参加了这次盛会。本届大会的特邀论文会议共涉及94个主题，每个主题一般至少有3-5位代表做学术演讲和讨论。通过对大会论文按研究内容进行归纳，特邀论文大致可以分为四类：即数理统计，经济、社会统计和官方统计，统计教育和统计应用。 数理统计方面。数理统计作为统计科学的一个重要部分，特别是随机过程和回归分析依然展现着古老理论的活力，一直受到统计界的重视并吸引着众多的研究者。本届大会也不例外。 二、进展情况 数理统计学19世纪的数理统计学史, 就是最小二乘法向各个应用领域拓展的历史席卷了统计大部分应用的几个分支——相关回归分析, 方差分析和线性模型理论等, 其灵魂都在于最小二乘法; 不少近代的统计学研究是在此法的基础上衍生出来, 作为其进一步发展或纠正其不足之处而采取的对策, 这包括回归分析中一系列修正最小二乘法而导致的估计方法。 数理统计学的发展大致可分 3 个时期。① 20 世纪以前。这个时期又可分成两段，大致上可以把高斯和勒让德关于最小二乘法用于观测数据的误差分析的工作作为分界线，前段属萌芽时期，基本上没有超出描述性统计量的范围。后一阶段可算作是数理统计学的幼年阶段。首先，强调了推断的地位，而摆脱了单纯描述的性质。由于高斯等的工作揭示了最小二乘法的重要性，学者们普遍认为，在实际问题中遇见的几乎所有的连续变量，都可以满意地用最小二乘法来刻画。这种观点使关于最小二乘法得到了深入的发展，②20世纪初到第二次世界大战结束。这是数理统计学蓬勃发展达到成熟的时期。许多重要的基本观点和方法，以及数理统计学的主要分支学科，都是在这个时期建立和发展起来的。这个时期的成就，包含了至今仍在广泛使用的大多数统计方法。在其发展中，以英国统计学家、生物学家费希尔为代表的英国学派起了主导作用。③战后时期。这一时期中，数理统计学在应用和理论两方面继续获得很大的进展。 普通最小二乘法（OLS ） 普通最小二乘法（Ordinary Least Square ，简称OLS ），是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础，是必须熟练掌握的一种方法。 在已经获得样本观测值i i x y ,（i=1,2,…,n ）的情况下 （见图中的散点），假如模型（）的参数估计量已经求得到， 为^0β和^ 1β，并且是最合理的参数估计量，那么直线方程（见 图中的直线） i i x y ^ 1^0^ββ+= i=1,2,…,n 应该能够最 好地拟合样本数据。其中^i y 为被解释变量的估计值，它是由参数估计量和解释变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。 ),()(1022101ββββQ u x y Q i i n i i ==--=∑∑= ()()),(min ????1021 10212?,?1100ββββββββQ x y y y u Q n i i n i i i =--=-==∑∑∑== 为什么用平方和因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。 由于 2 1 ^1^012 ^ ))(()(∑∑+--=n i i n i i x y y y Q ββ＝ 是^0β、^1β的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q 对^0β、^ 1β的一阶偏导数为0时，Q 达到最小。即 0011001100?,?1 ?,?0 =??=??====ββββββββββQ Q 容易推得特征方程： ()0)??(0?)??(1011 10==--==-=--∑∑∑∑∑==i i i i n i i i i i i n i i e x x y x e y y x y ββββ 解得： ∑∑∑∑∑+=+=2^ 1^0^1^0i i i i i i x x x y x n y ββββ （） 所以有：???? ?????-=---=--=∑∑∑∑∑∑∑=======x y x x y y x x x x n y x y x n n i i n i i i n i i n i i n i i n i i n i i i 10121 21121111??)())(()()()(?βββ （） 于是得到了符合最小二乘原则的参数估计量。 为减少计算工作量，许多教科书介绍了采用样本值的离差形式的参数估计量的计算公式。由于现在计量经济学计算机软件被普遍采用，计算工作量已经不是什么问题。但离差形式的计算公式在其他方面也有应用，故在此写出有关公式，不作详细说明。记 ∑=-i x n x 1 ∑=-i y n y 1 y y y x x x i i i i -=-= （）的参数估计量可以写成 第6章曲线拟合的最小二乘法 6.1 拟合曲线 通过观察或测量得到一组离散数据序列，当所得数据比较准确时，可构造插值函数逼近客观存在的函数，构造的原则是要求插值函数通过这些数据点，即。此时，序列与 是相等的。 如果数据序列，含有不可避免的误差（或称“噪音”），如图6.1 所示；如果数据序列无法同时满足某特定函数，如图6.2所示，那么，只能要求所做逼近函数最优地靠近样点，即向量与的误差或距离最小。按与之间误差最小原则作为“最优”标准构造的逼近函数，称为拟合函数。 图6.1 含有“噪声”的数据 图6.2 一条直线公路与多个景点 插值和拟合是构造逼近函数的两种方法。插值的目标是要插值函数尽量靠近离散点；拟合的目标是要离散点尽量靠近拟合函数。 向量与之间的误差或距离有各种不同的定义方法。例如： 用各点误差绝对值的和表示： 用各点误差按模的最大值表示： 用各点误差的平方和表示： 或（6.1） 其中称为均方误差，由于计算均方误差的最小值的方法容易实现而被广泛采用。按 均方误差达到极小构造拟合曲线的方法称为最小二乘法。本章主要讲述用最小二乘法构造拟合曲线的方法。 在运筹学、统计学、逼近论和控制论中，最小二乘法都是很重要的求解方法。例如，它是统计学中估计回归参数的最基本方法。 关于最小二乘法的发明权，在数学史的研究中尚未定论。有材料表明高斯和勒让德分别独立地提出这种方法。勒让德是在1805年第一次公开发表关于最小二乘法的论文，这时高斯指出，他早在1795年之前就使用了这种方法。但数学史研究者只找到了高斯约在1803年之前使用了这种方法的证据。 在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。 例如，某风景区要在已有的景点之间修一条规格较高的主干路，景点与主干路之间由各具特色的支路联接。设景点的坐标为点列；设主干路为一条直线 ，即拟合函数是一条直线。通过计算均方误差最小值而确定直线方程（见图6.2）。 6.2线性拟合和二次拟合函数 线性拟合 给定一组数据，做拟合直线，均方误差为 （6.2） 是二元函数，的极小值要满足 整理得到拟合曲线满足的方程： 最小二乘法综述及算例 一最小二乘法的历史简介 1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。 高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。 经过两百余年后，最小二乘法已广泛应用与科学实验和工程技术中，随着现代电子计算机的普及与发展，这个方法更加显示出其强大的生命力。 二最小二乘法原理 最小二乘法的基本原理是：成对等精度测得的一组数据),...,2,1(,n i y x i i =，是找出一条最佳的拟合曲线，似的这条曲线上的个点的值与测量值的差的平方和在所有拟合曲线中最小。 设物理量y 与1个变量l x x x ,...,2,1间的依赖关系式为:)(,...,1,0;,...,2,1n l a a a x x x f y =。 其中n a a a ,...,1,0是n +l 个待定参数,记()2 1 ∑=- = m i i i y v s 其中 是测量值, 是由己求 得的n a a a ,...,1,0以及实验点),...,2,1)(,...,(;,2,1m i v x x x i il i i =得出的函数值 )(,...,1,0;,...,2,1n il i i a a a x x x f y =。 在设计实验时, 为了减小误差, 常进行多点测量, 使方程式个数大于待定参数的个数, 此时构成的方程组称为矛盾方程组。通过最小二乘法转化后的方程组称为正规方程组(此时方程式的个数与待定参数的个数相等) 。我们可以通过正规方程组求出a 最小二乘法又称曲线拟合, 所谓“ 拟合” 即不要求所作的曲线完全通过所有的数据点, 只要求所得的曲线能反映数据的基本趋势。 三曲线拟合 曲线拟合的几何解释: 求一条曲线, 使数据点均在离此曲线的上方或下方不远处。 （1）一元线性拟合 设变量y 与x 成线性关系x a a y 10+=,先已知m 个实验点),...,2,1(,m i v x i i =，求两个未知参数1,0a a 。 令()2 1 10∑ =--=m i i i x a a y s ，则1,0a a 应满足1,0,0==??i a s i 。 即 i v i v 误差理论综述与最小二乘法讨论 摘要：本文对误差理论和有关数据处理的方法进行综述。并且针对最小二乘法（LS）的创立、发展、思想方法等相关方面进行了研究和总结。同时，将近年发展起来的全面最小二乘法(TLS)同传统最小二乘法进行了对比。 1.误差的有关概念 对科学而言，各种物理量都需要经过测量才能得出结果。许多物理量的发现，物理常数的确定，都是通过精密测量得到的。任何测试结果，都含有误差，因此，必须研究，估计和判断测量结果是否可靠，给出正确评定。对测量结果的分析、研究、判断，必须采用误差理论，它是我们客观分析的有力工具 测量基本概念 一个物理量的测量值应由数值和单位两部分组成。按实验数据处理的方式，测量可分为直接测量、间接测量和组合测量。 直接测量:可以用测量仪表直接读出测量值的测量。 间接测量:有些物理量无法直接测得，需要依据待测物理量与若干直接测量量的函数关系求出。 组合测量:如有若干个待求量，把这些待求量用不同方法组合起来进行测量，并把测量结果与待求量之间的函数关系列成方程组，用最小二乘法求出这个待求量的数值，即为组合测量。 误差基本概念 误差是评定测量精度的尺度，误差越小表示精度越高。若某物理量的测量值为y，真值为Y，则测量误差dy=y-Y。虽然真值是客观存在的，但实际应用时它一般无从得知。按照误差的性质，可分为随机误差，系统误差和粗大误差三类。 随机误差:是同一测量条件下，重复测量中以不可预知方式变化的测量误差分量。 系统误差:是同一测量条件下，重复测量中保持恒定或以可预知方式变化的测量误差分量。 粗大误差:指超出在规定条件下预期的误差。 等精度测量的随机误差 当对同一量值进行多次等精度的重复测量，得到一系列的测量值，每个测量 题目:最小二乘法的综述及算例院系：航天学院自动化 班级： 学号： 学生签名： 指导教师签名： 日期：2011年12月6日 目录 1．综述 (3) 2．概念 (3) 3．原理 (4) 4．算例 (6) 5．总结 (10) 参考文献 (10) 1．综述 最小二乘法最早是由高斯提出的，这是数据处理的一种很有效的统计方法。高斯用这种方法解决了天文学方面的问题，特别是确定了某些行星和彗星的天体轨迹。这类天体的椭圆轨迹由5个参数确定，原则上，只要对它的位置做5次测量就足以确定它的整个轨迹。但由于存在测量误差，由5次测量所确定的运行轨迹极不可靠，相反，要进行多次测量，用最小二乘法消除测量误差，得到有关轨迹参数的更精确的值。最小二乘法近似将几十次甚至上百次的观察所产生的高维空间问题降到了椭圆轨迹模型的五维参数空间。 最小二乘法普遍适用于各个科学领域，它在解决实际问题中发挥了重要的作用。它在生产实践、科学实验及经济活动中均有广泛应用。比如说，我们引入等效时间的概念,根据Arrhenius 函数和指数函数研究水化热化学反应速率随温度的变化,最后采用最小二乘法回归分析试验数据,确定绝热温升和等效时间的关系式。 为了更好地掌握最小二乘法，我们引入以下两个问题： (1)假设已知一组二维数据（i i y x ,），（i=1,2,3···n ），怎样确定它的拟合曲线y=f(x)（假设为多项式形式f(x)=n n x a x a a +++...10）,使得这些点与曲线总体来说尽量接近？ (2)若拟合模型为非多项式形式bx ae y =，怎样根据已知的二维数据用最小二乘线性拟合确定其系数，求出曲线拟合函数？ 怎样从给定的二维数据出发，寻找一个简单合理的函数来拟合给定的一组看上去杂乱无章的数据，正是我们要解决的问题。 2．概念 在科学实验的统计方法研究中，往往要从一组实验数（i i y x ,）（i=1,2,3···m ）中寻找自变量x 与y 之间的函数关系y=F(x).由于观测数据往往不准确，此时不要求y=F(x)经过所有点（i i y x ,），而只要求在给定i x 上误差i δ=F （i x ）i y -（i=1,2,3···m ）按某种标准最小。 若记δ=( )δδδm T 2 ,1,就是要求向量δ的范数δ 最小。如果用最大范数，计算上困 难较大，通常就采用Euclid 范数2 δ 作为误差度量的标准。 关于最小二乘法的一般提法是：对于给定的一组数据（i i y x ,） (i=0,1,…m)要求在函数空间Φ=span{ n ???,....,,10}中找一个函数S*(x)，使加权的误差平方和22 δ = 最小二乘法 最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。最小二乘法公式： 设拟合直线的公式为 , 其中：拟合直线的斜率为： ；计算出斜率后，根据 和已经确定的斜率k，利用待定系数法求出截距b。 在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1),(x2, y2).. (xm , ym)；将这些数据描绘在x -y 直角坐标系中(如图1), 若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。 Y计= a0 + a1 X (式1-1) 其中：a0、a1 是任意实数 为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi - Y计)²〕最小为“优化判据”。 令: φ= ∑(Yi - Y计)² (式1-2) 把(式1-1)代入(式1-2)中得: φ= ∑(Yi - a0 - a1 Xi)2 (式1-3) 当∑(Yi-Y计)²最小时，可用函数φ对a0、a1求偏导数，令这两个偏导数等于零。 (式1-4) (式1-5) 亦即 m a0 + (∑Xi ) a1 = ∑Yi (式1-6) (∑Xi ) a0 + (∑Xi2 ) a1 = ∑(Xi, Yi) (式1-7) 得到的两个关于a0、a1为未知数的两个方程组，解这两个方程组得出： a0 = (∑Yi) / m - a1(∑Xi) / m (式1-8) a1 = [∑Xi Yi - (∑Xi ∑Yi)/ m] / [∑Xi2 - (∑Xi)2 / m)] (式1-9) 这时把a0、a1代入(式1-1)中, 此时的(式1-1)就是我们回归的元线性方程即：数学模型。 在回归过程中，回归的关联式是不可能全部通过每个回归数据点(x1, y1、x2, y2...xm,ym),为了判断关联式的好坏,可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于1 越好；“F”的绝对值越大越好；“S”越趋近于0 越好。 R = [∑XiYi - m (∑Xi / m)(∑Yi / m)]/ SQR{[∑Xi2 - m (∑Xi / m)2][∑Yi2 - m (∑Yi / m)2]} (式1-10) * 在(式1-1)中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。微积分应用课题一最小二乘法 从前面的学习中, 我们知道最小二乘法可以用来处理一组数据, 可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称为经验公式. 本课题将介绍最小二乘法的精确定义及如何寻求与之间近似成线性关系时的经验公式. 假定实验测得变量之间的个数 生活中的计算方法应用实例——— 最小二乘法，用MATLAB实现1. 数值实例 下面给定的是某市最近1个月早晨7：00左右（新疆时间）的天气预报所得到的温度 天数 1 2 3 4 5 6 7 8 9 10 温度9 10 11 12 13 14 13 12 11 9 天数11 12 13 14 15 16 17 18 19 20 温度10 11 12 13 14 12 11 10 9 8 天数21 22 23 24 25 26 27 28 29 30 温度7 8 9 11 9 7 6 5 3 1 下面用MATLAB编程对上述数据进行最小二乘拟合，按照数据找出任意次曲线拟合方程和它的图像。 2、程序代码 x=[1:1:30]; y=[9,10,11,12,13,14,13,12,11,9,10,11,12,13,14,12,11,10,9,8,7,8,9,11,9,7, 6,5,3,1]; a1=polyfit(x,y,3) %三次多项式拟合% a2= polyfit(x,y,9) %九次多项式拟合% a3= polyfit(x,y,15) %十五次多项式拟合% b1= polyval(a1,x) b2= polyval(a2,x) b3= polyval(a3,x) r1= sum((y-b1).^2) %三次多项式误差平方和% r2= sum((y-b2).^2) %九次次多项式误差平方和% r3= sum((y-b3).^2) %十五次多项式误差平方和% plot(x,y,'*') %用*画出x,y图像% hold on plot(x,b1, 'r') %用红色线画出x,b1图像% hold on plot(x,b2, 'g') %用绿色线画出x,b2图像% hold on plot(x,b3, 'b:o') %用蓝色o线画出x,b3图像% 3、数值结果 不同次数多项式拟合误差平方和为： r1=67.6659 文献综述 信息与计算科学 最小二乘法的原理及应用 一、国内外状况 国际统计学会第56届大会于2007年8月22-29日在美丽的大西洋海滨城市、葡萄牙首都里斯本如期召开。应大会组委会的邀请，以会长李德水为团长的中国统计学会代表团一行29人注册参加了这次大会。北京市统计学会、山东省统计学会，分别组团参加了这次大会。中国统计界（不含港澳台地区）共有58名代表参加了这次盛会。本届大会的特邀论文会议共涉及94个主题，每个主题一般至少有3-5位代表做学术演讲和讨论。通过对大会论文按研究内容进行归纳，特邀论文大致可以分为四类：即数理统计，经济、社会统计和官方统计，统计教育和统计应用。 数理统计方面。数理统计作为统计科学的一个重要部分，特别是随机过程和回归分析依然展现着古老理论的活力，一直受到统计界的重视并吸引着众多的研究者。本届大会也不例外。 二、进展情况 数理统计学19世纪的数理统计学史, 就是最小二乘法向各个应用领域拓展的历史席卷了统计大部分应用的几个分支——相关回归分析, 方差分析和线性模型理论等, 其灵魂都在于最小二乘法; 不少近代的统计学研究是在此法的基础上衍生出来, 作为其进一步发展或纠正其不足之处而采取的对策, 这包括回归分析中一系列修正最小二乘法而导致的估计方法。 数理统计学的发展大致可分 3 个时期。① 20 世纪以前。这个时期又可分成两段，大致上可以把高斯和勒让德关于最小二乘法用于观测数据的误差分析的工作作为分界线，前段属萌芽时期，基本上没有超出描述性统计量的范围。后一阶段可算作是数理统计学的幼年阶段。首先，强调了推断的地位，而摆脱了单纯描述的性质。由于高斯等的工作揭示了最小二乘法的重要性，学者们普遍认为，在实际问题中遇见的几乎所有的连续变量，都可以满意地用最小二乘法来刻画。这种观点使关于最小二乘法得到了深入的发展，②20世纪初到第二次世界大战结束。这是数理统计学蓬勃发展达到成熟的时期。许多重要的基本观点和方法，以及数理统计学的主要分支学科，都是在这个时期建立和发展起来的。这个时期的成就，包含了至今仍在广泛使用的大多数统计方法。在其发展中，以英国统计学家、生物学家费希尔为代表的英国学派起了主导作用。③战后时期。这一时期中，数理统计学在应用和理论两方面继续获得很大的进展。 最小二乘法的基本原理和多项式拟合 一最小二乘法的基本原理 从整体上考虑近似函数同所给数据点 (i=0,1,…,m)误差 (i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 (i=0,1,…,m)绝对值的最大值，即误差向量 的∞—范数；二是误差绝对值的和，即误差向量r的1—范数；三是误差平方 和的算术平方根，即误差向量r的2—范数；前两种方法简单、自然，但不便于微分运算，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误 差平方和来度量误差 (i=0，1，…，m)的整体大小。 数据拟合的具体作法是：对给定数据 (i=0,1,…，m)，在取定的函数类 中,求,使误差(i=0,1,…,m)的平方和最小，即 = 从几何意义上讲，就是寻求与给定点 (i=0,1,…,m)的距离平方和为最小的曲线 （图6-1）。函数称 为拟合函数或最小二乘解，求拟合函数的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类可有不同的选取方法. 6—1 二多项式拟合 假设给定数据点 (i=0,1,…,m)，为所有次数不超过的多项式构成的函数类，现求一,使得 (1) 当拟合函数为多项式时，称为多项式拟合，满足式（1）的称为最小二乘拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。 显然 为的多元函数，因此上述问题即为求的极值问题。由多元函数求极值的必要条件，得 (2) 即 (3) （3）是关于的线性方程组，用矩阵表示为 (4) 式（3）或式（4）称为正规方程组或法方程组。 可以证明，方程组（4）的系数矩阵是一个对称正定矩阵，故存在唯一解。从式（4）中解出 (k=0,1,…，n)，从而可得多项式 (5) 可以证明，式（5）中的满足式（1），即为所求的拟合多项式。我们把 称为最小二乘拟合多项式的平方误差，记作 由式(2)可得 (6) 多项式拟合的一般方法可归纳为以下几步： (1) 由已知数据画出函数粗略的图形——散点图，确定拟合多项式的次数n； (2) 列表计算和； (3) 写出正规方程组，求出； (4) 写出拟合多项式。 该方程的参数估计步骤如下： 取n 组观测值n i x x x y ki i i i ,,2,1),,,,(211 =代入上式中可得下列形式： ?????????++??+++=++??+++=++??+++=m mk k m m m k k k k u x x x y u x x x y u x x x y ββββββββββββ2211022222211021 112211101 （2） (2)的矩阵表达形式为： U B X y += （3） 对于模型（3），如果模型的参数估计值已经得到，则有： ^^B X y = （4） 那么，被解释变量的观测值与估计值之差的平方和为： ∑∑==--==-==n i i i n i i B X Y B X Y e e y y e Q 1 ^ '^'2^12)()()( （5） 根据最小二乘法原理，参数估计值应该是下列方程： 0)()(^' ^^=--??B X Y B X Y B （6） 的解。于是，参数的最小二乘估计值为： Y X X X B '1'^)(-= （ 7） 多变量预测模型是以多元线性回归方程为基础，其一般形式为： i ki k i i i u x x x y +++++=ββββ 22110 （8） 其中：k n i ;,,2,1 =为解释变量的数目；k x x x ,,,21 为解释变量，)1(+k 为解释变量的数目；k βββ ,,21为待估参数；u 为随机干扰项；i 为观测值下标。 统计检验是依据统计理论来检验模型参数估计值的可靠性。主要包括方程显著性检验（F 检验）和变量显著性检验（F 检验）。前者计算出F 统计量的数值；给定一个显著性水平α，查F 分布表，得到一个临界值),1,(--k n k F α当)1,(-->k n k F F α时，通过F 检验。后者计算出t 统计量的数值；给定一个显著性水平α，查t 分布表，得到一个临界值)1(2/--k n t α，当)1(||2/-->k n t t α时，通过t 检验。 开题报告 数学与应用数学 最小二乘法的原理和应用 一、选题的意义 最小二乘法在很多领域都的到了广泛的应用。在研究两个变量之间的关系时，可以用回归分析的方法进行分析。当确定了描述两个变量之间的回归模型后，就可以使用最小二乘法估计模型中的参数，进而建立经验方程。简单的说，最小二乘法思想就是要使得观测点和估计点的距离的平方和达到最小。这里的“二乘”指的是用平方来度量观测点与估计点的远近，“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。从计算角度看，最小二乘法与插值法类似，都是处理数据的算法。但从创设的思想看，二者却有本质的不同，前者寻求一条曲线，使其与观测数据“最接近”，目的是代表观测数据的趋势；后者则是使曲线严格通过给定的观测数据，其目的是通过来自函数模型的数据来接近近似刻画函数。在观测数据带有测量误差的情况下，就会使得这些观测数据偏离函数曲线，结果使得观测数据保持一致的插值法不如最小二乘法得到的曲线更符合客观实际。 最小二乘法能在统计学中得到应用，也是因为测量误差的存在。事实上，在高斯等人创立了测量误差理论，对最小二乘法进行了分析后，这种方法才在统计界获得了合法地位，正式成为了一张统计方法。最小二乘法逐步渗入到统计数据分析领域，对统计学的发展产生了重大影响。 二、研究的主要内容，拟解决的主要问题（阐述的主要观点） 最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最 小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。曲线拟合中最基本和最常用的是直线拟合。用最小二乘法估计参数时，要求观测值的偏差的加权平方和为最小。由于直线参数的估计值是根据由误差的观测数据点计算出来的，他们不可避免地存在着偏差。 三、研究（工作）步骤、方法及措施（思路） 研究（工作）步骤： 1．2010.12.15－2010.12.31 根据选题，广泛查阅资料，填写任务书有关事项，明确任务要求，初步形成研究方向。 2．2011.1.1－2011.3.6利用课余时间、假期仔细研读参考文献，初步拟定论文提纲，收集所要翻译的外文资料，完成两篇外文翻译，以及撰写开题报告和文献综述。 3．2011.3.6－2011.3.12修改开题报告、文献综述和外文翻译，进一步整理论文大纲。 4．2011.3.13－2011.3.16根据论文大纲翻阅相关详细资料。 5．2011.3.17－2011.3.26整理收集的相关材料，开始写论文工作。 6．2011.3.27－2011.4.10撰写论文初稿，上交论文、译文、开题报告、指导记录、中期检查表。 7．2011.4.11－2011.4.25修改论文，上交所有相关材料。 8．2011.4.26－2011.5.18补充必要的内容，论文打印、定稿。 9. 2011.5.19－2011.5.28准备毕业论文答辩。 方法及措施：主要采用举例分析、探讨的方法。 四、毕业论文（设计）提纲 1. 最小二乘法的引入 1.1最小二乘法及其证明 1.2最小二乘法的简单运用 4.最小二乘法线性拟合 我们知道，用作图法求出直线的斜率a 和截据b ，可以确定这条直线所对应的经验公式，但用作图法拟合直线时，由于作图连线有较大的随意性，尤其在测量数据比较分散时，对同一组测量数据，不同的人去处理，所得结果有差异，因此是一种粗略的数据处理方法，求出的a 和b 误差较大。用最小二乘法拟合直线处理数据时,任何人去处理同一组数据，只要处理过程没有错误，得到的斜率a 和截据b 是唯一的。 最小二乘法就是将一组符合Y=a+bX 关系的测量数据，用计算的方法求出最佳的a 和b 。显然，关键是如何求出最佳的a 和b 。 (1) 求回归直线 设直线方程的表达式为： bx a y += (2-6-1) 要根据测量数据求出最佳的a 和b 。对满足线性关系的一组等精度测量数据（x i ，y i ），假定自变量x i 的误差可以忽略，则在同一x i 下，测量点y i 和直线上的点a+bx i 的偏差d i 如下： 111bx a y d --= 222bx a y d --= n n n bx a y d --= 显然最好测量点都在直线上（即d 1=d 2=……=d n =0），求出的a 和b 是最理想的，但测量点不可能都在直线上，这样只有考虑d 1、d 2、……、d n 为最小，也就是考虑d 1+d 2+……+d n 为最小，但因d 1、d 2、……、d n 有正有负，加起来可能相互抵消，因此不可取；而|d 1|+ |d 2|+……+ |d n |又不好解方程，因而不可行。现在采取一种等效方法：当d 12+d 22+……+d n 2 对a 和b 为最小时，d 1、d 2、……、d n 也为最小。取（d 12+d 22+……+d n 2 ）为最小值，求a 和b 的方法叫最小二乘法。 令 ∑== n i i d D 1 2＝21 1 2][i i n i n i i b a y d D --== ∑∑== (2-6-2) D 对a 和b 分别求一阶偏导数为： ][211∑∑==---=??n i i n i i x b na y a D ][21 2 11∑∑∑===---=??n i i n i i n i i i x b x a y x b D最小二乘法及其应用..
最小二乘法原理
1、曲线拟合及其应用综述
最小二乘法的原理及其应用
最小二乘法的本原理和多项式拟合
最小二乘法原理及应用【文献综述】
普通最小二乘法(OLS)
数值计算_第6章 曲线拟合的最小二乘法
最小二乘法综述及举例
最小二乘法在误差分析中的应用
最小二乘法的综述及算例
最小二乘法原理
最小二乘法--计算方法
【文献综述】最小二乘法原理及应用
最小二乘法的基本原理和多项式拟合
最小二乘法基本原理
【开题报告】最小二乘法的原理和应用
最小二乘法拟合