最小二乘法在误差分析中的应用
误差理论综述与最小二乘法讨论
摘要：本文对误差理论和有关数据处理的方法进行综述。并且针对最小二乘法（LS）的创立、发展、思想方法等相关方面进行了研究和总结。同时，将近年发展起来的全面最小二乘法(TLS)同传统最小二乘法进行了对比。
1.误差的有关概念
对科学而言，各种物理量都需要经过测量才能得出结果。许多物理量的发现，物理常数的确定，都是通过精密测量得到的。任何测试结果，都含有误差，因此，必须研究，估计和判断测量结果是否可靠，给出正确评定。对测量结果的分析、研究、判断，必须采用误差理论，它是我们客观分析的有力工具
1.1测量基本概念
一个物理量的测量值应由数值和单位两部分组成。按实验数据处理的方式，测量可分为直接测量、间接测量和组合测量。
直接测量:可以用测量仪表直接读出测量值的测量。
间接测量:有些物理量无法直接测得，需要依据待测物理量与若干直接测量量的函数关系求出。
组合测量:如有若干个待求量，把这些待求量用不同方法组合起来进行测量，并把测量结果与待求量之间的函数关系列成方程组，用最小二乘法求出这个待求量的数值，即为组合测量。
1.2误差基本概念
误差是评定测量精度的尺度，误差越小表示精度越高。若某物理量的测量值为y，真值为Y，则测量误差dy=y-Y。虽然真值是客观存在的，但实际应用时它一般无从得知。按照误差的性质，可分为随机误差，系统误差和粗大误差三类。
随机误差:是同一测量条件下，重复测量中以不可预知方式变化的测量误差分量。
系统误差:是同一测量条件下，重复测量中保持恒定或以可预知方式变化的测量误差分量。
粗大误差:指超出在规定条件下预期的误差。
1.3等精度测量的随机误差
当对同一量值进行多次等精度的重复测量，得到一系列的测量值，每个测量
值都含有误差，这些误差的出现没有特定的规律，但就误差的总体而言，却有统计规律。
1.3.1正态分布
通过对大量的测量数据的观察，人们发现测量列的随机误差有以下几个特征：（1）绝对值相等的正误差与负误差出现的次数相等，即误差的对称性；
（2）绝对值小的误差比绝对值大的误差出现的次数多，即误差的单峰性；（3）在一定的测量条件下，随机误差的绝对值不会超过一定界限，即误差的有界性；
（4）随着测量次数的增加，随机误差的算术平均值趋于零，即误差的抵偿性。
正态分布曲线如下图1-1所示。正态分布时区间(μ-σ，μ+σ)的面积占总面积的68.27%; (μ-1.96σ，μ+1.96σ)的面积占总面积的95%;区间(μ-2.58σ，μ+2.58σ)的面积占总面积的99%。
图1-1.正态分布曲线
1.3.2t分布
t分布是小样本分布，小样本分布一般是指n<30。t分布适用于当总体标准差σ未知时用实验标准差s代替总体标准差σ，由样本平均数推断总体平均数以及2个小样本之间差异的显著性检验等。关于t分布的早期理论工作，是英国统计学家威廉·西利·戈塞特 (wiliamsealy Gosset)在1900年进行的。
1.4系统误差
系统误差是由固定不变的或按某种规律变化的因素造成的，这些误差因素可能是由于：
（1）测量装置的原因：仪器设计上的缺欠，仪器零件制造和安装的不正确，仪器附件的制造偏差。
（2）测量环境的原因：测量过程中温度、湿度等按一定的规律变化。
（3）测量方法的原因：采用近似的测量方法或近似的计算公式引起的误差。
（4）测量人员的原因：由于测量人的个人特点导致的测量误差。
系统误差具有确定的规律性，这与随机误差有根本区别。
对于测量中存在的较为显著的系统误差，可以通过一些检验方法和手段发现。如：1. 通过实验对比检验系统误差；2.通过理论分析判断系统误差；3. 对测量数据进行直接判断；4. 用统计方法进行检验。
1.5粗大误差
测量数据中包含随机误差和系统误差是正常的，只要测量误差在一定的范围内，测量结果就是正确的。但当测量者在测量时由于疏忽造成错误读取示值，错误纪录测量值，错误操作以及使用有缺欠的计量器具时，会出现粗大误差，此数据的误差分量明显偏大，即明显歪曲测量结果。
对于粗大误差，有以下几种判别方法：
（1）莱依特准则(3σ准则)：
若对某一物理量等精度重复测量n 次，得测量值123,,......n x x x x ，如果某测得值的残差大于3倍的标准差，即|v|>3σ，该数据为异常数据，应剔除。莱依特准则的合理性是显然的，对服从正态分布的随机误差，其残差落在（-3σ，3σ）以外的概率仅为0.27%，当在有限次测量中发生的可能性很小，认为是不可能发生的。
（2）肖维勒准则：
若对某一物理量等精度重复测量n 次，得测量值123,,......n x x x x ，若认为j x 为可疑数据，若此数据的残差|v|>Zσ，则此数据为异常数，应剔除。实用中Z<3，这在一定程度上弥补了3σ准则的不足。Z 是与测量次数n 有关的系数。其
（3）t 检验准则(罗曼诺夫斯基准则)： 罗曼诺夫斯基准则又称t 检验准则，其特点是首先剔除一个可疑的测得值，然后按t 分布检验被剔除的测量值是否为异常值。
（4）格罗布斯准则。
（5）狄克逊准则。
2.测量的不确定度
测量数据或经数据处理给出的最终结果都不可能是客观真值，只是被测量的近似值(或估计量)。因此，只给出被测量的估计值是不够的，还必须对估计值做
出精度估计。测量或结果的精度估计用“不确定度”这一参数表征。它表征被测量的真值所处的量值散布范围的评定，反映了由于误差存在而对被测量值不能确定的程度。测量不确定度涉及到测量误差的性质、分布及测量方法等。不确定度的表述是数据处理的基本要求。
2.1不确定度的定义与分类
测量不确定度是指测量结果的不肯定，是表征被测量的真值在某个量值范围的一个估计，是测量结果含有的一个参数，用以表示被测量值的分散性。这种测量不确定度的定义表明，一个完整的测量结果应包含被测量值的估计与分散性参数两个部分。如被测量Y的测量结果为y士U，其中y是被测量的估计，它具有的测量不确定度为U。
不确定度从评定方法上可分为两类:A类分量和B类分量。
用统计分析法来评定的不确定度称为A类不确定度评定，当测量误差服从正态分布时，以标准差表示称为标准不确定度，用符号u表示，u=s。不能由统计分析法评定的不确定度称为B类不确定度评定，A类以外的不确定度均属于B 类不确定度。
测量误差和测量不确定度是误差理论中两个重要的概念，它们具有相同点，都是评价测量结果质量好坏的重要指标，但它们又有明显的区别。
2.2提高测量精度的途径
在拟定或设计测量方法时，需要确定测量的不确定度。测量的总不确定度应根据被测量的精度要求恰当的给以规定。反过来，要想提高测量的精度，就应尽可能的减小最后结果的总不确定度。根据不确定度的合成关系，可从下面几方面着手。
（1）控制测量的误差因素；
（2）选择有利的测量方案；
（3）控制误差的最大分盘。
3.测量数据的处理
无论哪个学科，在做实验的过程中，测得实验数据之后，都必须对数据进行一系列的加工和运算，这就是数据处理过程。因此，针对数据处理，这里介绍作图法、逐差法、最小二乘法和回归分析方法。
3.1用作图法处理数据
作图法处理数据是指在实验中，进行测量以后，把相关数据做成曲线图，然后通过曲线来求未知量的方法。
作图法能直观形象的表达两个或两个以上变量间的变化关系。利用图线特别是直线，可以方便地求出斜率，截距以及包含在斜率和截距中的未知量。通过作图法处理数据可以减小随机误差影响，发现粗大误差，并能消除某些系统误差。作图法简单易行，被广泛采用。
3.2逐差法处理数据
为了在数据测量中，尽量减少误差，通常采用多次测量。但是在等间隔线性变化测量中，若仍采用一般的求平均值的方法，可以发现只有最后一次测量和第一次测量起作用，所有的中间测量值全部抵消。因此，这样的数据处理方法无法反映多次测量的特点，损失掉很多信息。
逐差法可弥补这种不足，逐差法的数据处理原则是:所有数据都要用上，但每个数据不能重复使用。一般情况下，用逐差法处理数据需具备两个条件:1.函数具有线性关系；2.自变量是等间距的，且测量次数为偶数次。
逐差法处理数据就是把所测得的偶数组数据按自变量由大到小或由小到大的顺序依次排列，然后等分为前后两大组，再将每大组的对应项依次相减。
3.3最小二乘法处理数据
最小二乘法原理可以表述：在21n i v =∑
=最小的前提下求得的未知量值，是未
知量的最佳值(最可信赖值)。下面给出一般情况的证明:
为了求得t 个不可直接测量的未知量123,,......n y y y y ，可利用直接测量量123,,......l x x x x 与未知测量量的函数关系，
11123(,,......)l y f x x x x =
22123(,,......)l y f x x x x =
.
.
.
123(,,......)n n l y f x x x x =
通过对直接测量量123,,......l x x x x 进行测量,得到测量数据123,,......n l l l l ，若n=l ，则可由上式直接解方程组得未知量。由于测量数据不可避免地包含测量误差，所以所得结果123,,......l x x x x 也包含测量误差。为了提高测量结果的
精度，应增加测量次数，以便利用随机误差的抵偿性减小误差对测里结果的影响。故可能有n>l ，当等精度测量时，测量数据与直接测量量i Y 的最佳估值i y 的残差应满足最小，即：2
211()min n n i i i
i i v l y ===-=∑∑
3.4回归分析
回归分析（Regression Analysis ）是英国生物学家兼统计学家高尔顿（Galton ）在1889年出版的《自然遗传》一书中首先提出，是处理变量之间相关关系的一种数理统计方法。由于相关变量之间不存在确定性关系，因此，在生产实践和科学实验所记录的这些变量的数据中，存在不同程度的差异。回归分析就是应用数学方法，对大量观测数据进行处理，从而得到比较符合事物内部规律的数学表达式。
4.最小二乘法的创立、发展及其思想
最小二乘法是提供“观测组合”的主要工具之一,它依据对某事件的大量观测而获得“最佳”结果或“最可能”表现形式。如已知两变量为线性关系y=a+bx ,对其进行n(n>2)次观测而获得n 对数据。若将这n 对数据代入方程求解a,b 之值则无确定解。最小二乘法提供了一个求解方法,其基本思想就是寻找“最接近”这n 个观测点的直线。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。作为其进一步发展或纠正其不足而采取的对策,不少近现代的数理统计学分支也是在最小二乘法基础上衍生出来的。正如美国统计学家斯蒂格勒(S.M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。
天文学和测地学的发展促进了数理统计学及其他相关科学的发展。丹麦统计史家哈尔德曾指出天文学在数理统计学发展中所起的作用。“天文学自古代至18世纪是应用数学中最发达的领域。观测和数学天文学给出了建立数学模型及数据拟合的最初例子,在此种意义下,天文学家就是最初的数理统计学家。天文学的问题逐渐引导到算术平均,以及参数模型中的种种估计方法,以最小二乘法为顶峰。”这也说明了最小二乘法的显著地位。
4.1勒让德创立最小二乘法
现行的最小二乘法是勒让德(A.M.Legendre)于1805年在其著作《计算彗星轨道的新方法》中提出的，该书有80页,包含8页附录,最小二乘法就包含在这个附录中。勒让德之所以能做出这个发现,是因为他没有因袭前人的想法——要设
法构造出k 个方程去求解.他认识到关键不在于使某一方程严格符合,而在于要使误差以一种更平衡的方式分配到各个方程。
4.2高斯的正态误差理论
早在17世纪,伽利略在其名著《关于两个世界的对话——托雷密与哥白尼》(1632)中,就讨论了随机误差及其分布的问题。虽然他并未提出这个名词,但他提出了随机误差的分布曲线应有图4-1的形状：1.f 关于0对称(即f(-ε)=f(ε),这表示正负误差有同等出现的机会)；2. f 在两边单调地衰减至0,即大误差出现的机会较小,很大误差的机会几乎为0。
图4-1. a 是误差大小，f(a)是a 这样的误差发生的概率
1809年,高斯发表论著《关于绕日行星运动的理论》。在该书末尾,他写了一节有关“数据结合”的问题,以极其简单的手法导出误差分布——正态分布,并用最小二乘法加以验证。关于最小二乘法,高斯宣称自1795年以来他一直使用这个原理。这立刻引起了勒让德的强烈反击,他提醒说科学发现的优先权只能以出版物确定。现在一般认为,二人各自独立地发明了最小二乘法,尽管早在10年前,高斯就使用这个原理,但第一个用文字形式发表的是勒让德。
高斯较之于勒让德把最小二乘法推进得更远,他由误差函数推导出这个方法并详尽阐述了最小二乘法的理论依据。其推导过程如下:
设误差密度函数为f(x),真值为x ，n 个独立测定值为x1,x2,…,xn 。由于观测是相互独立的,因而这些误差出现的概率为：
1212()(;,......)()()...()n n L x L x x x x f x x f x x f x x ==---（1） 要找出最有希望的误差函数应使L(x)达极大,高斯认为x e
就是x 的估计值,并使L(x)取得极大值。对 (1) 式两端取对数得：
1ln ()ln ()n
i i L x f x x ==-∑ （2） 再对(2)式求导：'1()ln ()()
n i i i f x x d L x dx f x x =-=-∑，记'()()/()g x f x f x =，则有
1()0n i i g x x =-=∑e 上式求对i x 偏导数0n i n i x g g x x x ???+=???，而10n i i x nX =-=∑有1()n i x i n x ?=-≠?，对于任意i 有i
g c x ?=?（c 为常数），可得()g x cx b =+，
111
()
[()]()0n
i i n n i i i i g x x c x x b c x x nb ===-=-+=-+=∑∑∑e e e
因1()0n i i x x =-=∑e 可以推出b=0，则有'()()/()g x f x f x cx =
=，积分可得212()cx f x ke =，由
()1f x dx ∞-∞=?，应有c<0,取21c =-σ
，可得k =
，则有2
22()x f x -=σ，此即为正态分布2(0,)N σ。 这样可知，123,,......n x x x x 的误差密度函数为：
2211)exp{()}2n n i i x x -=--∑σ
要此式达到极大值，必选取123,,......n x x x x 之值而使表达式21
()n i i x x =-∑
达极小值，于是可得123,,......n x x x x 的最小二乘估计法。
综上可知,勒让德和高斯发现最小二乘法是从不同的角度入手的:一个是为解线性方程组,一个是寻找误差函数;一个用的是整体思维,考虑方程组的均衡性,一个用的是逆向思维,首先接受经验事实;一个是纯代数方法,一个致力于应用。相比而言,高斯不愧为数学王子,他把最小二乘法推进得更远、更深刻,这极大地推进了数理统计学的发展。
5.全面最小二乘法（TLS ）与最小二乘法对比研究
传统的平差问题都是采用最小二乘法来解决的。对非线性函数模型线性化的习惯作法是,将非线性函数模型按泰勒级数展开,保留一次项,略去二次及二次以上的高次项。它是建立在观测值和未知数近似值与观测值的真值和未知数的真值都充分接近的基础上的。如果该条件不满足,线性化必然会影响到线性函数模型的真实性,从而影响平差质量。
全面最小二乘法(TLS)是上世纪70年代发展起来的一种新的数据处理方法,已经广泛地应用于声学、自动控制、系统识别、信号处理等各个学科。该方法从一个新的角度来研究线性矛盾方程组,全面考虑了观测向量与系数矩阵中的误差,更符合实际情况。
5.1全面最小二乘法原理
无论是直接使用广义逆阵A+还是使用A 的奇异值分解（SVD ）求解最小二乘问题,它们都是求x 使之满足：2||||min e =
（1）
及()b e range A +∈。
其中||*||为2L 范数，定义为： 221||||m
i i e e ==∑，
且矩阵A 的值域定义为(){;}n n range A b R b Ax x R =∈=∈对某个。 因此,最小二乘问题等同于用一个最小的e 去扰动b 以便b+e 可以用A 的各列来预测。或者说,一般最小二乘问题只考虑了观测向量b 的扰动,而没有考虑系数矩阵A 的扰动。
显然,更合理的方法是同时考虑b 和A 二者的扰动。这就是全面最小二乘(TLS)的基本思想。换句话说,在TLS 问题中,我们考虑矩阵方程：
()A E x b e +=+ （2）
的求解。（2）式可以变换为
1([|][|])...0b A e E x ????-+-=??????
（3a ） 或()0B D z += （3b ）
其中1[|],[|],...B b A D e E z x ????=-=-=??????
这样一来,对齐次方程(3)的全面最小二乘解可以简单表示为:求一个解向量z 使得：
||||min F D =
（4） 式中，Frobenius 范数
1/211||||()m n F jj i j D d ===∑∑ （5）。
5.2 TLS 与LS 在数据处理方法对比研究
5.2.1设计平差网形,给出已知条件
设计一平差网形如图5-1,已知A, B, C, D, P1, P2,P3,P4, 4点的坐标,坐标如下表5-2。
图5-1.平差网形
表5-2.已知点的真实坐标
根据已知点坐标求出各个边长的真实长度,分别为:
L1=5760.7132m，L2=5187.3387m，L3=7838.8726m，L4=5483.1580m，L5=5731. 8220m，L6=8720.1288m，L7=5598.6018m，L8=7494.8989m，L9=7493.2662m，L10=5438.4036m，L11=5487.0595m，L12=8884.5594m，L13=7228.3699m。
5.2.2设计两种方案
把P1，P2，P3，P4点作为待定点,对以上网形进行同精度观测,为了便于比较设计2组观测值,方案1为观测值与真实值相差不大的情况,即待定点坐标与真实坐标相差不大的情况,此时系数矩阵误差不大;方案2为观测值与真实值相差较大的情况,即待定点坐标与真实坐标相差较大,此时系数矩阵误差较大的情况,2种方案观测值如下:
方案1:同精度测得如图1中的13个边长,其结果为L1=5760.706m，L2=5187. 342m，L3=7838.880m，L4=5483.158m，L5=5731.788m，L6=8720.162m，L7=5598.570m，L8=7494.881m，L9=7493.323m，L10=5438.382m，L11=5487.073m，L12=8884.587m，L13=7228.367m。
方案2：同精度测得如图1中的13个边长，其结果为L1=5761.706m，L2=5186.342m，L3=7837. 880m，L4=5484.158m，L5=5730.788m，L6=8721.162 m，L7=5597.570m，L8=7493.881m，L9=7492.323m，L10=5437.382m，L11=5488.073m，L12=8883.587m，L13=7229.367m。
5.3精度比较与分析
表5-3为以上两节获得的数据，以及真实坐标与经平差以后的坐标值的比较：
图5-3.两种数据处理方法平差结果(单位/m)
由上表可以看出：
(1)最小二乘法处理方案1的数据精度可以达到0.1mm，而处理方案2的数据精度的只能达到1 mm。如果方案2中观测值误差更大一点，结果误差可能会更大。由此可见：最小二乘在处理非线性函数模型平差的时候，适用于待定点近似坐标与真实坐标相差很小的情况，相差较大的时候，由于最小二乘没有考虑系数矩阵的误差导致精度不高，数据可靠性不高。
(2)全面最小二乘处理方案1和方案2数据精度都可以达到0.1mm甚至更高。由此可见：全面最小二乘在处理非线性函数模型平差的时候，由于考虑了系数矩阵的误差，所以对于两种方案都能达到要求，平差出来的数据符合要求，数据可靠性有保障。
5.3结论
最小二乘在处理非线性函数模型平差时,仅仅适用于待定点近似坐标与真实坐标相差不大的情况,即观测值误差不是很大的情况下,反之,则数据可靠性可能受到影响,要进行多次平差来验证。而采用全面最小二乘法则可以兼顾系数矩阵和观测值两者的误差,数据精度符合要求,可靠性得到保证,但是全面最小二乘也有它的不足,即数据处理比较复杂,随着计算机科学的发展,数据处理复杂的问题可以借助于程序设计让计算机来处理。
参考文献
[1] 费业泰. 误差理论与数据处理（第四版）. 北京：机械工业出版社，2000.
[2] 贾小勇，徐传胜，白欣. 最小二乘法的创立及其思想方法. 西北大学学报, 2006,36(3):507-511.
[3] 陈希孺. 最小二乘法的历史回顾与现状. 中国科学院研究生院学报,1998,15(1):4-11.
[4] 万保峰,程新文,欧龙. TLS与LS数据处理方法对比研究. 城市勘测,2007:74-76.
误差理论与数据处理答案
《误差理论与数据处理》 第一章绪论 1-1．研究误差的意义是什么？简述误差理论的主要内容。 答：研究误差的意义为： (1)正确认识误差的性质，分析误差产生的原因，以消除或减小误差； (2)正确处理测量和实验数据，合理计算所得结果，以便在一定条件下得到更接近于 真值的数据； (3)正确组织实验过程，合理设计仪器或选用仪器和测量方法，以便在最经济条件下， 得到理想的结果。 误差理论的主要内容：误差定义、误差来源及误差分类等。 1-2．试述测量误差的定义及分类，不同种类误差的特点是什么？ 答：测量误差就是测的值与被测量的真值之间的差；按照误差的特点和性质，可分为系统误差、随机误差、粗大误差。 系统误差的特点是在所处测量条件下，误差的绝对值和符号保持恒定，或遵循一定的规律变化（大小和符号都按一定规律变化）； 随机误差的特点是在所处测量条件下，误差的绝对值和符号以不可预定方式变化；
粗大误差的特点是可取性。 1-3．试述误差的绝对值和绝对误差有何异同，并举例说明。 答：(1)误差的绝对值都是正数，只是说实际尺寸和标准尺寸差别的大小数量，不反映是“大了”还是“小了”，只是差别量； 绝对误差即可能是正值也可能是负值，指的是实际尺寸和标准尺寸的差值。+多少表明大了多少，-多少表示小了多少。 (2)就测量而言,前者是指系统的误差未定但标准值确定的，后者是指系统本身标准值未定 1－5 测得某三角块的三个角度之和为180o 00’02”,试求测量的绝对误差和相对误差 解： 绝对误差等于： 相对误差等于： 1-6．在万能测长仪上，测量某一被测件的长度为 50mm ，已知其最大绝对误差为 1μm ，试问该被测件的真实长度为多少？ 解： 绝对误差＝测得值－真值，即： △L ＝L －L 0 已知：L ＝50，△L ＝1μm ＝0.001mm ， 测件的真实长度Ｌ0＝L －△L ＝50－0.001＝49.999（mm ） 1-7．用二等标准活塞压力计测量某压力得 100.2Pa ，该压力用更准确的办法测得为100.5Pa ，问二等标准活塞压力计测量值的误差为多少？ 21802000180''=-'''o o %000031.010*********.00 648002066018021802≈=''''''??''=''＝o
最小二乘法及其应用..
最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程）
第二章 误差理论及应用
第二章误差理论及应用 第一节误差的来源与分类 一、误差的来源与误差的概念 每一参数的测量都是由测试人员使用一定的仪器，在一定的环境条件下按照一定的测量方法和程序进行的。尽管被测参数在一定的条件下具有客观存在的确定的真值，但由于受到人们的观察能力、测量仪器、测量方法、环境条件等因素的影响，实际上其真值是无法得到的。所得到的测量值只能是接近于真值的近似值，其接近于真值的程度与所选择的测量方法、所使用的仪器、所处的环境条件以及测试人员的水平有关。 测量值与真值之差称为误差。在任何测量中都存在误差，这是绝对的，不可避免的。当对某一参数进行多次测量时，尽管所有的条件都相同，而所得到的测量结果却往往并不完全相同，这一事实表明了误差的存在。但也有这样的情况，当对某一参数进行多次测量时，所得测量结果均为同一数值。这并不能认为不存在测量误差，可能因所使用的测量仪器的灵敏度太低，以致没有反映出应有的测量误差。实际上，误差仍然是存在的。 由于在任何测量中，误差都是不可避免地存在着，因此对所得到的每一测量结果必须指出其误差范围，否则该测量结果就无价值。测量误差分析就是研究在测量中所产生误差的大小、性质及产生的原因，以便对测量精度作出评价。 二、测量误差的分类 在测量过程中产生误差的因素是多种多样的，如果按照这些因素的出现规律以及它们对测量结果的影响程度来区分，可将测量误差分为三类。 1．系统误差 在测量过程中，出现某些规律性的以及影响程度由确定的因素所引起的误差，称为系统误差。由于可以确知这些因素的出现规律，从而可以对它们加以控制，或者根据它们的影响程度对测量结果加以修正，因此在测量中有可能消除系统误差。在正确的测量结果中不应包含系统误差。 2．随机(偶然)误差 随机误差是由许多未知的或微小的因素综合影响的结果。这些因素出现与否以及它们的影响程度都是难以确定的。随机误差在数值上有时大、有时小，有时正、有时负，其产生的原因一般不详，所以无法在测量过程中加以控制和排除，即随机误差必然存在于测量结果之中，但在等精度(用同一仪器、按同一方法、由同一观测者进行测量)条件下，对同一测量参数作多次测量，若测量次数足够多，则可发现随机误差完全服从统计规律。误差的大小以及正负误差的出现，完全由概率决定，没有理由认为误差偏向一方比偏向另一方更为可能。因此，误差与测量的次数有关，随着测量次数的增加，随机误差的算术平均值将逐渐接近于零。因此，多次测量结果的算术平均值将更接近于真值。 3．过失误差 过失误差是一种显然与事实不符的误差，它主要由于测量者粗枝大叶、过度疲劳或操作不正确等引起，例如读错刻度值、记录错误、计算错误等。此类误差无规则可寻，只要多方注意，细心操作，过失误差就可以避免。包含过失误差的测量结果是不能采用的。 第二节系统误差
误差理论与数据处理》答案
《误差理论与数据处理》 第一章 绪论 1-1．研究误差的意义是什么简述误差理论的主要内容。 答： 研究误差的意义为： (1)正确认识误差的性质，分析误差产生的原因，以消除或减小误差； (2)正确处理测量和实验数据，合理计算所得结果，以便在一定条件下得到更接近于真值的数据； (3)正确组织实验过程，合理设计仪器或选用仪器和测量方法，以便在最经济条件下，得到理想的结果。 误差理论的主要内容：误差定义、误差来源及误差分类等。 1-2．试述测量误差的定义及分类，不同种类误差的特点是什么 答：测量误差就是测的值与被测量的真值之间的差；按照误差的特点和性质，可分为系统误差、随机误差、粗大误差。 系统误差的特点是在所处测量条件下，误差的绝对值和符号保持恒定，或遵循一定的规律变化（大小和符号都按一定规律变化）； 随机误差的特点是在所处测量条件下，误差的绝对值和符号以不可预定方式变化； 粗大误差的特点是可取性。 1-3．试述误差的绝对值和绝对误差有何异同，并举例说明。 答：(1)误差的绝对值都是正数，只是说实际尺寸和标准尺寸差别的大小数量，不反映是“大了”还是“小了”，只是差别量； 绝对误差即可能是正值也可能是负值，指的是实际尺寸和标准尺寸的差值。+多少表明大了多少，-多少表示小了多少。 (2)就测量而言,前者是指系统的误差未定但标准值确定的，后者是指系统本身标准值未定 1－5 测得某三角块的三个角度之和为180o 00’02”,试求测量的绝对误差和相对误差 解： 绝对误差等于： 相对误差等于： 1-6．在万能测长仪上，测量某一被测件的长度为 50mm ，已知其最大绝对误差为 1μm ，试问该被测件的真实长度为多少 解： 绝对误差＝测得值－真值，即： △L ＝L －L 0 已知：L ＝50，△L ＝1μm ＝0.001mm ， 测件的真实长度Ｌ0＝L －△L ＝50－0.001＝49.999（mm ） 1-7．用二等标准活塞压力计测量某压力得 100.2Pa ，该压力用更准确的办法测得为100.5Pa ，问二等标准活塞压力计测量值的误差为多少 解：在实际检定中，常把高一等级精度的仪器所测得的量值当作实际值。 故二等标准活塞压力计测量值的误差＝测得值－实际值， 即： 100.2－100.5＝－0.3（ Pa ） 1-8在测量某一长度时，读数值为2.31m ，其最大绝对误差为20m μ，试求其最大相对误差。 1-9、解： 由2122 4()h h g T π+=，得 21802000180''=-'''o o %000031.010*********.00648002066018021802≈=' '' '''??''=''＝o
最小二乘法及其应用
最小二乘法及其应用 最小二乘法是一个比较古老的方法，早在十八世纪，就由高斯首先创立并成功地应用于天文观测和大地的测量工作中。此后，近三百年来，它已被广泛应用于科学实验与工程技术中。随着现代电子计算机的普及与发展，这个古老的方法更加显示出其强大的生命力。 最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可以用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 最小二乘法拟合曲线的基本原理是：成对等精度地测得一组数据x，只(i=l，2，…，n)，试找出一条最佳的拟合曲线，使得这条拟合曲线上的各点的值与测量值的差的平方和在所有拟合曲线中最小。所谓“拟合”，即不要求所作的曲线完全通过所有的数据点，只要求所得的曲线能反映数据的基本趋势。曲线拟合的几何解释是：求一条曲线，使数据点均在离此曲线的上方或下方不远处。 用最小二乘法拟合的曲线较为精确，接近于实际曲线。因而，最小二乘法拟合曲线在实际生活和科学研究中有着重要的意义，并渗透到各个领域，在物理、气象、化学、医学等方面有着广泛的应用。例如，在物理方面，我们通常通过实验测得数据，然后根据这些实验数据拟合曲线，从而总结出某种现象的规律或者变化趋势，进而采取相应的措施避免或加强其变化程度。这对于指导我们了解物理现象，并深刻理解物理知识是非常有帮助的。又如，在气象方面，在温室效应的研究中，科学家们通过对1860年到1980年的11个地球平均温度增加值的分析,利用最小二乘法进行曲线拟合,通过精确计算,建立了地球平均温度增加值与时间之间的函数关系。从而得出在2080年左右,地球的平均温度会比1980年上升约6℃,从而会引起诸如冰川后退、海平面上升等一系列严重的环境问题。到时极地冰盖就会融化,从而引起大量的洪水泛滥和大片的陆地被淹没,这一认识对进行环境质量评价和提出保护地球的措施具有重要的理论意义。
最小二乘法的原理及其应用
最小二乘法的原理及其应用 一、研究背景 在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。 其中，最小二乘法是一种最基本、最重要的计算技巧与方法。它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。本文着重讨论最小二乘法在化学生产以及系统识别中的应用。 二、最小二乘法的原理 人们对由某一变量t或多个变量t1…..tn 构成的相关变量y感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型 , q个相关变量或p个附加的相关变量去拟和。 通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。 其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。 确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为：
水准测量误差分析(精)
水准测量误差分析 3.5.1水准测量的误差分析 水准测量误差包括仪器误差，观测误差和外界条件的影响三个方面。 (一) 仪器误差 ① 仪器校正后的残余误差 例如水准管轴与视准轴不平行，虽经校正仍然残存少量误差等。这种误差的影响与距离成正比，只要观测时注意使前、后视距离相等，便可消除或减弱此项误差的影响。 ② 水准尺误差 由于水准尺刻划不正确，尺长变化、弯曲等影响，会影响水准测量的精度，因此，水准尺须经过检验才能使用。至于尺的零点差，可在一水准测段中使测站为偶数的方法予以消除。 (二) 观测误差 ①水准管气泡居中误差 设水准管分划道为τ″，居中误差一般为±0.15τ″，采用符合式水准器时，气泡居中精度可提高一倍，故居中误差为 m =ρτ' '?'''±215.0·D 3-35 式中 D —水准仪到水准尺的距离。 ② 读数误差 在水准尺上估读数毫米数的误差，与人眼的分辨力、望远镜的放大倍率以及视线长度有关，通常按下式计算 m v =ρ' '?''D V 06 3-36 式中 V —望远镜的放大倍率； 60″—人眼的极限分辨能力。 ③ 视差影响 当存在视差时，十字丝平面与水准尺影像不重合，若眼睛观察的位置不同，便读出不同的读数，因而也会产生读数误差。 ④ 水准尺倾斜影响 水准尺倾斜将尺上读数增大，如水准尺倾斜033'?，在水准尺上1m 处读数时，将会产生2mm 的误差；若读数大于1m ，误差将超过2mm 。 （三）外界条件的影响 ① 仪器下沉 由于仪器下沉，使视线降低，从而引起高差误差。若采用“后、前、前、后”观测程序，可减弱其影响。 ② 尺垫下沉 如果在转点发生尺垫下沉，使下一站后视读数增大，这将引起高差误差。采用往返观测的方法，取成果的中数，可以减弱其影响。 ③ 地球曲率及大气折光影响 如式3-25所示 地球曲率与大气折光影响之和为 R D f 2 43.0?= 3-37
最小二乘法原理及应用【文献综述】
毕业论文文献综述 信息与计算科学 最小二乘法的原理及应用 一、国内外状况 国际统计学会第56届大会于2007年8月22-29日在美丽的大西洋海滨城市、葡萄牙首都里斯本如期召开。应大会组委会的邀请，以会长李德水为团长的中国统计学会代表团一行29人注册参加了这次大会。北京市统计学会、山东省统计学会，分别组团参加了这次大会。中国统计界（不含港澳台地区）共有58名代表参加了这次盛会。本届大会的特邀论文会议共涉及94个主题，每个主题一般至少有3-5位代表做学术演讲和讨论。通过对大会论文按研究内容进行归纳，特邀论文大致可以分为四类：即数理统计，经济、社会统计和官方统计，统计教育和统计应用。 数理统计方面。数理统计作为统计科学的一个重要部分，特别是随机过程和回归分析依然展现着古老理论的活力，一直受到统计界的重视并吸引着众多的研究者。本届大会也不例外。 二、进展情况 数理统计学19世纪的数理统计学史, 就是最小二乘法向各个应用领域拓展的历史席卷了统计大部分应用的几个分支——相关回归分析, 方差分析和线性模型理论等, 其灵魂都在于最小二乘法; 不少近代的统计学研究是在此法的基础上衍生出来, 作为其进一步发展或纠正其不足之处而采取的对策, 这包括回归分析中一系列修正最小二乘法而导致的估计方法。 数理统计学的发展大致可分 3 个时期。① 20 世纪以前。这个时期又可分成两段，大致上可以把高斯和勒让德关于最小二乘法用于观测数据的误差分析的工作作为分界线，前段属萌芽时期，基本上没有超出描述性统计量的范围。后一阶段可算作是数理统计学的幼年阶段。首先，强调了推断的地位，而摆脱了单纯描述的性质。由于高斯等的工作揭示了最小二乘法的重要性，学者们普遍认为，在实际问题中遇见的几乎所有的连续变量，都可以满意地用最小二乘法来刻画。这种观点使关于最小二乘法得到了深入的发展，②20世纪初到第二次世界大战结束。这是数理统计学蓬勃发展达到成熟的时期。许多重要的基本观点和方法，以及数理统计学的主要分支学科，都是在这个时期建立和发展起来的。这个时期的成就，包含了至今仍在广泛使用的大多数统计方法。在其发展中，以英国统计学家、生物学家费希尔为代表的英国学派起了主导作用。③战后时期。这一时期中，数理统计学在应用和理论两方面继续获得很大的进展。
误差理论第二章习题答案
2-4测量某电路电流共5次，测得数据（单位为mA ）为，，，，。试求算术平均值及其标准差、或然误差和平均误差。 168.41168.54168.59168.40168.50 5 x ++++= 168.488()mA = )(082.01 55 1 2 mA v i i =-= ∑=σ 0.037()5 x mA n σ= = = 或然误差：0.67450.67450.0370.025()x R mA σ==?= 平均误差：0.79790.79790.0370.030()x T mA σ==?= 2-5在立式测长仪上测量某校对量具，重量测量5次，测得数据（单位为mm ）为，，，，。若测量值服从正态分布，试以99%的置信概率确定测量结 果。20.001520.001620.001820.001520.0011 5 x ++++= 20.0015()mm = 5 2 1 0.0002551 i i v σ== =-∑ 正态分布 p=99%时，t 2.58= lim x x t δσ=± 2.585 =± 0.0003()mm =± 测量结果：lim (20.00150.0003)x X x mm δ=+=± 2-7用某仪器测量工件尺寸，在排除系统误差的条件下，其标准差mm 004.0=σ，若要求测量结果的置信限为mm 005.0±，当置信概率为99%时，试求必要的测量次数。 正态分布 p=99%时，t 2.58=
lim x t n δ=± 2.580.004 2.064 0.005 4.265 n n n ?= ===取 2-10某时某地由气压表得到的读数（单位为Pa ）为，，，，，，，，其权各为1，3，5，7，8，6，4，2，试求加权算术平均值及其标准差。 )(34.1020288 1 8 1Pa p x p x i i i i i == ∑∑== )(95.86)18(8 1 8 1 2 Pa p v p i i i xi i x ≈-= ∑∑==σ 2-11测量某角度共两次，测得值为6331241'''= α，''24'13242 =α，其标准差分别为8.13,1.321''=''=σσ，试求加权算术平均值及其标准差。 961:190441 : 1 :2 2 2 1 21== σσp p ''35'1324961 19044' '4961''1619044''20'1324 =+?+?+ =x ''0.3961 1904419044 ''1.32 1 ≈+? ==∑=i i i x x p p i σσ 2-12 甲、乙两测量者用正弦尺对一锥体的锥角α各重复测量5次，测得值如下： ; 5127,0227,5327,037,0227:''''''''''''''' 甲α ;5427,0527,0227,5227,5227:''''''''''''''' 乙α 试求其测量结果。 甲：20"60"35"20"15" 72'72'30"5 x ++++=+ =甲
角度测量的误差分析及注意事项
角度测量的误差分析及注意事项 一、角度测量的误差 角度测量的误差主要来源于仪器误差、人为操作误差以及外界条件的影响等几个方面。认真分析这些误差，找出消除或减小误差的方法，从而提高观测精度。 由于竖直角主要用于三角高程测量和视距测量，在测量竖直角时，只要严格按照操作规程作业，采用测回法消除竖盘指标差对竖角的影响，测得的竖直角值即能满足对高程和水平距离的求算。因此，下面只分析水平角的测量误差。 （一）仪器误差 1．仪器制造加工不完善所引起的误差 如照准部偏心误差、度盘分划误差等。经纬仪照准部旋转中心应与水平度盘中心重合，如果两者不重合，即存在照准部偏心差，在水平角测量中，此项误差影响也可通过盘左、盘右观测取平均值的方法加以消除。水平度盘分划误差的影响一般较小，当测量精度要求较高时，可采用各测回间变换水平度盘位置的方法进行观测，以减弱这一项误差影响。 2．仪器校正不完善所引起的误差 如望远镜视准轴不严格垂直于横轴、横轴不严格垂直于竖轴所引起的误差，可以采用盘左、盘右观测取平均的方法来消除，而竖轴不垂直于水准管轴所引起的误差则不能通过盘左、盘右观测取平均或其他观测方法来消除，因此，必须认真做好仪器此项检验、校正。 （二）观测误差 1．对中误差 仪器对中不准确，使仪器中心偏离测站中心的位移叫偏心距，偏心距将使所观测的水平角值不是大就是小。经研究已经知道，对中引起的水平角观测误差与偏心距成正比，并与测站到观测点的距离成反比。因此，在进行水平角观测时，仪器的对中误差不应超出相应规范规定的范围，特别对于短边的角度进行观测时，更应该精确对中。 2．整平误差 若仪器未能精确整平或在观测过程中气泡不再居中，竖轴就会偏离铅直位置。整平误差不能用观测方法来消除，此项误差的影响与观测目标时视线竖直角的大小有关，当观测目标与仪器视线大致同高时，影响较小；当观测目标时，视线竖直角较大，则整平误差的影响明显增大，此时，应特别注意认真整平仪器。当发现水准管气泡偏离零点超过一格以上时，应重新整平仪器，重新观测。 3．目标偏心误差 由于测点上的标杆倾斜而使照准目标偏离测点中心所产生的偏心差称为目标偏心误差。目标偏心是由于目标点的标志倾斜引起的。观测点上一般都是竖立标杆，当标杆倾斜而又瞄准其顶部时，标杆越长，瞄准点越高，则产生的方向值误差越大；边长短时误差的影响更大。为了减少目标偏心对水平角观测的影响，观测时，标杆要准确而竖直地立在测点上，且尽量瞄准标杆的底部。 4．瞄准误差
最小二乘法原理及其简单应用_邹乐强
科技信息 SCIENCE &TECHNOLOGY INFORMATION 2010年第23期y (%) 1.000.90.90.810.60.560.35x (%) 3.6 3.7 3.8 3.9 4.0 4.1 4.2 最小二乘法原理及其简单应用 邹乐强 （河南工程技术学校河南 焦作 454000） 【摘要】最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识，并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用。然而，最小二乘法因其抽象、难懂常常被大家所忽视。本文就最小二乘法的引入，原理的证明，简单的应用进行归纳和总结，使读者对最小二乘法有更为清晰、系统、全面地认识。 【关键词】最小二乘法；回归模型；参数估计；系统辨识最小二乘法作为一种传统的参数估计方法，早已经被大家所了解。然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二乘法理解为简单的线性参数估计。事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的应用。本文就最小二乘法的引入、最小二乘法原理的简单证明、最小二乘法在线性参数估计、欧氏空间、多项式拟合以及经济领域的模型参数估计等应用方面进行具体的阐释。本文的一些理论建立在学习过高等代数、数值分析及了解简单的经济计量学的基础上。本文的理论简明易懂，仅对现实中常见的问题用最小二乘法理论结合阐释。 1问题的引入 例 已知某种材料在生产过程中的废品率y 与某种化学成分x 有关。下列表中记载了某工厂生产中y 与相应的x 的几次数值： 我们想找出y 对x 的一个近似公式。 解把表中数值划出图来看，发现它的变化趋势近于一条直线。因此我们决定选取x 的一次式ax+b 来表达。当然最好能选到适当的a ，b 使下面的等式 3.6a+b -1.00=03.7a+b -0.9=03.8a+b -0.9=03.9a+b -0.81=0 4.0a+b -0.60=04.1a+b -0.56=04.2a+b -0.35=0 都成立。实际上是不可能的，任何a ，b 代入上面各式都会发生误差。于是想找a ，b 使上面各式的误差的平方和最小，即找到a ，b 使 (3.6a+b -1.00)2+(3.7a+b -0.9)2+(3.8a+b -0.9)2+(3.9a+b -0.81)2+(4.0a+b -0.60)2+(4.1a+b -0.56)2+(4.2a+b -0.35)2 最小。这里讨论的是误差的平方即二乘方，故称为最小二乘法。现在转向为一般的最小二乘法问题： 实系数线性方程组 a 11x 1+a 12x 2+…+a 1n x n - b 1=0 a 21x 1+a 22x 2+…+a 2n x n - b 2=0………… a m 1x 1 +a m 2x 2+…+a mn x n -b m = 1.1 可能无解。即任何一组实数x 1,x 2,……,x s 都可能使 m i =1 Σ(a i 1x 1+a i 2x 2+…+a in x n -b i )2 （*） 不等于零。 我们设法找到实数组x 0 1,x 0 2,…,x 0 s 使最小，这样的x 0 1,x 0 2,…,x 0 s 称为方程组的最小二乘解。这样问题就叫最小二乘法问题。 [1] 2 最小二乘法原理的证明 2.1 最小二乘法原理的初等证明 定理：X =(x 1,x 2,……x n )T 是矛盾方程组（1.1）的最小二乘解的充要条件是X 是方程组 (m i =1Σa 2 i 1)x 1+ m i =1Σa i 1a i 211x 2+…+ m i =j Σa i 1a in 11x n =m i =1 Σa i 1b i m i =1Σa i 2a i 1 1 1x 1+ m i =1Σa 2 i 2 11x 2+…+m i =1Σa i 2a in 11x n = m i =1Σa i 2b i m i =1 Σa in a i 11 1x 1+m i =1Σa in a i 211x 2+…+ m i =1 Σa 2 in 11x n = m i =1 Σa in b i 2.2 的解[2] 证明：设Y = m i =1Σ b i -n k =1 Σa ik x k 11 2 2.3 把Y 整理为关于x j (1≦j ≦n)的二次函数得 Y = m i =1 Σa 2ij 1 1x 2 j +2m i =1 Σ(a j (a i 1x 1+…+a i ,j -1x j -1+a i ,j +1x j +1+…+a 1n x n b j ))x j +m i =1 Σ(a i 1x 1+…+a i ,j -1x j -1+a i ,j +1x j +1+…+a in x n -b j )2 j=1,2,3,……,n 必要性：设X =(x 1,x 2,……,x n )T 是方程组⑴的最小二乘解，由定义1知⑴式中Y 有最小值，且X 是最小值点。由二次函数的性质得知二次函数 m i =1 Σa 2ij 〉0（j=1,2,……,n ），故a ij 不全部为零（与A 列满秩的假设一 致），且X 满足： X = m i =1 Σ[a ij (a i 1x 1 +…+a i ,j -1x i,j -1 +a i ,j +1x i,j +1+…+a in x n -b n )] m i =1 Σa ij (j=1,2,……,n) 2.4 化简得： m i =1 Σa ij a i 111x 1+m i =1Σa ij a i 211x 2+…+ m i =1Σa ij a i,j-111x j -1+ m i =1 Σa 2 ij 11x j + m i =1Σa ij a i,j+111x j +1+…+m i =1Σa ij a in 1 1x n =m i =1 Σa ij b i (j=1,2,…n) 这就是方程组⑵。不难看出方程组⑵的系数矩阵为A T A （A T 表示A 的转置矩阵），由A 列满秩知|A T A |≠0，故⑵有唯一解。必要性得证。 充分性：设X 是方程组（2）2.2的解，由x j (j =1,2,...,n )满足方程组2.2，也就是满足⑷式，再由于A 列满秩，a ij (i =1，2，...，m )不全为零，故⑶中二次项系数 m i =1 Σa 2 ij ＞0，因此，⑷中式Y 有最小值且最小值点为X =(x 1 ， x 2，...，x n )，所以X 是方程组⑴的最小二乘解。 2.2利用欧氏空间证明最小二乘法下面我们利用欧氏空间的概念来表达最小二乘法，并给出最小二乘解所满足的代数条件。令 A ＝ a 11a 12…a 1n a 21a 22 …a 2n … ……… a m 1 a m 2… a mn ≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠B = b 1b 2… b m ≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠ X = x 1x 2… x m ≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠ Y =n j =1Σa 1j x 1n j =1Σa 2j x 2n j =1 Σa mj x m ≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠≠ ≠ ≠≠≠≠ ≠ ≠≠≠≠≠ ≠≠ ≠ =AX 2.5 ○职校论坛○ 282
最小二乘法在误差分析中的应用
误差理论综述与最小二乘法讨论 摘要：本文对误差理论和有关数据处理的方法进行综述。并且针对最小二乘法（LS）的创立、发展、思想方法等相关方面进行了研究和总结。同时，将近年发展起来的全面最小二乘法(TLS)同传统最小二乘法进行了对比。 1.误差的有关概念 对科学而言，各种物理量都需要经过测量才能得出结果。许多物理量的发现，物理常数的确定，都是通过精密测量得到的。任何测试结果，都含有误差，因此，必须研究，估计和判断测量结果是否可靠，给出正确评定。对测量结果的分析、研究、判断，必须采用误差理论，它是我们客观分析的有力工具 测量基本概念 一个物理量的测量值应由数值和单位两部分组成。按实验数据处理的方式，测量可分为直接测量、间接测量和组合测量。 直接测量:可以用测量仪表直接读出测量值的测量。 间接测量:有些物理量无法直接测得，需要依据待测物理量与若干直接测量量的函数关系求出。 组合测量:如有若干个待求量，把这些待求量用不同方法组合起来进行测量，并把测量结果与待求量之间的函数关系列成方程组，用最小二乘法求出这个待求量的数值，即为组合测量。 误差基本概念 误差是评定测量精度的尺度，误差越小表示精度越高。若某物理量的测量值为y，真值为Y，则测量误差dy=y-Y。虽然真值是客观存在的，但实际应用时它一般无从得知。按照误差的性质，可分为随机误差，系统误差和粗大误差三类。 随机误差:是同一测量条件下，重复测量中以不可预知方式变化的测量误差分量。 系统误差:是同一测量条件下，重复测量中保持恒定或以可预知方式变化的测量误差分量。 粗大误差:指超出在规定条件下预期的误差。 等精度测量的随机误差 当对同一量值进行多次等精度的重复测量，得到一系列的测量值，每个测量
费业泰误差理论与数据处理课后答案(精)
《误差理论与数据处理》练习题参考答案
第一章 绪论 1－1 测得某三角块的三个角度之和为180o 00’02”,试求测量的绝对误差和相对误差 解： 绝对误差等于： 相对误差等于： 1－6 检定2.5级（即引用误差为2.5％）的全量程为l00V 的电压表，发现50V 刻度点的示值误差2V 为最大误差，问该电表是否合格? 解： 依题意，该电压表的示值误差为 2V 由此求出该电表的引用相对误差为 2/100＝2％ 因为 2％＜2.5％ 所以，该电表合格。 1－9 多级弹导火箭的射程为10000km 时，其射击偏离预定点不超过0.lkm ，优秀射手能在距离50m 远处准确地射中直径为2cm 的靶心，试评述哪一个射击精度高? 解： 多级火箭的相对误差为： 射手的相对误差为： 多级火箭的射击精度高。 第二章 误差的基本性质与处理 2－4 测量某电路电流共5次，测得数据(单位为mA)为168.41，168.54，168.59，168.40， 168.50。试求算术平均值及其标准差、或然误差和平均误差。 解： )(49.1685 5 1 m A I I i i == ∑= 08.01 5) (5 1 =--= ∑=i I Ii σ 21802000180''=-'''o o %000031.010*********.00648002066018021802≈=' '' '''??''=''＝o %001.000001.010000 1 .0==%002.00002.05001.0501===m m m cm
05.008.03 2 1 5) (3 25 1 =?= --≈ ∑=i I Ii ρ 06.008.05 4 1 5) (5 45 1 =?= --≈ ∑=i I Ii θ 2—5 在立式测长仪上测量某校对量具，重复测量5次，测得数据(单位为mm)为20．0015，20.0016，20.0018，20.0015，20.0011。若测量值服从正态分布，试以99％的置信概率确定测量结果。 解： 求算术平均值 求单次测量的标准差 求算术平均值的标准差 确定测量的极限误差 因n ＝5 较小，算术平均值的极限误差应按t 分布处理。 现自由度为：ν＝n －1＝4； α＝1－0.99＝0.01， 查 t 分布表有：ta ＝4.60 极限误差为 写出最后测量结果 2－8 用某仪器测量工件尺寸，已知该仪器的标准差σ＝0.001mm ，若要求测量的允许极限误差为±0.0015mm ，而置信概率P 为0.95时，应测量多少次？ 解：根据极限误差的意义，有 0015.0≤±=±n t t x σ σ 根据题目给定得已知条件，有 5.1001 .00015 .0=≤ n t mm n l x n i i 0015.201==∑ =mm n v n i i 481 2 1055.2410261--=?=?=-=∑ σmm n x 44 1014.151055.2--??==＝σσmm t x x 44lim 1024.51014.160.4--?=??±=±=σδα() mm x x L 4lim 1024.50015.20-?±=+=δ
最小二乘法在经济预测中的应用
编号（学号）：12914008 优化理论课程论文 （ 08 级 1班） 题目：最小二乘法在经济预测中的应用 学院：理学院 专业：信息与计算科学 姓名：刘天政 指导教师：张永祥 完成日期： 2011 年 12 月 18 日
最小二乘法在经济预测中的应用 摘要:由于经济发展呈现一种鹏飞的状态及其可能的动荡会引起严重的后果,使得经济预测成为了一个必然产物,预测会使人们在将来经济上可能出现的波动有所准备降低损失或增加收益.本文选择了经济预测中的其中一种方法最小二乘法的基本原理,并且利用了线性回归预测模型.同时对相关系数和标准偏差进行检验.最后给出了利用最小二乘法进行经济预测的实例.实现对产品生产的预测让各方面对产品的产量有个简单的了解. 关键词：最小二乘法;线性回归;产品生产预测 一.引言 随着改革开放的步伐带动各地的经济发展状态呈现一片大好的形势,由于地域人文不同各地经济特色也各显风骚.本文以某县为例,该县是全国经济百强县之一,全县大都以染料、纺织和布匹等生产加工为主.笔者了解到支撑该县经济支柱的大部分是以生产加工上述产品的中小企业甚至家庭型企业.由于他们规模不是很大,因此相应的各技术部门没有很好的配备,所以进行生产管理的方式没有像大型企业那样规范,他们产品的年产量往往根据企业主近几年摸爬滚打中积累起来对市场的判断来制订的,而没有进行科学的经济预测，这常常导致大量产品销售不够或大量产品积压在家,给企业带来严重影响. 经济预测是进行经济决策活动的一个重要组成部分.在实际经济活动中,预测的结果可以揭示经济现象在未来时期发展变化的情况和发现经济发展过程中存在的问题,从而为进行决策、制订计划、提高经济管理水平以及获取较好的经济效益提供了科学依据.运用定量预测模型进行预测的方法有很多,依据笔者对许多家庭型企业的了解及对企业主知识层次的分析,本文介绍的最小二乘法在经济预测中的应用方法简单明了,比较适合这些企业在进行预测产品产量时参考,从而能够避免盲目的生产和经营,尽可能地为企业获得最大利润.
最小二乘法的原理和应用【开题报告】
毕业论文开题报告 数学与应用数学 最小二乘法的原理和应用 一、选题的意义 最小二乘法在很多领域都的到了广泛的应用。在研究两个变量之间的关系时，可以用回归分析的方法进行分析。当确定了描述两个变量之间的回归模型后，就可以使用最小二乘法估计模型中的参数，进而建立经验方程。简单的说，最小二乘法思想就是要使得观测点和估计点的距离的平方和达到最小。这里的“二乘”指的是用平方来度量观测点与估计点的远近，“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。从计算角度看，最小二乘法与插值法类似，都是处理数据的算法。但从创设的思想看，二者却有本质的不同，前者寻求一条曲线，使其与观测数据“最接近”，目的是代表观测数据的趋势；后者则是使曲线严格通过给定的观测数据，其目的是通过来自函数模型的数据来接近近似刻画函数。在观测数据带有测量误差的情况下，就会使得这些观测数据偏离函数曲线，结果使得观测数据保持一致的插值法不如最小二乘法得到的曲线更符合客观实际。 最小二乘法能在统计学中得到应用，也是因为测量误差的存在。事实上，在高斯等人创立了测量误差理论，对最小二乘法进行了分析后，这种方法才在统计界获得了合法地位，正式成为了一张统计方法。最小二乘法逐步渗入到统计数据分析领域，对统计学的发展产生了重大影响。 二、研究的主要内容，拟解决的主要问题（阐述的主要观点） 最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。曲线拟合中最基本和最常用的是直线拟合。用最小二乘法估计参数时，要求观测值的偏差的加权平方和为最小。由于直线参数的估计值是根据由误差的观测数据点计算出来的，他们不可避免地存在着偏差。 三、研究（工作）步骤、方法及措施（思路） 研究（工作）步骤： 1．2010.12.15－2010.12.31 根据选题，广泛查阅资料，填写任务书有关事项，明确任务要求，初步形成研究方向。 2．2011.1.1－2011.3.6利用课余时间、假期仔细研读参考文献，初步拟定论文提纲，收集所要翻译的外文资料，完成两篇外文翻译，以及撰写开题报告和文献综述。 3．2011.3.6－2011.3.12修改开题报告、文献综述和外文翻译，进一步整理论文大纲。 4．2011.3.13－2011.3.16根据论文大纲翻阅相关详细资料。 5．2011.3.17－2011.3.26整理收集的相关材料，开始写论文工作。 6．2011.3.27－2011.4.10撰写论文初稿，上交论文、译文、开题报告、指导记录、中期检查表。 7．2011.4.11－2011.4.25修改论文，上交所有相关材料。 8．2011.4.26－2011.5.18补充必要的内容，论文打印、定稿。 9. 2011.5.19－2011.5.28准备毕业论文答辩。 方法及措施：主要采用举例分析、探讨的方法。 四、毕业论文（设计）提纲 1. 最小二乘法的引入 1.1最小二乘法及其证明 1.2最小二乘法的简单运用
最小二乘法应用实例
系统辨识作业： 用LS解决一个实际问题 根据实测数据判断模型结构并辨识参数。 已知在不同的温度T下，测定铜棒的长度l如下表所示： i12345678 T/℃1015202530354045 i l/cm2000.362000.502000.722000.802001.072001.252001.482001.60 i %Matlab利用原始数据画折线图 clc,clear; T=[1015202530354045]; L=[2000.362000.502000.722000.802001.072001.252001.482001.60]; plot(T,L,'m'); grid on; xlabel('T/℃'); ylabel('L/cm'); title('T-L Line chart'); legend('T-L'); 图1T-L Line Chart =+，用最小二乘法给出参数由折线图可知，铜棒的长度l随温度T呈线性变化,设l aT b a和b的最小二乘估计值。 %Matlab实现最小二乘参数估计
LN=[2000.362000.502000.722000.802001.072001.252001.482001.60]';TN=[10,1;15,1;20,1;25,1;30,1;35,1;40,1;45,1]；ab=inv(TN'*TN)*TN'*LN ；%最小二乘计算 x=10:1:45；plot(x,y,'b',T,L,'m');grid on;xlabel('T/℃');ylabel('L /cm');title('T-L Line chart');legend('L=aT+b','T-L');a=ab(1)%a 的最小二乘估计值 a a =0.0368 b=ab(2)%b 的最小二乘估计值 b b = 2.0000e+003 %原始数据折线图与l aT b =+函数图形对比： 图2折线图与直线图对比 所以铜棒的长度l 与温度T 的线性关系式为：0.03682000l T =+