基于残差预测修正的局部在线时间序列预测方法
残差自相关的修正
应用回归分析·上机作业二 学号：200930980106 姓名：何斌年级专业： 10级统计1班指导老师：丁仕虹 思考与练习 4.9 1.用普通最小二乘法建立回归方程，并画出残差散点图。 1.1首先录入数据，sas程序如下： proc import out=aa /*使用import过程导入数据，并输出到数据集aa*/ datafile="d:\xt4.09.xls" dbms=excel2000 replace; getnames=yes; /*首行为变量名*/ run; proc print data=aa noobs; run; 1.2建立回归方程，画残差散点图，sas程序如下： proc reg data=aa; model y=x; output out=out r=residual;/*把回归的结果输出在文件out里，残差给变量名residual */ run; proc gplot data=out; plot residual*x;/*做残差图，检验是否存在异方差*/ symbol v=star i=none; run; 1.3得到结果如下： 图1.3.1方差分析以及参数估计
1.4结果分析： 1.4.1由方差分析可知：p 值小于0.05，所以该回归方程显著有效。 1.4.2 R-Square=0.7046，Adj R-Sq=0.6988，可见回归方程的拟合度较高。 1.4.3由参数估计可得，常数项的检验P 值为0.0655大于0.05，故常数项不显著。 1.5除去常数项，重新拟合方程。 1.5.1 sas 程序如下： proc reg data=aa; model y=x/noint; run; 1.5.2得到结果如下： 图1.5.1方差分析以及参数估计 1.5.3结果分析： （1）由方差分析可知：P 值小于0.05，所以该回归方程显著有效，且F 值较有常数项时明显变大，故拟合方程较有常数项时更好。 （2） R-Square=0.8704，Adj R-Sq=0.8679，可见回归方程的拟合度有较大幅度提高。 （3）由参数估计可得，所有参数的检验P 值均小于0.05，参数显著有效。 （4）拟合的回归方程为：x y 0.00314 =∧ （1.5.3.4） 1.6得到残差散点图如下：
《时间序列分析》案例
《时间序列分析》案例案例名 称：时间序列分析在经济预测中的应用内容要 求：确定性与随机性时间序列之比较设计作 者：许启发，王艳明 设计时 间：2003年8月
案例四：时间序列分析在经济预测中的应用 一、案例简介 为了配合《统计学》课程时间序列分析部分的课堂教学，提高学生运用统计分析方法解决实际问题的能力，我们组织了一次案例教学，其内容是：对烟台市的未来经济发展状况作一预测分析，数据取烟台市1949—1998年国内生产总值（GDP）的年度数据，并以此为依据建立预测模型，对1999年和2000年的国内生产总值作出预测并检验其预测效果。国内生产总值是指一个国家或地区所有常住单位在一定时期内生产活动的最终成果，是反映国民经济活动最重要的经济指标之一，科学地预测该指标，对制定经济发展目标以及与之相配套的方针政策具有重要的理论与实际意义。在组织实施时，我们首先将数据资料印发给学生，并讲清本案例的教学目的与要求，明确案例所涉及的教学内容；然后给学生一段时间，由学生根据资料，运用不同的方法进行预测分析，并确定具体的讨论日期；在课堂讨论时让学生自由发言，阐述自己的观点；最后，由主持教师作点评发言，取得了良好的教学效果。 经济预测是研究客观经济过程未来一定时期的发展变化趋势，其目的在于通过对客观经济现象历史规律的探讨和现状的研究，求得对未来经济活动的了解，以确定社会经济活动的发展水平，为决策提供依据。 时间序列分析预测法，首先将预测目标的历史数据按照时间的先后顺序排列，然后分析它随时间的变化趋势及自身的统计规律，外推得到预测目标的未来取值。它与回归分析预测法的最大区别在于：该方法可以根据单个变量的取值对其自身的变动进行预测，无须添加任何的辅助信息。 本案例的最大特色在于：它汇集了统计学原理中的时间序列分析这一章节的所有知识点，通过本案例的教学，可以把不同的时间序列分析方法进行综合的比较，便于学生更好地掌握本章的内容。 二、案例的目的与要求 （一）教学目的 1．通过本案例的教学，使学生认识到时间序列分析方法在实际工作中应用的必要性和可能性； 2．本案例将时间序列分析中的水平指标、速度指标、长期趋势的测定等内容有机的结合在一起，以巩固学生所学的课本知识，深化学生对课本知识的理解； 3．本案例是对烟台市的国内生产总值数据进行预测，通过对实证结果的比较和分析，使学生认识到对同一问题的解决，可以采取不同的方法，根据约束条件，从中选择一种合适的预测方法； 4．通过本案例的教学，让学生掌握EXCEL软件在时间序列分析中的应用，对统计、计量分析软件SPSS或Eviews等有一个初步的了解； 5．通过本案例的教学，有助于提高学生运用所学知识和方法分析解决问题的能力、合作共事的能力和沟通交流的能力。 （二）教学要求 1．学生必须具备相应的时间序列分析的基本理论知识； 2．学生必须熟悉相应的预测方法和具备一定的数据处理能力； 3．学生以主角身份积极地参与到案例分析中来，主动地分析和解决案例中的问题； 4．在提出解决问题的方案之前，学生可以根据提供的样本数据，自己选择不同的统计分析方法，对这一案例进行预测，比较不同预测方法的异同，提出若干可供选择的方案； 5．学生必须提交完整的分析报告。分析报告的内容应包括：选题的目的及意义、使用数据的特征及其说明、采用的预测方法及其优劣、预测结果及其评价、有待于进一步改进的思路或需要进一步研究的问题。 三、数据搜集与处理 时间序列数据按照不同的分类标准可以划分为不同的类型，最常见的有：年度数据、季度数据、月度数据。本案例主要讨论对年度数据如何进行预测分析。考虑到案例设计时的侧重点，本案例只是对烟
误差修正模型实例(精)
一、误差修正模型的构造 对于yt的(1，1阶自回归分布滞后模型： 在模型两端同时减yt-1，在模型右端，得： 其中，，，。 记（5-5） 则（5-6） 称模型（5-6）为“误差修正模型”，简称ECM。 二、误差修正模型的含义 如果yt ~ I(1，x t ~ I(1，则模型（5-6）左端，右端，所以只有当yt和x t协整、即yt和x t之间存在长期均衡关系时，式（5-5）中的ecm~I(0，模型（5-6）两端的平稳性才会相同。 当yt和x t协整时，设协整回归方程为：
它反映了yt与x t的长期均衡关系，所以称式（5-5）中的ecm t-1是前一期的“非均衡误差”，称误差修正模型（5-6） 中的是误差修正项，是 修正系数，由于通常 ，这样；当ecm t-1 >0时（即出现正误差），误差修正项< 0，而ecm t-1 < 0时（即出现负误差）， > 0，两者的方向恰好相反，所以，误差修正是一个反向 调整过程（负反馈机制）。 误差修正模型有以下几个明确的含义： 1．均衡的偏差调整机制 2．协整与长期均衡的关系 3．经济变量的长期与短期变化模型 长期趋势模型： 短期波动模型： 三、误差修正模型的估计 建立ECM的具体步骤为： 1．检验被解释变量y与解释变量x（可以是多个变量）之间的协整性； 2．如果y与x存在协整关系，估计协整回归方程，计算残差序列e t：
3．将e t-1作为一个解释变量，估计误差修正模型： 说明： （1）第1步协整检验中，如果残差是确定趋势过程，可以在第2步的协整回归方程中加入趋势变量； （2）第2步可以估计动态自回归分布滞后模型： 此时，长期参数为： 协整回归方程和残差也相应取成： ， （3）第2步估计出ECM之后，可以检验模型的残差是否存在长期趋势和自相关性。如果存在长期趋势，则在ECM中加入趋势变量。如果存在自相关性，则在ECM的右端加入 误差修正项的滞后期一般也要作相应 调整。 如取成以下形式：
考虑不确定性的结构动力学模型修正方法研究
考虑不确定性的结构动力学模型修正方法研究模型修正技术在提高仿真模型预测精度方面发挥着重要作用。传统的模型修正技术均是在确定性基础上展开的,然而在实际工程问题当中,不确定性因素是 普遍存在的。 在综合考虑各种不确定性的基础上,对模型展开不确定性修正所得到的结果将对结构设计更加具有指导意义。本文考虑了模型修正问题中常见的参数不确定性及模型形式不确定性,对复杂模型的修正方法做出以下相关研究:1.以非对称 H型梁结构为研究对象,研究了基于摄动法的随机和区间不确定性修正方法在复 杂模型中的应用。 提出了一种适用于复杂模型的不确定性修正框架,并取得了较好的修正效果。研究表明,基于摄动法的随机和区间不确定性修正方法都可用于复杂结构动力学问题;基于摄动法的修正精度依赖于大量的试验样本,而区间分析法则更加适用 于小样本的情形。 2.基于门式框架螺栓连接结构,考虑由于模型简化而引起的模型形式不确定性,同时考虑了模态试验测量数据的不确定性,提出了基于模型偏差的不确定性 修正方法。该方法以参数偏差来处理模型形式的不确定性。 研究表明,基于模型偏差的不确定性修正方法可以减小模型形式不确定性, 修正后的模型与模态试验测量数据吻合度较高。3.将分数阶微分项引入到多自由度系统振动方程中,实现对系统中模型形式不确定性的量化,并以有阻尼的二自 由度弹簧振子为对象进行修正研究。 文中选取分数阶微分项的系数与阶数为待修正系数,对系统的频响函数进行修正,并取得了良好的修正结果。此修正方法能有效地将模型参数与模型形式不
确定性进行分离并可以减小模型形式不确定性,因而具有重要的研究价值与应用前景。 4.基于C/SiC复合材料加筋壁板,对热结构的不确定性修正问题进行研究。考虑到基于摄动法的不确定性模型修正方法对多场的热结构不确定性修正问题收敛性较差,本文提出一种基于神经网络参数识别的不确定性修正方法,此方法可以避免灵敏度求解。 研究表明,基于神经网络的不确定性模型修正方法可以用于C/SiC复合材料加筋壁板热结构动力学的多场问题中。
经典线性回归模型的诊断与修正
经典线性回归模型的诊断与修正下表为最近20年我国全社会固定资产投资与GDP的统计数据：1 年份国内生产总值（亿元）GDP 全社会固定资产投资（亿元）PI 1996 71813.6 22913.5 1997 79715 24941.1 1998 85195.5 28406.2 1999 90564.4 29854.7 2000 100280.1 32917.7 2001 110863.1 37213.49 2002 121717.4 43499.91 2003 137422 55566.61 2004 161840.2 70477.43 2005 187318.9 88773.61 2006 219438.5 109998.16 2007 270232.3 137323.94 2008 319515.5 172828.4 2009 349081.4 224598.77 2010 413030.3 251683.77 2011 489300.6 311485.13 2012 540367.4 374694.74 2013 595244.4 446294.09 1数据来源于国家统计局网站年度数据
1、普通最小二乘法回归结果如下： 方程初步估计为： GDP=75906.54+1.1754PI (32.351) R2=0.9822F=1046.599 DW=0.3653 2、异方差的检验与修正 首先，用图示检验法，生成残差平方和与解释变量PI的散点图如下：
从上图可以看出，残差平方和与解释变量的散点图主要分布在图形的下半部分，有随PI的变动增大的趋势，因此，模型可能存在异方差。但是否确定存在异方差，还需作进一步的验证。 G-Q检验如下： 去除序列中间约1/4的部分后，1996-2003年的OLS估计结果如下所示：
灰色预测模型介绍
数学模型与数学实验数 课程报告 题目：灰色预测模型介绍专业： 班级： 姓名： 学号： 二0一一年六月
1. 模型功能介绍 预测模型为一元线性回归模型，计算公式为Y=a+b。一元非线性回归模型：Y=a+blx+b2x2+…+bmxm。式中：y为预测值；x为自变量的取值；a,b1,b2……bm为回归系数。当自变量x与因变量y之间的关系是直线上升或下降时，可采用一元线性预测模型进行预测。当自变量x和因变量y之间呈曲线上升或下降时，可采用一元非线性预测模型中的y=a+b1x+b2x2+…+bmxm这个预测模型。当自变量x和因变量y之间关系呈上升一下降一再上升一再下降这种重复关系时，可采用一元线性预测模型中的Y=a+bx这个模型来预测。其中我要在这里介绍灰色预测模型。 灰色预测是就灰色系统所做的预测，灰色系统(Grey System)理论[]1是我国著名学者邓聚 龙教授20世纪80年代初创立的一种兼备软硬科学特性的新理论［95］96］。所谓灰色系统是介于白色系统和黑箱系统之间的过渡系统，其具体的含义是：如果某一系统的全部信息已知为白色系统，全部信息未知为黑箱系统，部分信息已知，部分信息未知，那么这一系统就是灰色系统。一般地说，社会系统、经济系统、生态系统都是灰色系统。例如物价系统，导致物价上涨的因素很多，但已知的却不多，因此对物价这一灰色系统的预测可以用灰色预测方法。 灰色系统理论认为对既含有已知信息又含有未知或非确定信息的系统进行预测，就是对在一定方位内变化的、与时间有关的灰色过程的预测。尽管过程中所显示的现象是随机的、杂乱无章的，但毕竟是有序的、有界的，因此这一数据集合具备潜在的规律，灰色预测就是利用这种规律建立灰色模型对灰色系统进行预测。 灰色系统的基本原理 公理1：差异信息原理。“差异”是信息，凡信息必有差异。 公理2：解的非唯一性原理。信息不完全，不明确地解是非唯一的。 公理3：最少信息原理。灰色系统理论的特点是充分开发利用已有的“最少信息”。 公理4：认知根据原理。信息是认知的根据。 公理5：新信息优先原理。新信息对认知的作用大于老信息。 公理6：灰性不灭原理。“信息不完全”是绝对的。 灰色预测通过鉴别系统因素之间发展趋势的相异程度，即进行关联分析，并对原始数据进行生成处理来寻找系统变动的规律，生成有较强规律性的数据序列，然后建立相应的微分方程模型，从而预测事物未来发展趋势的状况。其用等时距观测到的反应预测对象特征的一系列数量值构造灰色预测模型，预测未来某一时刻的特征量，或达到某一特征量的时间。 灰色预测模型实际上是一个微分方程, 称为GM模型。GM（1，N）[]1表示1阶的，N个 变量的微分方程型模型；则是1阶的,1个变量的微分方程型模型。在实际进行预测时, 一般选用GM(1,1) 模型, 因为这种模型求解较易, 计算量小, 计算时间短, 精度较高。 现在下面简单介绍有关于灰色预测的相关知识点： 为了弱化原始时间序列的随机性 在建立灰色预测模型之前，需先对原始时间序列进行数据处理，经过数据处理后的时间序列即称为生成列。灰色系统常用的数据处理方式有累加和累减两种。 关联度]1[
平稳时间序列预测法
7 平稳时间序列预测法 7.1 概述 7.2 时间序列的自相关分析 7.3 单位根检验和协整检验 7.4 ARMA模型的建模 回总目录 7.1 概述 时间序列取自某一个随机过程，则称： 一、平稳时间序列 过程是平稳的――随机过程的随机特征不随时间变化而变化过程是非平稳的――随机过程的随机特征随时间变化而变化回总目录 回本章目录 宽平稳时间序列的定义： 设时间序列 ，对于任意的t,k和m，满足： 则称宽平稳。 回总目录
回本章目录 Box-Jenkins方法是一种理论较为完善的统计预测方法。 他们的工作为实际工作者提供了对时间序列进行分析、预测，以及对ARMA模型识别、估计和诊断的系统方 法。使ARMA模型的建立有了一套完整、正规、结构 化的建模方法，并且具有统计上的完善性和牢固的理 论基础。 ARMA模型是描述平稳随机序列的最常用的一种模型； 回总目录 回本章目录 ARMA模型三种基本形式： 自回归模型（AR：Auto-regressive）； 移动平均模型（MA：Moving-Average）； 混合模型（ARMA：Auto-regressive Moving-Average）。回总目录 回本章目录 如果时间序列满足 其中是独立同分布的随机变量序列,且满足：
则称时间序列服从p阶自回归模型。 二、自回归模型 回总目录 回本章目录 自回归模型的平稳条件： 滞后算子多项式 的根均在单位圆外，即 的根大于1。 回总目录 回本章目录 如果时间序列满足 则称时间序列服从q阶移动平均模型。或者记为。 平稳条件：任何条件下都平稳。
三、移动平均模型MA(q) 回总目录 回本章目录 四、ARMA(p,q)模型 如果时间序列 满足： 则称时间序列服从(p,q)阶自回归移动平均模型。 或者记为： 回总目录 回本章目录 q=0，模型即为AR(p)； p=0，模型即为MA(q)。 ARMA(p,q)模型特殊情况： 回总目录 回本章目录 例题分析 设 ，其中A与B 为两个独立的零均值随机变量，方差为1；
GM(1,1)模型应用及残差修正
一．GM(1,1)预测模型应用举例 灰色预测是基于GM(1,1)预测模型的预测，按其应用的对象可有四种类型： (1) 数列预测。这类预测是针对系统行为特征值的发展变化所进行的预测。 (2) 灾变预测。这类预测是针对系统行为的特征值超过某个阙值的异常值将在何时出现的预测。 (3) 季节灾变预测。若系统行为的特征有异常值出现或某种事件的发生是在一年中的某个特定的时区，则该预测为季节性灾变预测。 (4) 拓扑预测。这类预测是对一段时间内系统行为特征数据波形的预测。 例1（数列预测）：设原始序列 )679.3,390.3,337.3,278.3,874.2())5(),4(),3(),2(),1(()0()0()0()0()0()0(==x x x x x X 试用GM(1,1)模型对)0(X 进行模拟和预测，并计算模拟精度。 解：第一步：对)0(X 进行一次累加，得 )558.16,897.12,489.9,152.6,874.2()1(=X 第二步：对)0(X 作准光滑性检验。由 ) 1()()()1()0(-=k x k x k ρ 得5.029.0)5(,5.036.0)4(,54.0)3(<≈<≈≈ρρρ。 当k>3时准光滑条件满足。 第三步：检验)1(X 是否具有准指数规律。由 )(1) 1() ()()1()1() 1(k k x k x k ρσ+=-= 得29.1)5(,36.1)4(,54.1)3()1()1()1(≈≈≈σσσ 当k>3时，5.0],5.1,1[)()1(<=∈δσk ，准指数规律满足，故可对)1(X 建立GM(1,1)模型。 第四步：对)1(X 作紧邻均值生成，得 )718.14,184.11,820.7,513.4()1(=Z 于是
LED照明产品加速测试中结温测量及寿命预测修正方法研究
LED照明产品加速测试中结温测量及寿命预测修正方法研究LED照明产品因其所拥有的能耗低、寿命长、重量轻等特点日益成为照明市场的主流灯具种类,而对LED寿命预测的传统方法需要至少6000小时老化时间,花费较多的时间成本、人力以及能源,因此对LED照明产品加速测试的研究已经成为照明行业热点问题。在加速测试寿命预测模型中,结温是能够直接影响寿命预测结果的重要参量,以往的寿命预测模型往往将结温视为定值,而一些研究证实随着加速老化的进行,结温随着时间发生改变。本文对LED照明产品整灯温度应力加速测试中的结温测量方法以及通过结温的测量对寿命预测修正方法进行了研究,具体内容包括以下4个方面:1.研究了白光LED照明产品中的混合荧光粉在温度应力加速老化过程中衰退速率的表现。通过对混合荧光粉LED照明产品加速寿命测试过程中的光谱分解和不同荧光粉的光谱特征提取,证明了不同的荧光粉自身的衰减速率与是否和其他荧光粉混合无关,不同的荧光粉在加速老化过程具有不同的衰减速率,进而证明LED照明产品的结温与蓝白比的关系随着加速老化过程会发生改变;2.研究了加速老化过程中LED照明产品整灯的结温非在线测量方法,及非在线加速寿命预测的修正。 搭建了实验平台,对7只LED灯具进行两个温度的阶梯应力加速寿命实验,通过测量加速老化过程中不同时间点的不同结温条件下的蓝白比建立相应时间点的结温与蓝白比方程,进而获得该时间点的结温。实验结果表明,在加速老化过程中结温与蓝白比具有较好的线性关系。在两个阶段的加速老化过程中,25℃环境稳定工作状态下的LED样品结温从61.6℃-63.3℃区间分布上升至71.7℃ -73.2℃区间分布,上升的温差可达9.5℃-11.4℃。然后根据结温的变化量对光通量进行修正,对于80℃和70℃的加速温度,未修正的非在线加速寿命预估偏差分别在-12.8%至-18.6%之间和-12.5%至-20.3%之间;3.研制了一套可应用于整灯测量的LED照明产品在线加速测试系统。 该系统包含加速老化单元和光学检测单元两个部分,利用光学通道联接,可以实现LED照明产品整灯的温度加速老化和在线光学参数测量功能。并对该系统的关键部件和机构进行了仿真和分析。最终系统可以实现光通量测量误差≤±0.33%,蓝白比测量误差≤0.5%;4.利用LED照明产品在线加速测试系统对LED整灯的结温在线测量方法进行研究,并对在线加速寿命预测进行修正。对12只LED
高考复习资料：回归模型的残差分析
回归模型的残差分析 山东胡大波 判断回归模型的拟合效果是回归分析的重要内容，在回归分析中，通常用残差分析来判断回归模型的拟合效果。下面具体分析残差分析的途径及具体例子。 一、残差分析的两种方法 1、差分析的基本方法是由回归方程作出残差图，通过观测残差图，以分析和发现观测数据中可能出现的错误以及所选用的回归模型是否恰当；在残差图中，残差点比较均匀地落在水平区域中，说明选用的模型比较合适，这样的带状区域的宽度越窄，说明模型的拟合精度越高，回归方程的预报精度越高。 2、可以进一步通过相关指数 ∑ ∑ = = - - - = n i i n i i i y y y y R 1 2 1 2 ^ 2 ) ( ) ( 1来衡量回归模型的拟合效果，一般规律是2 R越大，残差平方和就越小，从而回归模型的拟合效果越好。 二、典例分析： 例1、某运动员训练次数与运动成绩之间的数据关系如下： 次数/x 30 33 35 37 39 44 46 50 成绩/y 30 34 37 39 42 46 48 51 试预测该运动员训练47次以及55次的成绩。 解答：（1）作出该运动员训练次数x与成绩y之间的散点图，如图1所示，由散点图可知，它们之间具有线性相关关系。 次数 i x 成绩 i y2 i x2 i y i x i y 30 30 900 900 900 33 34 1089 1156 1122 35 37 1225 1369 1295 37 39 1369 1521 1443 39 42 1521 1764 1638 44 46 1936 2116 2024 46 48 2116 2304 2208
提高预测的准确性最新修正版
预测是物流管理的重要环节如何提高准确性预测的重要性 预测是企业制订战略规划、生产安排、销售计划，尤其是物流管理计划的重要依据，是企业物流管理中最重要的环节，也是物流工作的龙头。 准确的预测可以提高客户满意度，提高企业的竞争力。 客户在做出购买决策后，对于交货期的要求也越来越高。他们总会希望立即，至少是在合理时间内收到所购买的产品，享受所需要的服务。如果企业根本没有预测，或是预测不准确，总是不能满足客户对交货期的要求。随着市场竞争的激烈，企业为此而丢失的订单会越来越多。对于该类贸易公司而言，因为其供应商与消费产品市场的距离远，所以，要想满足客户对交货期的要求，更要有准确的预测，才能在竞争中不被打败。 准确的预测可以减少企业的库存。 它可以表现在3个方面：1）对于任何一个企业而言，其流动资金都是有限的。无论是生产企业安排生产，还是贸易公司安排采购，他们都是在一定资金范围内进行的。2）如果预测准确，可以降低对安全库存的要求。3）可以减少因库存时间长而产生的产品过时，过期而带来的损失。产品过时，往往会折价处理，而产品过期只能销毁，这样为企业造成大量的损失。对于该类贸易公司而言，因为货物在途的时间长，而根据跨国公司内部结算的规定，货物一旦离开供应商的仓库，就会给采购方开据发票，即算作采购方的库存。这类在途的库存往往会占据该类贸易公司全部库存金额的1／3或者更强。因此，该类贸易公司更要提高预测的准确性，才能有效地提高库存周转率。 准确的预测可以有效地安排生产。 对于任何生产企业而言，其生产能力也是有限的。对于跨国公司的贸易公司而言，如果可以提供给供应商准确的预测，不仅可以提高其采购订单的满足率，而且也有利于与供应商的长期合作。对于跨国公司的贸易公司，这一点更为重要，这是因为跨国公司的生产厂家往往会同时供应全球许多国家的需求，而这些生产厂家会根据各个国家提供的需求预测来计划生产。因此，如果预测不准确，对该类公司而言，根本不可能按时得到订单的满足。
两种灰色GM(1,1)残差修正方法在工程造价中的对比
两种灰色GM(1,1)残差修正方法在工程造价中的对比 李丹莹 金华正达工程造价咨询有限公司，浙江省金华市，321000 摘要：为了更准确地预测工程材料价格走势，本文介绍并比较了两种灰色GM(1,1)残差修正方法，并应用在了圆钢综合、螺纹钢综合及水泥价格的模拟和预测上，结果证明圆钢综合价格模拟仅能采取残差方法一，而残差方法二可以大大提升螺纹钢综合和水泥价格模拟精度。 关键词：工程造价；灰色预测；GM(1,1)模型；残差修正 一、概述 灰色系统理论是由我国著名学者邓聚龙教授在1982年率先提出的。近年来，不少学者已经将主要的灰色系统预测模型应用在了工程造价领域[1-3]，并取得了一定的成果，但是灰色残差修正模型在工程造价方面的研究还不多。灰色残差修正模型是在灰色GM(1,1)模型的基础上，对其模拟值的残差再进行GM(1,1)建模，并将其叠加到原模型上，从而形成一个新的、精度更高的模型。尤其对于摆动或震荡的数据序列，残差修正模型的模拟精度明显优于GM(1,1)模型。 在工程造价预测领域，材料价格走势的预测是一大研究方向。由于某些工程材料价格的波动较大，而影响工程材料价格波动的因素又较复杂，经典灰色GM(1,1)模型的模拟精度常常无法达到要求，故本文引入并介绍了两种常用的灰色残差修正模型。在给出这两种计算方法的基础上，利用取得的工程材料历史价格数据，具体比较、分析了这两种方法建模的优劣和适用性。 二、灰色模型的建立 （一）灰色GM(1,1)模型的建立 设有变量X (0)＝{X (0)(k), k=1,2,…,n}={X (0)(1), X (0)(2), …, X (0)(n)}为某一预测对象的非负单调原始数据序列。 为建立灰色预测模型，首先对X (0)进行一次累加(1-AGO, Acumulated Generating Operator)生成一次累加序列： X (1)＝{X (1)(k ), k ＝1,2,…,n}={X (1)(1), X (1)(2), …, X (1)(n)} 其中 X (1)(k +1)＝X (1)(k )+ X (0)(k +1) (1) 对X (1)可建立下述白化形式的微分方程： dt dX ) 1(十)1(aX ＝u (2) 即GM(1,1)模型。 上述白化微分方程的解为 X ?(1)(k +1)＝(X (0)(1)－a u )ak e ＋a u (3) 式中：k 为时间序列。 记参数序列为a ?,a ?＝[a,u]T , a ?可用下式求解:
灰度预测模型详解举例分析
灰色系统预测 重点内容：灰色系统理论的产生和发展动态，灰色系统的基本概念，灰色系统与模糊数学、黑箱方法的区别，灰色系统预测GM （1，1）模型，GM（1，N）模型，灰色系统模型的检验，应用举例。 1灰色系统理论的产生和发展动态 1982邓聚龙发表第一篇中文论文《灰色控制系统》标志着灰色系统这一学科诞生。 1985灰色系统研究会成立，灰色系统相关研究发展迅速。 1989海洋出版社出版英文版《灰色系统论文集》，同年，英文版国际刊物《灰色系统》杂志正式创刊。目前，国际、国内200多种期刊发表灰色系统论文，许多国际会议把灰色系统列为讨论专题。国际著名检索已检索我国学者的灰色系统论著500多次。灰色系统理论已应用范围已拓展到工业、农业、社会、经济、能源、地质、石油等众多科学领域，成功地解决了生产、生活和科学研究中的大量实际问题，取得了显著成果。 2灰色系统的基本原理 2.1灰色系统的基本概念 我们将信息完全明确的系统称为白色系统，信息未知的系统称为黑色系统，部分信息明确、部分信息不明确的系统称为灰色系统。系统信息不完全的情况有以下四种： 1.元素信息不完全 2.结构信息不完全 3.边界信息不完全 4.运行行为信息不完全 2.2灰色系统与模糊数学、黑箱方法的区别 主要在于对系统内涵与外延处理态度不同； 研究对象内涵与外延的性质不同。 灰色系统着重外延明确、内涵不明确的对象，模糊数学着重外延不明确、内涵明确的对象。 “黑箱”方法着重系统外部行为数据的处理方法，是因果关系的两户方法，使扬外延而弃内涵的处理方法，而灰色系统方法是外延内涵均注重的方法。
2.3灰色系统的基本原理 公理1：差异信息原理。“差异”是信息，凡信息必有差异。 公理2：解的非唯一性原理。信息不完全，不明确地解是非唯一的。 公理3：最少信息原理。灰色系统理论的特点是充分开发利用已有的“最少信息”。 公理4：认知根据原理。信息是认知的根据。 公理5：新信息优先原理。新信息对认知的作用大于老信息。 公理6：灰性不灭原理。“信息不完全”是绝对的。 2.4灰色系统理论的主要内容 灰色系统理论经过10多年的发展，已基本建立起了一门新兴学科的结构体系，其主要内容包括以“灰色朦胧集”为基础的理论体系、以晦涩关联空间为依托的分析体系、以晦涩序列生成为基础的方法体系，以灰色模型（G ，M ）为核心的模型体系。以系统分析、评估、建模、预测、决策、控制、优化为主体的技术体系。 灰色关联分析 灰色统计 灰色聚类 3灰色系统预测模型 灰色预测方法的特点表现在：首先是它把离散数据视为连续变量在其变化过程中所取的离散值，从而可利用微分方程式处理数据；而不直接使用原始数据而是由它产生累加生成数，对生成数列使用微分方程模型。这样，可以抵消大部分随机误差，显示出规律性。 3.1灰色系统理论的建模思想 下面举一个例子，说明灰色理论的建模思想。考虑4个数据，记为)4(),3(),2(),1()0()0()0()0(
灰色预测模型理论及其应用
灰色预测模型理论及其应用 灰色系统理论认为对既含有已知信息又含有未知或非确定信息的系统进行预测，就是对在一定方位内变化的、与时间有关的灰色过程的预测. 尽管过程中所显示的现象是随机的、杂乱无章的，但毕竟是有序的、有界的，因此这一数据集合具备潜在的规律，灰色预测就是利用这种规律建立灰色模型对灰色系统进行预测. 灰色预测模型只需要较少的观测数据即可，这和时间序列分析，多元回归分析等需要较多数据的统计模型不一样. 因此，对于只有少量观测数据的项目来说，灰色预测是一种有用的工具.本文主要围绕灰色预测GM(1,1)模型及其应用进行展开。 一、灰色系统及灰色预测的概念 1.1灰色系统 灰色系统产生于控制理论的研究中。 若一个系统的内部特征是完全已知的，即系统的信息是充足完全的，我们称之为白色系统。 若一个系统的内部信息是一无所知，一团漆黑，只能从它同外部的联系来观测研究，这种系统便是黑色系统。 灰色系统介于二者之间，灰色系统的一部分信息是已知的，一部分是未知的。 区别白色和灰色系统的重要标志是系统各因素间是否有确定的关系。 特点：灰色系统理论以“部分信息已知、部分信息未知”的“小样本”、“贫信息”不确定型系统的研究对象。 1.2灰色预测 灰色系统分析方法是通过鉴别系统因素之间发展趋势的相似或相异程度，即进行关联度分析，并通过对原始数据的生成处理来寻求系统变动的规律。生成数据序列有较强的规律性，可以用它来建立相应的微分方程模型，从而预测事物未来的发展趋势和未来状态。灰色预测是用灰色模型GM(1,1)来进行定量分析的，通常分为以下几类： (1) 灰色时间序列预测。用等时距观测到的反映预测对象特征的一系列数量（如产量、销量、人口数量、存款数量、利率等）构造灰色预测模型，预测未来某一时刻的特征量，或者达到某特征量的时间。 (2) 畸变预测（灾变预测）。通过模型预测异常值出现的时刻，预测异常值什么时候出现在特定时区内。 (3) 波形预测，或称为拓扑预测，它是通过灰色模型预测事物未来变动的轨迹。 (4) 系统预测，是对系统行为特征指标建立一族相互关联的灰色预测理论模型，在预测系统整体变化的同时，预测系统各个环节的变化。 上述灰预测方法的共同特点是： （1）允许少数据预测； （2）允许对灰因果律事件进行预测，比如 灰因白果律事件：在粮食生产预测中，影响粮食生产的因子很多，多到无法枚举，故为灰因，然而粮食产量却是具体的，故为白果。粮食预测即为灰因白果律事件预测。白因灰果律事件：在开发项目前景预测时，开发项目的投入是具体的，为白因，而项目的效益暂时不很清楚，为灰果。项目前景预测即为灰因白果律事件预测。
时间序列分析方法第章预测
第四章 预 测 在本章当中我们讨论预测的一般概念和方法，然后分析利用),(q p ARMA 模型进行预测的问题。 §4.1 预期原理 利用各种条件对某个变量下一个时点或者时间阶段内取值的判断是预测的重要情形。为此，需要了解如何确定预测值和度量预测的精度。 4.1.1 基于条件预期的预测 假设我们可以观察到一组随机变量t X 的样本值，然后利用这些数据预测随机变量1+t Y 的值。特别地，一个最为简单的情形就是利用t Y 的前m 个样本值预测1+t Y ，此时t X 可以描述为： 假设*|1t t Y +表示根据t X 对于1+t Y 做出的预测。那么如何度量预测效果呢？通常情况下，我们利用损失函数来度量预测效果的优劣。假设预测值与真实值之间的偏离作为损失，则简单的二次损失函数可以表示为(该度量也称为预测的均方误差)： 定理4.1 使得预测均方误差达到最小的预测是给定t X 时，对1 +t Y 的条件数学期望，即： 证明：假设基于t X 对1+t Y 的任意预测值为： 则此预测的均方误差为： 对上式均方误差进行分解，可以得到： 其中交叉项的数学期望为(利用数学期望的叠代法则)： 因此均方误差为： 为了使得均方误差达到最小，则有： 此时最优预测的均方误差为： 211*|1)]|([)(t t t t t X Y E Y E Y MSE +++-= End 我们以后经常使用条件数学期望作为随机变量的预测值。 4.1.2 基于线性投影的预测 由于上述条件数学期望比较难以确定，因此将预测函数的范围限制在线性函数当中，我们考虑下述线性预测： 如此预测的选取是所有预测变量的线性组合，预测的优劣则体现在系数向量的选择上。 定义4.1 如果我们可以求出一个系数向量值α，使得预测误差)(1t t X Y α'-+与t X 不相关： 则称预测t X α'为1+t Y 基于t X 的线性投影。 定理4.2 在所有线性预测当中，线性投影预测具有最小的均方误差。
误差修正模型.
第二节误差修正模型（Error Correction Model，ECM） 一、误差修正模型的构造 对于yt的(1，1阶自回归分布滞后模型： 在模型两端同时减yt-1，在模型右端，得： 其中，，，。 记（5-5） 则（5-6） 称模型（5-6）为“误差修正模型”，简称ECM。 二、误差修正模型的含义 如果yt ~ I(1，xt ~ I(1，则模型（5-6）左端 ，右端，所以只有当yt和xt协整、即yt 和xt之间存在长期均衡关系时，式（5-5）中的 ecm~I(0，模型（5-6）两端的平稳性才会相同。 当yt和xt协整时，设协整回归方程为：
它反映了yt与xt的长期均衡关系，所以称式（5-5）中的ecmt-1是前一期的“非均衡误差”，称误差修正模型（5-6）中的是误差修正项，是修正系数，由于通常 ，这样；当ecmt-1 >0时（即出现正误差），误差 修正项< 0，而ecmt-1 < 0时（即出现负误差）， > 0，两者的方向恰好相反，所以，误差修正是一个反向 调整过程（负反馈机制）。 误差修正模型有以下几个明确的含义： 1．均衡的偏差调整机制 2．协整与长期均衡的关系 3．经济变量的长期与短期变化模型 长期趋势模型： 短期波动模型： 三、误差修正模型的估计 建立ECM的具体步骤为： 1．检验被解释变量y与解释变量x（可以是多个变量）之间的协整性； 2．如果y与x存在协整关系，估计协整回归方程，计算残差序列e t：
3．将e t-1作为一个解释变量，估计误差修正模型： 说明： （1）第1步协整检验中，如果残差是确定趋势过程，可以在第2步的协整回归方程中加入趋势变量； （2）第2步可以估计动态自回归分布滞后模型： 此时，长期参数为： 协整回归方程和残差也相应取成： ， （3）第2步估计出ECM之后，可以检验模型的残差是否存在长期趋势和自相关性。如果存在长期趋势，则在ECM中加入趋势变量。如果存在自相关性，则在ECM的右端加入的滞后项来消除自相关性，误差修正项的滞后期一般也要作相应调整。如取成以下形式： 由于模型中的各项都是平稳变量，所以可以用t检验判断各项的显著性，逐个剔除其中不显著的变量，当然误差修正项要尽可能保留。
数学建模之灰色预测模型
一、灰色预测模型 简介（P372） 特点：模型使用的不是原始数据列，而是生成的数据列。 优点：不需要很多数据，一般只用4个数据就能解决历史数据少，序列的完整性和可靠性低的问题。 缺点：只适用于中短期的预测和指数增长的预测。 1、GM(1,1)预测模型 GM(1,1)表示模型为一阶微分方程，且只含有一个变量的灰色模型。 1.1模型的应用 ①销售额预测 ②交通事故次数的预测 ③某地区火灾发生次数的预测 ④灾变与异常值预测，如对旱灾，洪灾，地震等自然灾害的时间与程度进行预报。（百度文库） ⑤基于GM(1,1)模型的广州市人口预测与分析（下载的文档） ⑥网络舆情危机预警（下载的文档） 1.2步骤 ①级比检验与判断 (0)(1),k k - GM(1,1)建模。 光滑比为 若序列满足
则序列为准光滑序列。 否则，选取常数c 建立模型: （1） ③构造数据矩阵B 及数据向量Y (1),()z n ? ??- 1?(0)Y x =? ??? (1 0.5(1),2,3, x k k -=） ④由 ⑤由微分方程（1）得生成序列预测值为 则模型还原值为 ⑥精度检验和预测 残差
相对误差 相对误差精度等级表 级比偏差 ，则可认为达到较高要求。利用matlab求出模型的各种检验指标值的结果如表 经过验证，给出相应预测预报。 2、新陈代谢模型 灰色新陈代谢模型是一个不断考虑新信息的预测模型，它考虑了随着时间推移相继进入系统的扰动因素带来的影响，在不断补充新信息的同时，及时去掉旧信息，使整个系统一直处于更新和发展的过程中，更符合现实世界的变化。 与GM(1,1)模型相比，既能充分发挥传统GM(1,1)模型仅利用少量数据, 就能 获得较高预测精度的优点,又能反映出数据的变化趋势, 从而使预测结果的精度 获得更进一步的提高。局限性在于该模型适合预测具有较强指数规律的序列, 只能描述单调变化的过程。 2.1模型的应用 ①深圳货运量预测；（下载文档） ②天津市城市人均住宅建筑面积及非农业户籍人口总数预测（下载文档）； ③网络舆情危机预警（下载文档）。 2.2步骤 ①建立新陈代谢数据序列 y= ，即得到新陈代谢数据序列(0)( ②后续步骤同GM(1,1)模型。
误差修正模型
第二节 误差修正模型（Error Correction Model ，ECM ） 一、误差修正模型的构造 对于y t 的(1，1)阶自回归分布滞后模型： t t t t t y x x y εβββα++++=--12110 在模型两端同时减y t-1，在模型右端10-±t x β，得： t t t t t t t t t t t t t x y x x y x y x x y εααγβεββββαββεββββα+--+?=+---+--+?=+-+++?+=?------)(]) 1()1()[1()1()(1101012120120121100 其中，12-=βγ，)1/()(200ββαα-+=，)1/(211ββα-=。 记 11011-----=t t t x y ecm αα （5-5） 则 t t t t ecm x y εγβ++?=?-10 （5-6） 称模型（5-6）为“误差修正模型”，简称ECM 。 二、误差修正模型的含义 如果y t ~ I(1)，x t ~ I(1)，则模型（5-6）左端)0(~I y t ?， 右端)0(~I x t ?，所以只有当y t 和x t 协整、即y t 和x t 之间存在长期均衡关系时，式（5-5）中的ecm~I(0)，模型（5-6）
两端的平稳性才会相同。 当y t 和x t 协整时，设协整回归方程为： t t t x y εαα++=10 它反映了y t 与x t 的长期均衡关系，所以称式（5-5）中的ecm t -1是前一期的“非均衡误差”，称误差修正模型（5-6）中的1-t ecm γ是误差修正项，12-=βγ 是修正系数，由于通常1||2<β，这样0<γ；当ecm t -1 >0时（即出现正误差），误差 修正项1-t ecm γ< 0，而ecm t -1 < 0时（即出现负误差）， 1-t ecm γ> 0，两者的方向恰好相反，所以，误差修正是一个反向调整过程（负反馈机制）。 误差修正模型有以下几个明确的含义： 1．均衡的偏差调整机制 2．协整与长期均衡的关系 3．经济变量的长期与短期变化模型 长期趋势模型： t t t x y εαα++=10 短期波动模型： t t t t ecm x y εγβ++?=?-10
残差GM模型
§10.3 残差GM （1，1）模型 1．() X 0为原始序列 2． () X 1为一次累加序列 3．按GM(1,1)模型求解 4．得到() X ?1，即 () X 1的预测值 5．计算 () X 1的残差序列() ()() ()() ()k k k x x ?110- = ε 6．判断可建模残差尾段： （1）存在k 0 （2）k k ≥?，() ()k ε 0的符号一致，4 ≥-k n （3）称() ()()()()()??? ? ? ?+n k k εεε 0, ,1, 为可建模残差尾段 7．计算可建模残差尾段的一次累加序列 8．按GM(1,1)模型计算可建模残差尾段的时间响应式 9．计算残差尾段() ε0的模拟序列： () () ()()()()()?? ? ? ?+=n k k εεεε0 00, ,1, ??? ，这里，()()10 +k ε为导数还原值 即： () ()()() ()()[]k a a b k a k k 0 000exp 1?--?? ? ???? ?--=+εεεεεε, k k 0≥ 10．用() ε? 0修正 () X ?1(用一次累加序列的残差修正一次累加序列预测值)，称修正后的时间 响应式： ()()() ()() ()() ()() ???? ? ??? ?≥ ?? ? ???? ?-±+? ? ????-< + ?? ? ??? - =+-- --k e a b k a e x k e x x k a b a b k a b a b k k a k ab ab 000 010111?εεεεε 其中残差修正值()()1?0+k ε的符号应与残差尾段() ε0的符号保持一致。 11．用() ε? 0修正() x ? 0（用原始序列的残差修正原始序列预测值），根据由() x ?1到() x ? 0的不同 还原方式，得到不同的残差修正时间响应式。 11．1 若() ()() ()() ()() ()() e x e x x x k a a a b k k k 10110111???--?? ?? ? ? - ??? ? ?-=-- = 则相应的残差修正时间响应式为：