一元非线性回归分析
案例 目标函数可线性化的曲线回归建模与分析
1 曲线回归常用的非线性目标函数及其线性化的方法
在一些实际问题中，变量间的关系并不都是线性的，那时就应该用曲线去进行拟合. 用曲线去拟合数据首先要解决的问题是回归方程中的参数如何估计? 解决这一问题的基本思路是：
对于曲线回归建模的非线性目标函数)(x f y =，通过某种数学变换???==)
()
(x u u y v v 使之
“线性化”化为一元线性函数bu a v +=的形式，继而利用线性最小二乘估计的方法估计
出参数a 和b ，用一元线性回归方程u b a v
???+=来描述v 与u 间的统计规律性，然后再用逆变换???==--)
()
(1
1u u x v v y 还原为目标函数形式的非线性回归方程. 下面给出常用的非线性函数及其线性化的方法.
⑴ 倒幂函数x b a y 1
+=
令x
u y v 1
,== ，则bu a v +=.
⑵ 双曲线函数 1b
a y x
=+
b<0 b>0
线性化方法
令x
u y v 1
,1== ，则bu a v +=.
⑶ 幂函数b
y ax =
b<0 0
令ln v y =，ln u x =，则bu a v +=.
⑷ 指数函数bx
y ae =
函数图象
b>0 b<0
线性化方法
令ln v y =，u x =，则bu a v +=. ⑸ 倒指数函数b
x
y ae =
b>0 b<0
线性化方法 令ln v y =，1
u x
=
，则bu a v +=. ⑹ 对数函数ln y a b x =+ 函数图象
b>0 b<0
线性化方法
令v y =，ln u x =，则bu a v +=. ⑺ S 型曲线 1
x
y a be -=+
函数图象
令1v y
=
，x
u e -=，则bu a v +=. 2 曲线回归方程的评价方法
对于可选用回归方程形式，需要加以比较以选出较好的方程，常用的准则有： ⑴ 决定系数2R 定义
SST
SSE
R -
=12， 称为决定系数. 显然21R ≤.2R 大表示观测值i y 与拟合值?i y
比较靠近，也就意味着从整体上看，n 个点的散布离曲线较近.因此选2R 大的方程为好. ⑵ 剩余标准差s 定义
)2/(-=n SSE s
称为剩余标准差.s 类似于一元线性回归方程中对σ的估计. 可以将s 看成是平均残差平方和的算术根，自然其值小的方程为好.
其实上面两个准则所选方程总是一致的，因为s 小必有残差平方和小，从而2R 必定大.不过，这两个量从两个角度给出我们定量的概念.2R 的大小给出了总体上拟合程度的好坏，s 给出了观测点与回归曲线偏离的一个量值.所以，通常在实际问题中两者都求出，供使用者从不同角度去认识所拟合的曲线回归. ⑶ F 检验（类似与一元线性回归中的F 检验）
)
2/(1
/-=n SSE SSR F ,
其中
∑=-=n
i i y y SST 1
2
)(，∑=-=n
i i i y
y SSE 1
2)?(，SSE SST SSR -=. 3 范例与MATLAB 实现
【例6.2】 为了解百货商店销售额x 与流通率（这是反映商业活动的一个质量指标，
指每元商品流转额所分摊的流通费用）y 之间的关系，收集了九个商店的有关数据（见下表）.
表 销售额与流通费率数据
绘制散点图
x=[1.5, 4.5, 7.5,10.5,13.5,16.5,19.5,22.5,25.5];
y=[7.0,4.8,3.6,3.1,2.7,2.5,2.4,2.3,2.2];
sdt(x,y)
nlin1(x,y)
拟合曲线方程是y=2.2254+7.6213/x
剩余标准误差Sy=0.42851
可决系数R=0.96733
'方差来源' '偏差平方和' '自由度' '方差' ' F值' 'F临界值' '显著性' '回归' [18.7146] [ 1] [18.7146] [101.9186] [ 5.5914] '* *'
'剩余' [ 1.2854] [ 7] [ 0.1836] [] [12.2464] [] '总和' [ 20] [ 8] [] [] [] []
拟合幂函数曲线
nlin3(x,y)
拟合曲线方程是y=8.5173x^-0.42589
剩余标准误差Sy=0.146
可决系数R=0.99626
'方差来源' '偏差平方和' '自由度' '方差' ' F值' ' F临界值' '显著性' '回归' [19.8508] [ 1] [19.8508] [931.2285] [ 5.5914] '* *'
'剩余' [ 0.1492] [ 7] [ 0.0213] [] [12.2464] []
拟合指数函数曲线
nlin5(x,y)
拟合曲线方程是y=2.3957exp(1.7808/x)
剩余标准误差Sy=0.6497
可决系数R=0.92318
'方差来源' '偏差平方和' '自由度' '方差' 'F值' ' F临界值' '显著性' '回归' [17.0452] [ 1] [17.0452] [40.3812] [ 5.5914] '* *' ' [ 2.9548] [ 7] [ 0.4221] [] [12.2464] []
'剩余
拟合对数函数曲线
nlin6(x,y)
拟合曲线方程是y=1632.5-1.713log(x)
剩余标准误差Sy=0.2762
可决系数R=0.98656
'方差来源' '偏差平方和' '自由度' '方差' ' F值' ' F临界值' '显著性'
'回归' [19.4660] [ 1] [19.4660] [255.1773] [ 5.5914] '* *
'剩余' [ 0.5340] [ 7] [ 0.0763] [] [12.2464] []
'总和' [ 20] [ 8] [] [] [] []
【说明】函数
nlin1，nlin2，nlin3，nlin4，nlin5，nlin6，nlin7
分别用来拟合第一（倒幂函数）、二（双曲线）、三（幂函数）、四（指数函数）、五（倒指数函数）、六（对数函数）、七（S型曲线）种类型曲线求非线性回归的回归方程函数，并在同一个图形中绘制散点图和回归线图.
这几个函数的调用方式相同，以第一个函数为例
[S,Sy,r2,table]=nlin1(x,y)
输入参数x,y是长度相等的两个向量.
输出参数个数可选
如果没有输出参数，则在命令窗口中显示回归线方程,剩余标准误差、可决系数、方差分析表，并绘制散点图和拟合曲线图.
如果有输出参数，第一个输出参数是拟合曲线方程.
如果有两个输出参数，第二个输出参数是剩余标准误差Sy.
如果有三个输出参数，第三个输出参数是可决系数.
如果有四个输出参数，第四个输出参数是方差分析表.
非线性回归分析
SPSS—非线性回归(模型表达式)案例解析 2011-11-16 10:56 由简单到复杂，人生有下坡就必有上坡，有低潮就必有高潮的迭起，随着SPSS 的深入学习，已经逐渐开始走向复杂，今天跟大家交流一下，SPSS非线性回归，希望大家能够指点一二！ 非线性回归过程是用来建立因变量与一组自变量之间的非线性关系，它不像线性模型那样有众多的假设条件，可以在自变量和因变量之间建立任何形式的模型非线性，能够通过变量转换成为线性模型——称之为本质线性模型，转换后的模型，用线性回归的方式处理转换后的模型，有的非线性模型并不能够通过变量转换为线性模型，我们称之为：本质非线性模型 还是以“销售量”和“广告费用”这个样本为例，进行研究，前面已经研究得出：“二次曲线模型”比“线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的趋势变化”，那么“二次曲线”会不会是最佳模型呢？ 答案是否定的，因为“非线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的变化趋势” 下面我们开始研究： 第一步：非线性模型那么多，我们应该选择“哪一个模型呢？” 1：绘制图形，根据图形的变化趋势结合自己的经验判断，选择合适的模型 点击“图形”—图表构建程序—进入如下所示界面：
点击确定按钮，得到如下结果：
放眼望去, 图形的变化趋势，其实是一条曲线，这条曲线更倾向于"S" 型曲线，我们来验证一下，看“二次曲线”和“S曲线”相比，两者哪一个的拟合度更高！ 点击“分析—回归—曲线估计——进入如下界面
在“模型”选项中，勾选”二次项“和”S" 两个模型，点击确定，得到如下结果： 通过“二次”和“S “ 两个模型的对比，可以看出S 模型的拟合度明显高于
多项式回归、非线性回归模型
多项式回归、非线性回归模型 关键词：回归方程的统计检验、拟合优度检验、回归方程的显著性检验、F 检验、回归系数的显著性检验、残差分析、一元多项式回归模型、一元非线性回归模型 一、回归方程的统计检验 1. 拟合优度检验 1. 概念介绍 SST 总离差平方和total SSR 回归平方和regression SSE 剩余平方和error ∑∑∑∑====--= --- =n i i i n i i i n i i i n i i i y y y y y y y y R 1 2 1 2 12 12 2)()?()()?(1 2. 例题1 存在四点(-2,-3)、(-1,-1)、(1,2)、(4,3)求拟合直线与决定系数。 2. 回归方程的显著性检验 ) 2/()2/()?()?(1 212 -= ---= ∑∑==n SSE SSA n y y y y F n i i i n i i i 例6（F 检验） 在合金钢强度的例1中，我们已求出了回归方程，这里考虑关于回归方程的显著性检验，经计算有： 表5 X 射线照射次数与残留细菌数的方差分析表 这里值很小，因此，在显著性水平0.01下回归方程是显著的。 3. 回归系数的显著性检验 4. 残差分析 二、一元多项式回归模型
模型如以下形式的称为一元多项式回归模型： 0111a x a x a x a y n n n n ++++=-- 例1（多项式回归模型） 为了分析X 射线的杀菌作用，用200千伏的X 射线来照射细菌，每次照射6分钟，用平板计数法估计尚存活的细菌数。照射次数记为t ，照射后的细菌数为y 见表1。试求： （1）给出y 与t 的二次回归模型。 （2）在同一坐标系内作出原始数据与拟合结果的散点图。 （3）预测16=t 时残留的细菌数。 （4）根据问题的实际意义，你认为选择多项式函数是否合适？ 表1 X 射线照射次数与残留细菌数 程序1 t=1:15; y=[352 211 197 160 142 106 104 60 56 38 36 32 21 19 15]; p=polyfit(t,y,2)%作二次多项式回归 y1=polyval(p,t);%模型估计与作图 plot(t,y,'-*',t,y1,'-o');%在同一坐标系中做出两个图形 legend('原始数据','二次函数') xlabel('t(照射次数)')%横坐标名 ylabel('y(残留细菌数)')%纵坐标名 t0=16; yc1=polyconf(p,t0)%预测t0=16时残留的细菌数，方法1 yc2=polyval(p,t0)%预测t0=16时残留的细菌数，方法2 即二次回归模型为： 8967.3471394.519897.121+-=t t y
线性回归推导及实例
数据点基本落在一条直线附近。这告诉我们，变量X与Y的关系大致可看作是线性关系，即它们之间的相互关系可以用线性关系来描述。但是由于并非所有的数据点完全落在一条直线上，因此X与Y的关系并没有确切到可以唯一地由一个X值确定一个Y值的程度。其它因素，诸如其它微量元素的含量以及测试误差等都会影响Y的测试结果。如果我们要研究X与Y的关系，可以作线性拟合 （2-1-1） 我们称（2-1-1）式为回归方程，a与b是待定常数，称为回归系数。从理论上讲，（2-1-1）式有无穷多组解，回归分析的任务是求出其最佳的线性拟合。 二、最小二乘法原理 如果把用回归方程计算得到的i值(i=1,2,…n)称为回归值，那么实际测量值y i与回归值i之间存在着偏差，我们把这种偏差称为残差，记为e i(i=1,2,3,…,n)。这样，我们就可以用残差平方和来度量测量值与回归直线的接近或偏差程度。残差平方和定义为: (2-1-2) 所谓最小二乘法，就是选择a和b使Q(a,b)最小，即用最小二乘法得到的回归直线是在所 有直线中与测量值残差平方和Q最小的一条。由(2-1-2)式可知Q是关于a,b的二次函数，所以它的最小值总是存在的。下面讨论的a和b的求法。 三、正规方程组 根据微分中求极值的方法可知，Q(a,b)取得最小值应满足 (2-1-3) 由(2-1-2)式，并考虑上述条件，则 (2-1-4) (2-1-4)式称为正规方程组。解这一方程组可得 (2-1-5) 其中 (2-1-6)
(2-1-7) 式中，L xy称为xy的协方差之和，L xx称为x的平方差之和。 如果改写(2-1-1)式，可得 (2-1-8) 或 (2-1-9) 由此可见，回归直线是通过点的，即通过由所有实验测量值的平均值组成的点。从力学观点看， 即是N个散点的重心位置。 现在我们来建立关于例1的回归关系式。将表2-1-1的结果代入(2-1-5)式至(2-1-7)式，得出 a=1231.65 b=-2236.63 因此，在例1中灰铸铁初生奥氏体析出温度(y)与氮含量(x)的回归关系式为 y=1231.65-2236.63x 四、一元线性回归的统计学原理 如果X和Y都是相关的随机变量，在确定x的条件下，对应的y值并不确定，而是形成一个分布。当X 取确定的值时，Y的数学期望值也就确定了，因此Y的数学期望是x的函数，即 E(Y|X=x)=f(x) (2-1-10) 这里方程f(x)称为Y对X的回归方程。如果回归方程是线性的，则 E(Y|X=x)=α+βx (2-1-11) 或 Y=α+βx+ε(2-1-12) 其中 ε―随机误差 从样本中我们只能得到关于特征数的估计，并不能精确地求出特征数。因此只能用f(x)的估计 式来取代（2-1-11）式，用参数a和b分别作为α和β的估计量。那么，这两个估计量是否能够满足要求呢？ 1. 无偏性 把(x,y)的n组观测值作为一个样本，由样本只能得到总体参数α和β的估计值。可以证明，当满足下列条件： (1)(x i,y i)是n个相互独立的观测值 (2)εi是服从分布的随机变量 则由最小二乘法得到的a与b分别是总体参数α和β的无偏估计，即 E(a)= α E(b)=β 由此可推知 E()=E(y)
SAS学习系列25. 非线性回归
25. 非线性回归 现实世界中严格的线性模型并不多见，它们或多或少都带有某种程度的近似；在不少情况下，非线性模型可能更加符合实际。 对变量间非线性相关问题的曲线拟合，处理的方法主要有： （1）首先确定非线性模型的函数类型，对于其中可线性化问题则通过变量变换将其线性化，从而归结为前面的多元线性回归问题来解决； （2）若实际问题的曲线类型不易确定时，由于任意曲线皆可由多项式来逼近，故常可用多项式回归来拟合曲线； （3）若变量间非线性关系式已知（多数未知），且难以用变量变换法将其线性化，则进行数值迭代的非线性回归分析。 （一）可变换为线性的非线性回归
在很多场合，可以对非线性模型进行线性化处理，尤其是可变换为线性的非线性回归，运用最小二乘法进行推断，对线性化后的线性模型，可以应用REG过程步进行计算。 例1 有实验数据如下： 试分别采用指数回归（y =ae bx）方法进行回归分析。 代码： data exam25_1; input x y; cards; 1.1 109.95 1.2 40.45 1.3 20.09 1.4 24.53 1.5 11.02 1.6 7.39 1.7 4.95 1.8 2.72 1.9 1.82 2 1.49 2.1 0.82 2.2 0.3 2.3 0.2 2.4 0.22 ; run; proc sgplot data = exam25_1; scatter x = x y = y; run; proc corr data = exam25_1; var x y; run;
data new1; set exam25_1; v = log(y); run; proc sgplot data = new1; scatter x = x y = v; title'变量代换后数据'; run; proc reg data = new1; var x v; model v = x; print cli; title'残差图'; plot residual. * predicted.; run; data new2; set exam25_1; y1 = 14530.28*exp(-4.73895*x); run; proc gplot data = new2; plot y*x=1 y1*x=2 /overlay; symbol v=dot i=none cv=red; symbol2i=sm color=blue; title'指数回归图'; 运行结果：
多元线性回归模型的案例分析
1. 表1列出了某地区家庭人均鸡肉年消费量Y 与家庭月平均收入X ，鸡肉价格P 1，猪肉价格P 2与牛肉价格P 3的相关数据。 年份 Y/千 克 X/ 元 P 1/(元/千克) P 2/(元/千克) P 3/(元/千克) 年份 Y/千克 X/元 P 1/(元/ 千克) P 2/(元/ 千克) P 3/(元/千克) 1980 2.78 397 4.22 5.07 7.83 1992 4.18 911 3.97 7.91 11.40 1981 2.99 413 3.81 5.20 7.92 1993 4.04 931 5.21 9.54 12.41 1982 2.98 439 4.03 5.40 7.92 1994 4.07 1021 4.89 9.42 12.76 1983 3.08 459 3.95 5.53 7.92 1995 4.01 1165 5.83 12.35 14.29 1984 3.12 492 3.73 5.47 7.74 1996 4.27 1349 5.79 12.99 14.36 1985 3.33 528 3.81 6.37 8.02 1997 4.41 1449 5.67 11.76 13.92 1986 3.56 560 3.93 6.98 8.04 1998 4.67 1575 6.37 13.09 16.55 1987 3.64 624 3.78 6.59 8.39 1999 5.06 1759 6.16 12.98 20.33 1988 3.67 666 3.84 6.45 8.55 2000 5.01 1994 5.89 12.80 21.96 1989 3.84 717 4.01 7.00 9.37 2001 5.17 2258 6.64 14.10 22.16 1990 4.04 768 3.86 7.32 10.61 2002 5.29 2478 7.04 16.82 23.26 1991 4.03 843 3.98 6.78 10.48 （1） 求出该地区关于家庭鸡肉消费需求的如下模型： 01213243ln ln ln ln ln Y X P P P u βββββ=+++++ （2） 请分析，鸡肉的家庭消费需求是否受猪肉及牛肉价格的影响。 先做回归分析，过程如下： 输出结果如下：
常见非线性回归模型
常见非线性回归模型 1.简非线性模型简介 非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通 过直接代换或间接代换转化为线性回归模型,但也有一些非线性回归模型却无 法通过代换转化为线性回归模型。 柯布—道格拉斯生产函数模型 y AKL 其中L和K分别是劳力投入和资金投入, y是产出。由于误差项是可加的, 从而也不能通过代换转化为线性回归模型。 对于联立方程模型,只要其中有一个方程是不能通过代换转化为线性,那么这个联立方程模型就是非线性的。 单方程非线性回归模型的一般形式为 y f(x1,x2, ,xk; 1, 2, , p) 2.可化为线性回归的曲线回归 在实际问题当中，有许多回归模型的被解释变量y与解释变量x之间的关系都不是线性的，其中一些回归模型通过对自变量或因变量的函数变换可以转化为
线性关系，利用线性回归求解未知参数，并作回归诊断。如下列模型。 （1）y 0 1e x （2）y 0 1x2x2p x p （3）y ae bx (4)y=alnx+b 对于（1）式，只需令x e x即可化为y对x是线性的形式y01x，需要指出的是，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。 对于（2）式，可以令x1=x,x2=x2,?,x p=x p,于是得到y关于x1,x2,?, x p 的线性表达式y 0 1x12x2 pxp 对与（3）式，对等式两边同时去自然数对数，得lnylnabx ,令 y lny, 0 lna, 1 b，于是得到y关于x的一元线性回归模型： y 0 1x。 乘性误差项模型和加性误差项模型所得的结果有一定差异，其中乘性误差项模型认为yt本身是异方差的，而lnyt是等方差的。加性误差项模型认为yt是等 方差的。从统计性质看两者的差异，前者淡化了y t值大的项（近期数据）的作用， 强化了y t值小的项（早期数据）的作用，对早起数据拟合得效果较好，而后者则 对近期数据拟合得效果较好。 影响模型拟合效果的统计性质主要是异方差、自相关和共线性这三个方面。 异方差可以同构选择乘性误差项模型和加性误差项模型解决，必要时还可以使用 加权最小二乘。
非线性回归分析(教案)
1.3非线性回归问题, 知识目标：通过典型案例的探究，进一步学习非线性回归模型的回归分析。 能力目标：会将非线性回归模型通过降次和换元的方法转化成线性化回归模型。 情感目标：体会数学知识变化无穷的魅力。 教学要求：通过典型案例的探究，进一步了解回归分析的基本思想、方法及初步应用. 教学重点：通过探究使学生体会有些非线性模型通过变换可以转化为线性回归模型，了解在解决实际问题的 过程中寻找更好的模型的方法. 教学难点：了解常用函数的图象特点，选择不同的模型建模，并通过比较相关指数对不同的模型进行比较. 教学方式：合作探究 教学过程： 一、复习准备： 对于非线性回归问题,并且没有给出经验公式,这时我们可以画出已知数据的散点图,把它与必修模块《数学1》中学过的各种函数（幂函数、指数函数、对数函数等）的图象作比较,挑选一种跟这些散点拟合得最好的函数,然后采用适当的变量代换,把问题转化为线性回归问题,使其得到解决. 二、讲授新课： 1. 探究非线性回归方程的确定： 1. 给出例1：一只红铃虫的产卵数y 和温度x 有关，现收集了7组观测数据列于下表中，试建立y 与x 之间的/y 个 2. 讨论：观察右图中的散点图，发现样本点并没有分布在某个带状区域内，即两个变量不呈线性相关关系，所以不能直接用线性回归方程来建立两个变量之间的关系. ① 如果散点图中的点分布在一个直线状带形区域，可以选线性回归模型来建模；如果散点图中的点分布在一个曲线状带形区域，就需选择非线性回归模型来建模. ② 根据已有的函数知识，可以发现样本点分布在某一条指数函数曲线y =2C 1e x C 的周围（其中12,c c 是待定的参数），故可用指数函数模型来拟合这两个变量. ③ 在上式两边取对数，得21ln ln y c x c =+，再令ln z y =，则21ln z c x c =+，可以用线性回归方程来拟合. ④ 利用计算器算得 3.843,0.272a b =-=，z 与x 间的线性回归方程为 0.272 3.843z x =-，因此红铃虫的产卵数对温度的非线性回归方程为0.272 3.843x y e -=. ⑤ 利用回归方程探究非线性回归问题，可按“作散点图→建模→确定方程”这三个步骤进行. 其关键在于如何通过适当的变换，将非线性回归问题转化成线性回归问题. 三、合作探究 例 2.：炼钢厂出钢时所用的盛钢水的钢包,在使用过程中,由于钢液及炉渣对包衬耐火材料的侵蚀,使其容积不断增大,请根据表格中的数据找出使用次数 x 与增大的容积y 之间的关系.
非线性回归分析
非线性回归问题, 知识目标：通过典型案例的探究，进一步学习非线性回归模型的回归分析。 能力目标：会将非线性回归模型通过降次和换元的方法转化成线性化回归模型。 情感目标：体会数学知识变化无穷的魅力。 教学要求：通过典型案例的探究，进一步了解回归分析的基本思想、方法及初步应用. 教学重点：通过探究使学生体会有些非线性模型通过变换可以转化为线性回归模型，了解在解决实际问题的 过程中寻找更好的模型的方法. 教学难点：了解常用函数的图象特点，选择不同的模型建模，并通过比较相关指数对不同的模型进行比较. 教学方式：合作探究 教学过程： 一、复习准备： 对于非线性回归问题,并且没有给出经验公式,这时我们可以画出已知数据的散点图,把它与必修模块《数学1》中学过的各种函数（幂函数、指数函数、对数函数等）的图象作比较,挑选一种跟这些散点拟合得最好的函数,然后采用适当的变量代换,把问题转化为线性回归问题,使其得到解决. 二、讲授新课： 1. 探究非线性回归方程的确定： 1. 给出例1：一只红铃虫的产卵数y 和温度x 有关，现收集了7组观测数据列于下表中，试建立y 与x 之间 2. 讨论：观察右图中的散点图，发现样本点并没有分布在某个带状区域内，即两个变量不呈线性相关关系，所以不能直接用线性回归方程来建立两个变量之间的关系. ① 如果散点图中的点分布在一个直线状带形区域，可以选线性回归模型来建模；如果散点图中的点分布在一个曲线状带形区域，就需选择非线性回归模型来建模. ② 根据已有的函数知识，可以发现样本点分布在某一条指数函数曲线y =2C 1e x C 的周围（其中12,c c 是待定的参数），故可用指数函数模型来拟合这两个变量. ③ 在上式两边取对数，得21ln ln y c x c =+ ，再令ln z y =，则21ln z c x c =+， 可以用线性回归方程来拟合. ④ 利用计算器算得 3.843,0.272a b =-=，z 与x 间的线性回归方程为0.272 3.843z x =-$，因此红铃虫的产卵数对温度的非线性回归方程为$0.272 3.843x y e -=. ⑤ 利用回归方程探究非线性回归问题，可按“作散点图→建模→确定方程”这三个步骤进行. 其关键在于如何通过适当的变换，将非线性回归问题转化成线性回归问题. 三、合作探究 例 2.：炼钢厂出钢时所用的盛钢水的钢包,在使用过程中,由于钢液及炉渣对包衬耐火材料的侵蚀,使其容积不断增大,请根据表格中的数据找出使用次数x 与增大的容积y 之间的关系.
实验六-用SPSS进行非线性回归分析
实验六用SPSS进行非线性回归分析 例：通过对比12个同类企业的月产量(万台)与单位成本(元)的资料(如图1)，试配合适当的回归模型分析月产量与单位成本之间的关系
图1原始数据和散点图分析 一、散点图分析和初始模型选择 在SPSS数据窗口中输入数据，然后插入散点图(选择Graphs→Scatter命令)，由散点图可以看出，该数据配合线性模型、指数模型、对数模型和幂函数模型都比较合适。进一步进行曲线估计：从Statistic下选Regression菜单中的Curve Estimation命令；选因变量单位成本到Dependent框中，自变量月产量到Independent框中，在Models框中选择Linear、Logarithmic、Power和Exponential四个复选框，确定后输出分析结果，见表1。 分析各模型的R平方，选择指数模型较好，其初始模型为 但考虑到在线性变换过程可能会使原模型失去残差平方和最小的意义，因此进一步对原模型进行优化。 模型汇总和参数估计值 因变量: 单位成本 方程模型汇总参数估计值 R 方 F df1 df2 Sig. 常数b1 线性.912 104.179 1 10 .000 158.497 -1.727 对数.943 166.595 1 10 .000 282.350 -54.059 幂.931 134.617 1 10 .000 619.149 -.556 指数.955 212.313 1 10 .000 176.571 -.018 自变量为月产量。 表1曲线估计输出结果
二、非线性模型的优化 SPSS提供了非线性回归分析工具，可以对非线性模型进行优化，使其残差平方和达到最小。从Statistic下选Regression菜单中的Nonlinear命令；按Paramaters按钮，输入参数A：176.57和B：-.0183；选单位成本到Dependent框中，在模型表达式框中输入“A*EXP(B*月产量)”，确定。SPSS输出结果见表2。 由输出结果可以看出，经过6次模型迭代过程，残差平方和已有了较大改善，缩小为568.97，误差率小于0.00000001， 优化后的模型为： 迭代历史记录b 迭代数a残差平方和参数 A B 1.0 104710.523 176.570 -.183 1.1 5.346E+133 -3455.813 2.243 1.2 30684076640.87 3 476.032 .087 1.3 9731 2.724 215.183 -.160 2.0 97312.724 215.183 -.160 2.1 83887.036 268.159 -.133 3.0 83887.036 268.159 -.133 3.1 59358.745 340.412 -.102 4.0 59358.745 340.412 -.102 4.1 26232.008 38 5.967 -.065 5.0 26232.008 385.967 -.065 5.1 7977.231 261.978 -.038 6.0 797 7.231 261.978 -.038 6.1 1388.850 153.617 -.015 7.0 1388.850 153.617 -.015 7.1 581.073 180.889 -.019 8.0 581.073 180.889 -.019 8.1 568.969 182.341 -.019 9.0 568.969 182.341 -.019 9.1 568.969 182.334 -.019 10.0 568.969 182.334 -.019 10.1 568.969 182.334 -.019 导数是通过数字计算的。 a. 主迭代数在小数左侧显示，次迭代数在小数右侧显示。 b. 由于连续残差平方和之间的相对减少量最多为SSCON = 1.000E-008，因此在 22 模型评估和 10 导数评估之后，系统停止运行。
非线性回归分析(常见曲线及方程)
非线性回归分析 回归分析中，当研究的因果关系只涉及因变量和一个自变量时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。此外，回归分析中，又依据描述自变量与因变量之间因果关系的函数表达式是线性的还是非线性的，分为线性回归分析和非线性回归分析。通常线性回归分析法是最基本的分析方法，遇到非线性回归问题可以借助数学手段化为线性回归问题处理 两个现象变量之间的相关关系并非线性关系，而呈现某种非线性的曲线关系，如：双曲线、二次曲线、三次曲线、幂函数曲线、指数函数曲线(Gompertz)、S型曲线(Logistic) 对数曲线、指数曲线等，以这些变量之间的曲线相关关系，拟合相应的回归曲线，建立非线性回归方程，进行回归分析称为非线性回归分析 常见非线性规划曲线 1.双曲线1b a y x =+ 2.二次曲线 3.三次曲线 4.幂函数曲线 5.指数函数曲线(Gompertz) 6.倒指数曲线y=a / e b x其中a>0， 7.S型曲线(Logistic) 1 e x y a b-= + 8.对数曲线y=a+b log x,x>0 9.指数曲线y=a e bx其中参数a>0 1．回归： （1）确定回归系数的命令 [beta，r，J]=nlinfit（x,y,’model’,beta0） （2）非线性回归命令：nlintool（x，y，’model’, beta0，alpha） 2．预测和预测误差估计： [Y，DELTA]=nlpredci（’model’, x，beta，r，J） 求nlinfit 或lintool所得的回归函数在x处的预测值Y及预测值的显著性水平为1-alpha的置信区间Y，DELTA. 例2 观测物体降落的距离s与时间t的关系，得到数据如下表，求s 2 解： 1. 对将要拟合的非线性模型y=a/ e b x，建立M文件如下：
多元线性回归模型案例
我国农民收入影响因素的回归分析 本文力图应用适当的多元线性回归模型,对有关农民收入的历史数据和现状进行分析,探讨影响农民收入的主要因素,并在此基础上对如何增加农民收入提出相应的政策建议。?农民收入水平的度量常采用人均纯收入指标。影响农民收入增长的因素是多方面的，既有结构性矛盾因素，又有体制性障碍因素。但可以归纳为以下几个方面：一是农产品收购价格水平。二是农业剩余劳动力转移水平。三是城市化、工业化水平。四是农业产业结构状况。五是农业投入水平。考虑到复杂性和可行性，所以对农业投入与农民收入，本文暂不作讨论。因此，以全国为例，把农民收入与各影响因素关系进行线性回归分析，并建立数学模型。 一、计量经济模型分析 (一)、数据搜集 根据以上分析，我们在影响农民收入因素中引入7个解释变量。即：2x -财政用于农业的支出的比重，3x -第二、三产业从业人数占全社会从业人数的比重，4x -非农村人口比重，5x -乡村从业人员占农村人口的比重，6x -农业总产值占农林牧总产值的比重，7x -农作物播种面积，8x —农村用电量。
资料来源《中国统计年鉴2006》。 (二)、计量经济学模型建立 我们设定模型为下面所示的形式： 利用Eviews 软件进行最小二乘估计，估计结果如下表所示： DependentVariable:Y Method:LeastSquares Sample: Includedobservations:19 Variable Coefficient t-Statistic Prob. C X1 X3 X4 X5 X6 X7 X8 R-squared Meandependentvar AdjustedR-squared 表1最小二乘估计结果 回归分析报告为： () ()()()()()()()()()()()()()()() 2345678 2? -1102.373-6.6354X +18.2294X +2.4300X -16.2374X -2.1552X +0.0100X +0.0634X 375.83 3.7813 2.066618.37034 5.8941 2.77080.002330.02128 -2.933 1.7558.820900.20316 2.7550.778 4.27881 2.97930.99582i Y SE t R ===---=230.99316519 1.99327374.66 R Df DW F ====二、计量经济学检验 (一)、多重共线性的检验及修正 ①、检验多重共线性 (a)、直观法 从“表1最小二乘估计结果”中可以看出，虽然模型的整体拟合的很好，但是x4x6
一元线性回归模型习题及答案
一元线性回归模型 一、单项选择题 1、变量之间的关系可以分为两大类__________。A A 函数关系与相关关系 B 线性相关关系和非线性相关关系 C 正相关关系和负相关关系 D 简单相关关系和复杂相关关系 2、相关关系是指__________。D A 变量间的非独立关系 B 变量间的因果关系 C 变量间的函数关系 D 变量间不确定性的依存关系 3、进行相关分析时的两个变量__________。A A 都是随机变量 B 都不是随机变量 C 一个是随机变量，一个不是随机变量 D 随机的或非随机都可以 4、表示x 和y 之间真实线性关系的是__________。C A 01???t t Y X ββ=+ B 01()t t E Y X ββ=+ C 01t t t Y X u ββ=++ D 01t t Y X ββ=+ 5、参数β的估计量?β 具备有效性是指__________。B A ?var ()=0β B ?var ()β为最小 C ?()0β β－＝ D ?()ββ－为最小 6、对于01??i i i Y X e ββ=++，以σ?表示估计标准误差，Y ?表示回归值，则__________。B A i i ??0Y Y 0σ∑ ＝时，（－）＝ B 2 i i ??0Y Y σ∑＝时，（－）＝0 C i i ??0Y Y σ∑＝时，（－）为最小 D 2 i i ??0Y Y σ∑＝时，（－）为最小 7、设样本回归模型为i 01i i ??Y =X +e ββ+，则普通最小二乘法确定的i ?β的公式中，错误的是__________。D A ()()()i i 1 2 i X X Y -Y ?X X β--∑∑＝ B ()i i i i 1 2 2 i i n X Y -X Y ?n X -X β∑∑∑∑∑＝ C i i 1 2 2 i X Y -nXY ?X -nX β∑∑ ＝ D i i i i 1 2 x n X Y -X Y ?βσ ∑∑∑＝ 8、对于i 01i i ??Y =X +e ββ+，以 ?σ表示估计标准误差，r 表示相关系数，则有__________。D A ?0r=1σ ＝时， B ?0r=-1σ ＝时， C ?0r=0σ ＝时， D ?0r=1r=-1σ ＝时，或 9、产量（X ，台）与单位产品成本（Y ，元/台）之间的回归方程为?Y 356 1.5X -＝，这说明__________。D
计量第3章(7节)非线性回归实例
非线性回归实例 例1：此模型用来评价台湾农业生产效率。用台湾1958-1972年农业生产总值（Y t ），劳动力（X 1t ），资本投入（X 2t ）数据为样本得到估计模型： = -3.4 + 1.50 LnX 1t + 0.49 LnX 2t (2.78) (4.80) R 2 = 0.89, F = 48.45 还原后得， = 0.713X 1t 1.50 X 2t 0.49 因为1.50 + 0.49 = 1.99，所以，此生产函数属规模报酬递增函数。当劳动力和资本投入都增加1%时，产出增加近2%。 例2：用天津市工业生产总值（Y t ），职工人数（L t ），固定资产净值与流动资产平均余额（K t ）数据 (1949-1997年) 为样本得估计模型如下： Ln Y t = 0.7272 + 0.2587 Ln L t + 0.6986 LnK t (3.12) (3.08) (18.75) R 2 = 0.98, s.e. = 0.17, DW = 0.42, F = 1381.4 因为0.2587 + 0.6986 = 0.9573，所以此生产函数基本属于规模报酬不变函数。 例3： 中国铅笔需求预测模型 中国从上个世纪30年代开始生产铅笔。1985年全国有22个厂家生产铅笔。产量居世界首位（33.9亿支），占世界总产量的1/3。改革开放以后，铅笔生产增长极为迅速。1979-1983年平均年增长率为8.5%。铅笔销售量时间序列见图1。1961-1964年的销售量平稳状态是受到了经济收缩的影响。文革期间销售量出现两次下降，是受到了当时政治因素的影响。1969-1972年的增长是由于一度中断了的中小学教育逐步恢复的结果。1977-1978年的增长是由于高考正式恢复的结果。1981年中国开始生产自动铅笔，对传统铅笔市场冲击很大。1979-1985年的缓慢增长是受到了自动铅笔上市的影响。 初始确定的影响铅笔销量的因素有全国人口、各类在校人数、设计
非线性回归分析
非线性回归分析(转载) (2009-10-23 08:40:20) 转载 分类：Web分析 标签： 杂谈 在回归分析中，当自变量和因变量间的关系不能简单地表示为线性方程，或者不能表示为可化为线性方程的时侯，可采用非线性估计来建立回归模型。 SPSS提供了非线性回归“Nonlinear”过程，下面就以实例来介绍非线性拟合“Nonlinear”过程的基本步骤和使用方法。 应用实例 研究了南美斑潜蝇幼虫在不同温度条件下的发育速率，得到试验数据如下： 表5-1 南美斑潜蝇幼虫在不同温度条件下的发育速率 温度℃17.5 20 22.5 25 27.5 30 35 发育速率0.0638 0.0826 0.1100 0.1327 0.1667 0.1859 0.1572 根据以上数据拟合逻辑斯蒂模型： 本例子数据保存在DATA6-4.SAV。 1）准备分析数据 在SPSS数据编辑窗口建立变量“t”和“v”两个变量，把表6-14中的数据分别输入“温度”和“发育速率”对应的变量中。 或者打开已经存在的数据文件（DATA6-4.SAV）。 2）启动线性回归过程 单击SPSS主菜单的“Analyze”下的“Regression”中“Nonlinear”项，将打开如图5-1
所示的线回归对话窗口。 图5-1 Nonlinear非线性回归对话窗口 3) 设置分析变量 设置因变量：从左侧的变量列表框中选择一个因变量进入“Dependent(s)”框。本例子选“发育速率[v]”变量为因变量。 4) 设置参数变量和初始值 单击“Parameters”按钮，将打开如图6-14所示的对话框。该对话框用于设置参数的初始值。 图5-2 设置参数初始值
高考数学复习点拨 非线性回归问题
非线性回归问题 两个变量不呈线性关系，不能直接利用线性回归方程建立两个变量的关系，可以通过变换的方法转化为线性回归模型。分析非线性回归问题的具体做法是： （1）若问题中已给出经验公式，这时可以将变量x 进行置换（换元），将变量的非线性关系转化为线性关系，将问题化为线性回归分析问题来解决． （2）若问题中没有给出经验公式，需要我们画出已知数据的散点图，通过与各种已知函数（如指数函数、对数函数、幂函数等）的图象作比较，选择一种与这些散点拟合得最好的函数，然后采用适当的变量置换，将问题化为线性回归分析问题来解决． 下面举例说明非线性回归分析问题的解法． 例1 在彩色显影中，由经验可知：形成染料光学密度y 与析出银的光学密度x 由公式 e b x y A =（b <0）表示，现测得实验数据如下： 试求对的回归方程． 分析：该例是一个非线性回归分析问题，由于题目中已给定了要求的曲线为e b x y A =（b <0）类型，我们只要通过所给的11对样本数据求出A 和b ，即可确定x 与y 的相关关系的曲线方程． 解：由题意可知，对于给定的公式e b x y A =（b <0）两边取自然对数，得ln ln b y A x =+． 与线性回归方程对照可以看出，只要取1 u x = ，ln v y =，ln a A =，就有v a bu =+，这是v 对u 的线性回归直线方程，对此我们再套用相关性检验，求回归系数b 和a ． 题目中所给数据由变量置换1 u = ，ln v y =变为如表所示的数据： 由于｜r ｜=0.998>0.602，可知u 与v 具有很强的线性相关关系． 再求得0.146b =-，0.548a =， ∴v =0.5480.146u -，把u 和v 置换回来可得0.146 ln 0.548y x =- ， ∴0.1460.1460.1460.5480.548 e 1.73x x x y e e e - - - ===， ∴回归曲线方程为0.1461.73e x y - =． 点评：解决本题的思路是通过适当的变量置换把非线性回归方程转化为线性回归方程，然后再套用线性回归分析的解题步骤． 例2 为了研究某种细菌随时间x 变化的繁殖个数，收集数据如下：
多重共线性和非线性回归的问题
多重共线性和非线性回归的问题 前几天她和我说，在百度里有个人连续追着我的回答，三次说我的回答错了。当时非常惊讶，赶紧找到那个回答的问题，看看那个人是怎么说。最终发现他是说多重共线性和非线性回归的问题，他认为多个自变量进行不能直接回归，存在共线性的问题，需要进行因子分析（或主成分分析）；说非线性回归不能转换成线性回归的方法，这里我详细说说这两方面的问题到底是怎么回事（根据我的理解），我发现很多人很怕这个多重共线性的问题，听到非线性回归，脑袋就更大了。。。 （1）多重共线性问题 我们都知道在进行多元回归的时候，特别是进行经济上指标回归的时候，很多变量存在共同趋势相关性，让我们得不到希望的回归模型。这里经常用到的有三种方法，而不同的方法有不同的目的，我们分别来看看： 第一个，是最熟悉也是最方便的——逐步回归法。 逐步回归法是根据自变量与因变量相关性的大小，将自变量一个一个选入方法中，并且每选入一个自变量都进行一次检验。最终留在模型里的自变量是对因变量有最大显著性的，而剔除的自变量是与因变量无显著线性相关性的，以及与其他自变量存在共线性的。用逐步回归法做的多元回归分析，通常自变量不宜太多，一般十几个以下，而且你的数据量要是变量个数3倍以上才可以，不然做出来的回归模型误差较大。比如说你有10个变量，数据只有15组，然后做拟合回归，得到9个自变量的系数，虽然可以得到，但是精度不高。这个方法我们不仅可以找到对因变量影响显著的几个自变量，还可以得到一个精确的预测模型，进行预测，这个非常重要的。而往往通过逐步回归只能得到几个自变量进入方程中，有时甚至只有一两个，令我们非常失望，这是因为自变量很多都存在共线性，被剔除了，这时可以通过第二个方法来做回归。 第二个，通过因子分析（或主成分分析）再进行回归。 这种方法用的也很多，而且可以很好的解决自变量间的多重共线性。首先通过因子分析将几个存在共线性的自变量合为一个因子，再用因子分析得到的几个因子和因变量做回归分析，这里的因子之间没有显著的线性相关性，根本谈不上共线性的问题。通过这种方法可以得到哪个因子对因变量存在显著的相关性，哪个因子没有显著的相关性，再从因子中的变量对因子的载荷来看，得知哪个变量对因变量的影响大小关系。而这个方法只能得到这些信息，第一它不是得到一个精确的，可以预测的回归模型；第二这种方法不知道有显著影响的因子中每个变量是不是都对因变量有显著的影响，比如说因子分析得到三个因子，用这三个因子和因变量做回归分析，得到第一和第二个因子对因变量有显著的影响，而在第一个因子中有4个变量组成，第二个因子有3个变量组成，这里就不知道这7个变量是否都对因变量存在显著的影响；第三它不能得到每个变量对因变量准确的影响大小关系，而我们可以通过逐步回归法直观的看到自变量前面的系数大小，从而判断自变量对因变量影响的大小。 第三个，岭回归。 通过逐步回归时，我们可能得到几个自变量进入方程中，但是有时会出现自变量影响的方向出现错误，比如第一产业的产值对国民收入是正效应，而可能方程中的系数为负的，这种肯定是由于共线性导致出现了拟合失真的结果，而这样的结果我们只能通过自己的经验去判断。通常我们在做影响因素判断的时候，不仅希望得到各个因素对因变量真实的影响关系，还希望知道准确的影响大小，就是每个自变量系数的大小，这个时候，我们就可以通过岭回归的方法。
第二章一元线性回归模型(Stata)
1. 中国居民人均消费模型 从总体上考察中国居民收入与消费支出的关系。表2.1给出了1990年不变价格测算的中国人均国内生产总值（GDPP ）与以居民消费价格指数（1990年为100）所见的人均居民消费支出（CONSP ）两组数据。 表2.1 中国居民人均消费支出与人均GDP （单位：元/人） 年份 CONSP GDPP 年份 CONSP GDPP 1978 395.8000 675.1000 1990 797.1000 1602.300 1979 437.0000 716.9000 1991 861.4000 1727.200 1980 464.1000 763.7000 1992 966.6000 1949.800 1981 501.9000 792.4000 1993 1048.600 2187.900 1982 533.5000 851.1000 1994 1108.700 2436.100 1983 572.8000 931.4000 1995 1213.100 2663.700 1984 635.6000 1059.200 1996 1322.800 2889.100 1985 716.0000 1185.200 1997 1380.900 3111.900 1986 746.5000 1269.600 1998 1460.600 3323.100 1987 788.3000 1393.600 1999 1564.400 3529.300 1988 836.4000 1527.000 2000 1690.800 3789.700 1989 779.7000 1565.900 1) 建立模型，并分析结果。 2)输出结果为： 对应的模型表达式为： 201.1070.3862CONSP GDPP =+ (13.51) (53.47) 2 0.9927,2859.23,0.55R F DW === 从回归估计的结果可以看出，拟合度较好，截距项和斜率项系数均通过了t 检验。
matlab多元非线性回归及显着性分析(实例)
matlab多元非线性回归及显著性分析 给各位高手：小弟有一些数据需要回归分析（非线性）及显著性检验（回归模型，次要项，误差及失拟项纯误差，F值和P值），求大侠帮助，给出程序，不胜感激。 模型： DA TA=... %DA TA前三列是影响因子，第四列为响应值 [2 130 75 48.61; 2 110 75 56.43; 2 130 45 61.32; 2 110 45 65.28; 1 110 45 55.80; 1 130 75 45.65; 1 110 75 50.91; 1 130 45 67.94; 1.5 120 60 74.15; 1.5 120 60 71.28; 1.5 120 60 77.95; 1.5 120 60 74.16; 1.5 120 60 75.20; 1.5 120 85 35.65; 1.5 140 60 48.66; 1.5 120 30 74.10; 1.5 100 60 6 2.30; 0.5 120 60 66.00; 2.5 120 60 75.10]; 回归分析过程： （1）MATLAB编程步骤1：首先为非线性回归函数编程，程序存盘为user_function.m function y=user_function(beta,x) b0 = beta(1); b1 = beta(2); b2 = beta(3); b3 = beta(4); x0 = x(:,1); x1 = x(:,2); x2 = x(:,3); x3 = x(:,4); y=b0*x0+b1*x1.^2+b2*x2.^2+b3*x3.^2; （2）MATLAB编程步骤2：编写非线性回归主程序，程序运行时调用函数user_function x=[1 2 130 75 48.61;